강화학습 기초 정리: 마르코프 결정 과정과 정책, 가치 함수로 이해하는 RL 입문 가이드

핵심 메시지

• 강화학습은 오랫동안 실험실 기술로 여겨졌지만, 최근 몇 년 사이 반도체 회로 설계·핵융합 플라스마 제어·가스터빈 효율 관리처럼 돈과 안전이 걸린 현장에 실제로 투입되기 시작했다.
• 강화학습의 출발점은 알고리즘이 아니라 문제 정의다. 에이전트와 환경이 행동·보상·상태를 주고받는 구조를 유한 마르코프 결정 과정(MDP)으로 형식화하는 것이 첫 단계다.
• 정책은 각 상태에서 어떤 행동을 얼마의 확률로 고를지 알려주는 분포이며, 학습의 목표는 할인된 보상의 합인 '수익'의 기댓값을 최대로 만드는 정책을 찾는 것이다.
• 상태 가치 함수와 행동 가치 함수는 '이 상태(혹은 이 상태에서 이 행동)에서 앞으로 얼마를 벌 수 있는가'를 수치로 알려주며, 최적 정책의 가치 함수를 알면 매 순간 값이 가장 큰 쪽으로 움직이는 단순한 규칙만으로 최적 행동이 나온다.
• 이 틀은 상태를 완전히 관측할 수 있고 현재 상태만으로 미래를 예측할 수 있다는 강한 가정 위에 서 있어, 현실에서는 대부분 성립하지 않는다는 점을 알고 배워야 한다.

쉽게 이해하기

강화학습은 체스와 바둑, 아타리 게임을 스스로 익힌 딥마인드의 성과로 유명해졌지만, 정작 실무자에게는 '내 일과는 상관없는 기술'로 남아 있던 분야다. 영상의 제작자도 자신이 일하는 회사에서 강화학습이 실제 매출에 영향을 주는 시스템으로 돌아가는 것을 옆에서 보고 생각을 바꿨고, 앞으로 10년 사이 많은 기계학습 시스템이 지도학습 기반에서 강화학습 기반으로 옮겨갈 것이라고 내다본다. 2018년만 해도 한 구글 로보틱스 엔지니어가 '심층 강화학습은 아직 통하지 않는다'는 글에서 데이터를 너무 많이 먹고 불안정하며 튜닝이 과도하게 필요하다고 지적했지만, 이후 엔비디아는 더 효율적인 산술 회로 설계에, 딥마인드는 밀리초 단위로 자석을 조작해 핵융합 플라스마를 가두는 작업에, 지멘스 에너지는 가스터빈의 효율과 배출 관리에 강화학습을 적용했다. 특히 마지막 사례는 실제 고객 환경에서 검증까지 마친 것이다.

본론은 알고리즘이 아니라 문제 설정에서 시작한다. 학습하고 행동하는 주체인 에이전트가 매 시점 행동을 내놓으면, 환경이 그 행동을 받아 보상과 다음 상태를 돌려주고 이 과정이 반복된다. 여기서 핵심은 다음 상태와 보상의 확률이 오직 현재 상태와 행동에만 의존한다는 마르코프 성질이다. 상태·행동·보상의 유한 집합과 이 확률 함수가 합쳐져 유한 마르코프 결정 과정을 이루며, 이것이 강화학습이 다루는 기본 대상이 된다.

에이전트의 행동 방식은 정책으로 표현된다. 정책은 상태마다 각 행동을 고를 확률을 알려주는 분포이고, 무작위성이 없으면 결정적 정책이 된다. 좋은 정책의 기준은 '수익'이다. 수익은 앞으로 받을 보상의 합이되, 0과 1 사이의 할인 계수를 곱해 먼 미래의 보상에 낮은 가중치를 준다. 할인 계수가 0에 가까울수록 눈앞의 보상을 중시하는 셈이다. 정책 하나를 정하면 에피소드마다 상태·행동·보상의 궤적이 하나씩 만들어지고, 목표는 여러 궤적에 걸친 수익의 평균을 최대로 만드는 정책을 고르는 것이다.

그다음 등장하는 것이 상태 가치 함수와 행동 가치 함수다. 상태 가치 함수는 특정 상태에서 정책을 따를 때 기대되는 수익, 행동 가치 함수는 특정 상태에서 특정 행동을 한 뒤 정책을 따를 때 기대되는 수익이다. 미로 예시가 그 쓸모를 잘 보여준다. 한 걸음마다 -1의 보상을 받는 미로에서 에이전트는 전체 지도를 볼 수 없지만, 최적 정책의 상태 가치 함수를 받아들면 '값이 가장 큰 칸으로 이동한다'는 규칙만으로 최단 경로를 따라간다. 최적 정책은 모든 상태에서 가능한 최대 기대 수익을 내는 정책으로 정의되며, 그런 정책이 적어도 하나는 존재한다는 사실이 증명돼 있다.

마지막으로 이 설정에 깔린 가정들을 짚는다. 에이전트가 매 시점 상태를 관측할 수 있다는 가정, 현재 상태만으로 미래를 충분히 예측할 수 있다는 마르코프 가정은 현실 세계에서 거의 성립하지 않는다. 사람도 의사결정을 할 때 완벽한 세계 상태를 참조하지 못하고 제한된 관측과 흐릿한 기억에 의존한다. 여기에 더해 모든 상태와 행동을 표로 나열할 수 있다는 가정, 환경의 확률 함수를 완전히 안다는 가정도 뒤로 갈수록 하나씩 풀린다. 그럼에도 이 기본 틀을 먼저 배워야 하는 이유는, 가정이 사라진 뒤에도 직관의 원천으로 계속 남기 때문이다.

주요 인사이트

• 강화학습 도입 판단의 핵심은 '알고리즘이 좋아졌는가'보다 '내 문제가 순차적 의사결정 문제로 형식화되는가'에 있다. 상태·행동·보상을 정의할 수 없으면 아무리 좋은 알고리즘도 붙일 곳이 없다.
• 할인 계수는 단순한 수학 장치가 아니라 사업적 선택이다. 값을 0에 가깝게 두면 즉각적인 성과를, 1에 가깝게 두면 장기적인 성과를 중시하는 시스템이 된다.
• 지도학습과 결정적으로 다른 점은 답이 데이터 수집 방식까지 바꾼다는 것이다. 정책이 곧 데이터를 모으는 방법이므로, 학습 도중 정책이 바뀌면 이후 들어오는 데이터의 분포도 함께 바뀐다.
• 가치 함수를 정확히 아는 일은 대부분 불가능하고 추정에 의존해야 한다. 그래서 실무의 난이도는 '최적 정책이 존재하는가'가 아니라 '가치를 얼마나 잘 추정하는가'에서 갈린다.
• 완전 관측과 마르코프 성질이라는 가정이 현실에서 깨진다는 점을 알고 시작해야, 강화학습이 잘 되는 문제와 안 되는 문제를 미리 구분할 수 있다.

자주 묻는 질문

관련 AI 소식