강화학습 입문 총정리: 마르코프 결정 과정부터 Q러닝·정책 경사까지

핵심 메시지

• 강화학습은 신발끈 묶기처럼 동작을 일일이 지정할 수 없는 과제를, 보상에 따른 시행착오로 배우게 하는 머신러닝 분야다.
• 문제는 마르코프 결정 과정(상태-행동-보상의 연쇄)으로 틀 지으며, 목표는 미래 보상의 합인 '리턴'을 최대화하는 정책을 찾는 것이다.
• 몬테카를로는 에피소드 단위로 배우지만, 시간차 학습은 행동 단위로 배워 '공로 배분 문제'를 완화하고 표본 효율을 높인다.
• 신경망을 붙인 딥 Q네트워크는 연속 상태를, 정책 경사·액터-크리틱은 연속 행동까지 다룰 수 있어 실제 물리 과제로 확장된다.
• 시간차 오차는 도파민, 액터-크리틱은 선조체와 대응되며, 여전히 낮은 신뢰성·표본 비효율이 강화학습의 큰 숙제로 남아 있다.

쉽게 이해하기

영상은 '로봇에게 신발끈 묶는 법을 어떻게 가르칠까'라는 질문으로 시작한다. 컴퓨터는 시킨 대로 정확히 하지만, 신발끈을 묶거나 옷을 개거나 걷는 것처럼 관절을 어떻게 움직여 물리 세계와 상호작용해야 하는지를 일일이 지정하기란 불가능하다. 강화학습은 바로 이 문제를, 긍정·부정 보상으로 원하는 행동은 강화하고 원치 않는 행동은 억제하는 시행착오로 풀려는 분야다. 아타리 게임(2013), 알파고(2016), 도타2의 오픈AI 파이브(2018), 로봇 손의 루빅큐브(2019), 로봇 개·자율주행·언어모델 미세조정 등이 그 성과로 소개된다.

핵심 틀은 에이전트와 환경이다. 에이전트는 '직접 통제할 수 있는 것', 환경은 '직접 통제할 수 없지만 에이전트를 통해 간접적으로 영향을 주려는 것'으로 정의된다. 에이전트가 환경에 주는 영향이 행동, 환경이 에이전트에 주는 정보가 상태다. 운전 학습 예시처럼 이 경계는 뇌→팔다리→자동차→도로로 겹겹이 달라질 수 있어, 문제를 어떻게 틀 짓느냐가 곧 풀이의 구조를 결정한다. 각 행동 뒤에는 좋고 나쁨을 하나의 숫자로 나타내는 보상이 따라온다.

이 과제를 마르코프 결정 과정(MDP)으로 정리한다. 상태-행동-보상이 반복되는 이산 연쇄이며, 각 상태가 바로 이전 상태에만 의존한다는 마르코프 성질을 이상적으로 따른다. 정책(파이)은 상태가 주어졌을 때 행동을 고를 확률로, 탐험을 위해 무작위성을 품는다. 리턴(G)은 할인 계수 감마를 곱해 더한 미래 보상의 총합이며, 강화학습의 목표는 '리턴을 최대화하는 정책 찾기'로 요약된다. 이를 격자 미로 예시로 옮겨, 좌표 상태와 상하좌우 행동, 목표 도달 시 0·그 외 -1의 보상으로 설명한다.

학습 방법이 단계적으로 쌓인다. 먼저 세계 모델(다음 상태와 보상을 알려주는 함수)이 없다고 가정하는 모델 프리에서, 무작위로 행동하며 궤적을 표집하고 뒤에서부터 리턴을 계산한다. 정책 경사만 쓰면 상태마다 평균 보상이 달라 비례가 어긋나므로, 상태 가치 V와 행동 가치 Q 같은 가치 함수를 기준선으로 둔다. 가치를 갱신하는 방식으로 몬테카를로는 에피소드가 끝나야 리턴을 계산할 수 있고 어느 행동이 좋았는지 가리기 어렵다(공로 배분 문제). 시간차(TD) 학습은 다음 상태-행동의 추정치를 기준으로 행동 단위로 갱신해 이를 완화한다. 여기서 SARSA(온 정책), 기대 SARSA, Q러닝(오프 정책, 최적 Q* 추정)이 갈리며, 표본 효율은 몬테카를로 < SARSA < 기대 SARSA < Q러닝 순으로 좋아진다. 엡실론-그리디로 탐험과 활용의 균형을 맞춘다.

표(테이블)를 신경망으로 바꾸면 연속 상태·행동으로 확장된다. 딥 Q네트워크(DQN)는 연속 상태와 이산 행동을 다루며 달 착륙선(lunar lander) 과제로 시연되고, 더블·듀얼링·레인보우 등 변형이 있다. 연속 행동에는 정책 경사가 필요하며, 목적 함수 J와 정책 경사 정리, 어드밴티지 추정, 그리고 액터-크리틱 구조로 이어진다. TRPO·PPO 같은 대체 목적 함수, 소프트 액터-크리틱(SAC)으로 학습한 이족 보행 로봇 예시도 등장한다. 나아가 시간차 오차가 슐츠의 원숭이 실험에서 나타난 도파민의 보상 예측 오차와 대응하고, 액터-크리틱이 선조체(배외측·복측)와 짝지어진다는 신경과학적 연결도 소개된다. 끝으로 2018년 글 '딥 강화학습은 아직 안 된다'가 지적한 낮은 신뢰성(같은 코드도 무작위 시드에 따라 절반만 성공)과 표본 비효율(레인보우 DQN이 사람 몇 분짜리 과제에 1800만 프레임, 약 83시간 소요)을 짚고, 세계 모델 기반 강화학습(알파고→뮤제로, 드리머 V3)과 모방학습·역강화학습을 유망한 연구 방향으로 제시한다.

주요 인사이트

• 에이전트와 환경의 경계는 고정된 것이 아니라 통제 범위에 따라 달라진다. 문제를 어떻게 틀 짓느냐가 곧 구조를 부여해 풀이를 쉽게 만들 수 있다.
• '공로 배분 문제'는 긴 행동 연쇄에서 어느 행동이 실제로 기여했는지 가리는 어려움이다. 시간차 학습은 에피소드가 아닌 행동 단위로 평가해 이 문제를 크게 완화한다.
• 몬테카를로에서 Q러닝으로 갈수록 표본 효율이 좋아진다. 특히 오프 정책인 Q러닝은 다음 상태의 최선 행동을 기준으로 삼아 최적 가치 함수를 직접 추정한다.
• 가치 기반 기법은 최선의 행동을 고르므로 분산이 문제되지 않지만, 무한한 연속 행동에는 부적합하다. 연속 행동을 다루려면 확률 분포를 조정하는 정책 경사와 액터-크리틱이 필요하다.
• 시간차 오차와 도파민, 액터-크리틱과 선조체의 대응은 강화학습이 뇌의 학습 원리와 깊이 맞닿아 있음을 보여준다. 다만 낮은 신뢰성과 막대한 표본 요구가 실제 물리 세계 적용을 가로막는 현실적 벽이다.

자주 묻는 질문

관련 AI 소식