강화학습 기초 정리: 몬테카를로와 TD 학습의 차이, 스탠퍼드 AA203 16강 해설

핵심 메시지

• 모방학습은 시연자의 실력을 넘어서기 어렵기 때문에, 시행착오로 스스로 해를 찾는 강화학습이 필요하다.
• 가치 반복·정책 반복 같은 정확해법은 잘 작동하지만 시스템의 전이 동역학을 알고 있어야만 쓸 수 있다.
• 몬테카를로 학습은 에피소드가 끝난 뒤 실제 수익의 평균으로 가치를 추정하고, TD 학습은 한 걸음 뒤의 추정값으로 현재 추정값을 갱신한다.
• 몬테카를로 추정량은 편향이 없지만 분산이 크고, TD 추정량은 추정값을 재사용하는 탓에 편향이 생기지만 분산이 훨씬 작다.
• Q 함수를 그대로 탐욕적으로 따르면 한 번 좋아 보인 선택에 갇히므로, 엡실론-그리디처럼 무작위성을 섞어 탐험을 보장해야 한다.

쉽게 이해하기

스탠퍼드대 AA203 '최적 제어와 학습 기반 제어' 16강은 모방학습에서 강화학습으로 넘어가는 전환점에 놓인 강의다. 강연자는 앞선 수업에서 다룬 행동 복제와 역강화학습이 결국 시연자의 성능에 상한이 묶인다는 점을 지적하며, 상호작용에서 배우는 패러다임으로 옮겨 가는 이유를 설명한다. 이날 수업의 목표는 개별 알고리즘을 나열하는 것이 아니라, 이후 등장할 모든 알고리즘이 공유하는 뼈대를 세우는 것이다.

출발점은 마르코프 결정 과정이다. 상태와 행동 공간, 전이 함수, 보상 함수, 할인 인자로 이루어진 다섯 요소가 문제를 정의하고, 목표는 할인된 누적 보상의 기댓값을 최대로 만드는 정책을 찾는 것이다. 강연자는 상태 가치 함수와 Q 함수가 각각 벨만 최적 방정식과 벨만 기대 방정식이라는 고정점 조건을 만족한다는 점을 짚고, 표 형태로 값을 늘어놓는 이미지를 통해 두 함수의 차이를 직관적으로 보여 준다.

이 고정점 조건을 반복해서 강제하면 가치 반복과 정책 반복이 된다. 강의는 16칸짜리 격자 세계에서 무작위 정책과 0으로 초기화한 가치 함수로 시작해, 정책 평가와 정책 개선을 번갈아 돌리며 가치 표면이 서서히 형태를 잡아 가는 과정을 따라간다. 그러나 이 계산에는 다음 상태의 확률분포, 즉 동역학 지식이 반드시 들어가야 한다는 한계가 있고, 상태와 행동이 많아지면 저장과 반복 자체가 부담이 된다.

그래서 등장하는 것이 표본으로 기댓값을 대신하는 두 가지 방법이다. 몬테카를로 학습은 정책을 환경에 풀어 놓아 얻은 궤적의 수익을 모아 평균을 내는 방식으로, 종료가 있는 에피소드형 문제에만 쓸 수 있다. 강의는 블랙잭을 예로 들어 만 번과 오십만 번의 에피소드로 추정한 가치 함수 표면을 비교하며, 표본이 늘수록 잡음이 줄고 참값에 수렴한다는 사실을 눈으로 확인시킨다.

반면 시간차(TD) 학습은 즉각 보상에 다음 상태의 현재 추정값을 더한 값을 목표로 삼아, 에피소드가 끝나기 전에도 갱신할 수 있다. 강의는 마지막에 백업 다이어그램의 '폭'과 '높이'라는 두 축으로 동적 계획법, 완전 탐색, 몬테카를로, TD를 한 그림에 배치하고, 표본을 모으고 가치나 모델을 추정한 뒤 정책을 개선하는 세 단계가 거의 모든 강화학습 알고리즘의 공통 골격이라고 정리한다.

주요 인사이트

• '모델 프리'는 시뮬레이터를 쓰지 않는다는 뜻이 아니다. 강연자는 시뮬레이터로 상호작용하되 그 내부의 전이 방정식을 갱신식에 직접 넣지 않는 것이 모델 프리의 의미라고 분명히 한다.
• TD 목표값이 편향된 이유는 원리상의 결함이 아니라 학습 중이라는 사실 자체에 있다. 참 가치 함수를 알고 있다면 TD 목표도 무편향이지만, 실제로는 추정 중인 값을 넣기 때문에 편향이 생긴다.
• 부트스트래핑이 무한히 커지지 않는 이유는 할인 인자에 있다. 먼 미래의 항이 지수적으로 작아지므로 최종 결과를 보지 않고도 추정이 발산하지 않는다.
• 두 개의 문 예시는 탐험 문제의 본질을 압축해 보여 준다. 처음 뽑은 표본만으로 한쪽이 우세해지면 결정론적 정책은 영원히 그쪽만 선택하고, 더 나은 선택지는 끝내 평가받지 못한다.
• 가치 함수는 성능 지표를 넘어 해석 가능한 산출물이기도 하다. 블랙잭 실험에서 20·21에서 값이 치솟고 딜러가 에이스를 보일 때 값이 떨어지는 모습은 규칙을 알려 주지 않고도 게임의 논리를 드러낸다.

자주 묻는 질문

관련 AI 소식