몬테카를로 강화학습 입문: 블랙잭 예제로 배우는 모델 프리 학습과 오프폴리시 기법

핵심 메시지

• 몬테카를로 방법은 환경의 전이 확률을 모르는 상태에서 궤적 표본의 평균만으로 가치 함수를 근사하며, 시뮬레이션이 쉽고 상태·행동 수가 많지 않은 문제라면 최적 전략을 찾아낼 수 있다.
• 환경 모델이 없기 때문에 상태 가치가 아니라 행동 가치를 직접 추정해야 한다. 상태 가치만 알아도 행동을 고르려면 결국 모델이 필요하기 때문이다.
• 갱신 폭을 표본 수에 따라 줄이는 대신 상수 스텝 사이즈를 쓰면 분석이 단순해지는데, 값이 크면 빨리 근처까지 가지만 시끄럽고 작으면 느리지만 정확해지는 절충이 생긴다.
• 모든 행동에 양의 확률을 주는 소프트 정책, 그중에서도 엡실론 그리디는 탐색과 활용의 균형을 잡는 가장 단순한 장치일 뿐이며 강연자는 이 문제에 아직 좋은 답이 없다고 못 박는다.
• 오프폴리시 기법은 데이터를 만드는 행동 정책과 개선 대상인 목표 정책을 분리해 이미 쌓여 있는 데이터를 활용할 수 있게 하지만, 중요도 표본 비율을 곱하는 대가로 분산이 크게 늘어난다.

쉽게 이해하기

강화학습 6부작 중 3편에 해당하는 이 강의는 앞선 두 편과 결정적으로 다른 상황에서 출발한다. 앞에서는 환경의 동역학, 즉 현재 상태와 행동이 주어졌을 때 다음 상태와 보상이 나올 확률을 알고 있다고 가정했지만, 이제는 그 확률을 모른 채 정책을 돌려서 얻은 궤적 표본만 손에 쥐고 있다. 몬테카를로 방법은 기댓값을 표본 평균으로 대신하고, 여기에 앞 편에서 다룬 일반화 정책 반복을 얹어 최적 정책에 접근한다.

여기서 모델 기반과 모델 프리의 구분이 등장한다. 모델이란 에이전트가 환경의 반응을 예측하기 위해 쓰는 무엇이든을 뜻하고, 체스 엔진이 상대의 수를 예측해 자기 수를 정하는 것이 모델 기반의 전형이다. 몬테카를로는 모델을 만들지 않고 행동과 높은 보상 사이의 연관만 학습한다. 단순하고 조율하기 쉽지만, 대신 상태 가치가 아니라 행동 가치를 직접 추정해야 한다는 제약이 따라온다.

강연자는 일곱 개 상태를 가진 간단한 마르코프 보상 과정으로 상수 스텝 사이즈 몬테카를로의 동작을 보여준다. 모든 상태 값을 0.5에서 시작해 에피소드마다 갱신하면 추정값이 참값 주변에서 진동하는데, 스텝 사이즈를 키우면 빠르게 근처까지 가지만 도착 후 요동이 크고 줄이면 반대가 된다. 어떤 값이 좋은지는 문제마다 다르다는 것이 결론이다.

본격적인 예제는 블랙잭이다. 상태는 딜러가 보여준 카드 한 장, 플레이어의 현재 합, 그리고 11로 세도 버스트되지 않는 에이스의 보유 여부 세 가지 조합으로 정의되며 총 200가지다. 보상은 승·무·패에 따라 1, 0, -1이고 할인은 없다. 엡실론 0.1, 스텝 사이즈 5000분의 1로 천만 에피소드를 돌리자 학습된 정책은 알려진 최적 정책에 거의 근접했다.

다만 결과를 뜯어보면 오류가 남는 지점이 드러난다. 정책이 자주 지나가는 자리는 표본이 많아 추정이 좋지만, 사용 가능한 에이스가 있는 상태처럼 드물게 관측되는 곳은 값이 평탄해지기도 전에 학습이 끝나 잘못된 행동을 고르기도 한다. 강연자는 상태-행동 쌍마다 필요한 것이 다르다는 점이 상수 스텝 사이즈 방식의 한계이자, 실제 강화학습 기법들이 그토록 복잡해지는 이유의 일부라고 설명한다.

주요 인사이트

• 몬테카를로는 환경 확률 함수를 추정한 뒤 아는 셈 치고 푸는 방법이 아니다. 그런 접근이 자연스러워 보이지만, 이 방법은 아예 모델을 만들지 않고 표본 평균만으로 간다는 점이 핵심이다.
• 정책 평가만 놓고 보면 정책을 환경의 일부로 간주해 행동이 없는 마르코프 보상 과정으로 바꿔 볼 수 있고, 그러면 상태 가치 추정법을 그대로 행동 가치 추정에 재사용할 수 있다.
• 탐색-활용 문제는 학습이 만들어내는 함정을 보여준다. 위-아래만 시도해 본 에이전트는 오른쪽에 더 큰 보상이 있어도 그 칸이 Q 테이블에 아예 없기 때문에 영원히 알아채지 못한다.
• 무한한 데이터를 가정하면 소프트 정책만으로 최적 정책 도달이 보장되지만 현실은 그렇지 않다. 강연자는 데이터가 떨어진 시점에 도달한 근사 최적 정책을 받아들이는 것 외에 별다른 수가 없다고 솔직하게 말한다.
• 오프폴리시가 무료가 아니라는 경고가 중요하다. 목표 정책이 자주 가지 않는 영역에까지 표본을 낭비하기 때문에, 정작 중요한 영역의 추정이 더 나빠질 수 있고 추정할 테이블이 크면 접근 자체가 무너질 수 있다.

자주 묻는 질문

관련 AI 소식