강화학습 방법론 분류: 모델 기반·모델 프리·Q러닝 총정리

핵심 메시지

• 강화학습은 신경과학·행동과학·최적제어·현대 머신러닝이 교차하는, 약 100년 역사의 방대한 분야다.
• 핵심 개념은 정책(상태에서 행동을 고르는 규칙)과 가치 함수(각 상태의 기대 미래 보상)이며, 목표는 최적 정책을 시행착오로 학습하는 것이다.
• 가장 큰 갈래는 환경 모델을 아는지 여부에 따른 '모델 기반'과 '모델 프리'의 구분이다.
• 모델 기반은 벨만 최적성에 기댄 동적 계획법(정책·가치 반복, HJB 방정식)을 쓰지만 고차원에서 확장이 어렵다.
• 모델 프리는 경사 프리(SARSA·Q러닝)와 경사 기반으로 나뉘며, 오늘날 머신러닝의 상당 부분은 오프 정책인 Q러닝에 해당한다.

쉽게 이해하기

스티브 브런턴 교수는 강화학습 강의 시리즈에서, 개별 알고리즘으로 들어가기 전에 이 분야 전체의 지형도를 먼저 그린다. 강화학습은 약 100년에 걸쳐 발전해 온 방대한 분야로, 파블로프의 개로 대표되는 행동과학과 신경과학, 벨만 방정식과 해밀턴-야코비-벨만(HJB) 방정식으로 대표되는 최적화·최적제어 이론, 그리고 현대의 딥 강화학습이 한데 모인 결과다. 그는 이를 머신러닝과 제어 이론의 교차점으로 본다.

기본 틀부터 정리한다. 에이전트는 행동(이산 또는 연속)을 통해 환경과 상호작용하고, 매 시점 환경의 상태를 관찰하며 현재와 미래의 보상을 최대화하려 한다. 체스처럼 승패가 마지막에야 결정되는 '희소하고 지연된 보상'이 강화학습을 어렵게 만든다. 정책(파이)은 상태가 주어졌을 때 행동을 고를 확률이며, 가치 함수는 어떤 정책을 따를 때 각 상태에서 기대되는 미래 보상의 합(할인 계수 적용)이다.

틱택토처럼 작은 문제는 모든 상태와 행동을 열거해 가치 함수를 무차별 계산할 수 있지만, 체스나 바둑은 가능한 상태 수가 10의 80승을 훌쩍 넘는 천문학적 규모여서 열거가 불가능하다. 그래서 강화학습의 목표는 시행착오와 경험을 통해 최적 정책을 학습하는 것이 된다.

가장 큰 갈래는 모델 기반과 모델 프리의 구분이다. 환경을 마르코프 결정 과정처럼 전이 확률을 아는 모델로 가지고 있다면, 벨만 최적성에 기반한 정책 반복과 가치 반복(동적 계획법)을 쓸 수 있다. 로봇이나 자율주행 같은 결정론적 연속 제어에서는 HJB 방정식을 쓰며, LQR·칼만 필터 같은 선형 최적제어가 그 특수한 경우다. 이 이론은 아름답지만, 실제로는 무차별 탐색에 가까워 고차원 시스템으로 확장하기 어렵다. 3~10차원 정도는 가능해도 수십만 차원의 유체 방정식에는 적용하기 어렵다.

현실에서는 대개 좋은 모델이 없으므로 모델 프리로 간다. 여기서는 경사 프리와 경사 기반이 갈린다. 경사 프리에는 다시 온 정책(SARSA·시간차·몬테카를로)과 오프 정책이 있다. 온 정책은 늘 최선의 수를 두며 배우고, 오프 정책의 대표인 Q러닝은 일부러 준최적 수를 시도해 정보를 얻는다. Q 함수는 상태와 행동의 결합 가치로, 정책과 가치 정보를 모두 담고 모델 없이도 학습할 수 있어 남의 플레이를 관찰하는 모방학습에도 강하다. 브런턴은 오늘날 머신러닝의 상당 부분이 바로 이 Q러닝이라고 말한다. 경사 기반은 정책·가치·Q 함수의 매개변수를 직접 경사 최적화로 갱신해 가장 빠를 수 있다. 지난 10년간 딥마인드와 알파고, 아타리 게임 정복으로 대표되는 딥 강화학습은 이 함수들을 심층 신경망으로 표현하고 역전파로 학습한다.

주요 인사이트

• 강화학습을 '알고리즘 나열'이 아니라 '선택의 지도'로 보면 이해가 쉽다. 모델을 아는가 → 경사를 쓸 수 있는가 → 온 정책인가 오프 정책인가라는 갈림길로 정리된다.
• 동적 계획법은 이론적으로 완결적이고 강력하지만 실질적으로 무차별 탐색에 가까워, 고차원 문제에서는 확장성이 발목을 잡는다. 이것이 모델 프리 기법이 널리 쓰이는 이유다.
• Q러닝이 강력한 이유는 오프 정책 학습이 가능하기 때문이다. 준최적 행동이나 타인의 시연에서 얻은 경험까지 모두 학습에 흡수해 정책과 가치 추정을 개선할 수 있다.
• 온 정책(SARSA)은 보수적으로 수렴하고, 오프 정책(Q러닝)은 더 빨리 수렴하는 경향이 있다. 목적에 따라 안정성과 속도 사이에서 선택하게 된다.
• 시간차(TD) 학습은 동물의 뇌가 학습하는 방식과 밀접한 신경과학적 대응을 가진다는 점에서, 공학적 기법 이상의 함의를 지닌다.

자주 묻는 질문

관련 AI 소식