강화학습 기초 정리: MDP와 보상 설계, 정책 경사(REINFORCE)까지 스탠퍼드 CS229 강의

핵심 메시지

• 강화학습은 정답 라벨 대신 좋고 나쁨만 알려 주는 스칼라 보상으로 배우고, 학습에 쓸 데이터를 스스로 만들어 내는 시행착오 구조를 갖는다.
• MDP는 상태 집합, 행동 집합, 전이 확률, 보상 함수, 할인 계수라는 다섯 요소로 세계와 상호작용 방식을 기술하는 표준 뼈대다.
• 보상을 매끄럽게 다듬는 보상 셰이핑은 학습을 쉽게 만들지만, 설계자가 모르는 지름길이나 장애물이 있으면 오히려 엉뚱한 행동을 유도한다.
• 마르코프 성질 덕분에 최적 행동은 과거 이력과 무관하게 현재 상태만의 함수가 되고, 이 함수가 곧 정책이다.
• 정책 경사(REINFORCE)는 로그 미분 트릭으로 기대값의 기울기를 표본으로 추정하기 때문에, 전이 동역학을 몰라도 정책을 개선할 수 있다.

쉽게 이해하기

이번 강의는 강화학습을 순차적 의사결정 문제로 다시 정의하는 데서 출발한다. 한 번의 예측으로 끝나는 지도학습과 달리, 로봇을 조작하듯 매 시점 내린 결정이 다음 상황을 바꾸기 때문에 지금 최선인 선택이 전체로는 손해일 수 있다. 강연자는 탐험과 활용의 균형도 언급하지만, 최근의 실제 응용에서는 알고리즘 자체가 가진 무작위성만으로 충분한 경우가 많아 깊게 다루지 않는다고 선을 그었다.

두 번째 축은 지도의 부재다. 최적 행동을 알려 주는 라벨이 없고, 행동의 결과가 얼마나 좋았는지를 숫자 하나로 알려 주는 보상만 주어진다. 그래서 학습자는 스스로 행동을 시도해 데이터를 모으고, 잘된 행동은 강화하고 잘못된 행동은 억제하는 순환을 돈다. 데이터 수집과 학습이 분리되지 않고 하나의 루프로 붙어 있다는 점이 지도학습과 결정적으로 다르다.

세계를 기술하는 틀로는 마르코프 결정 과정(MDP)이 제시된다. 상태는 세계를 설명하는 데 필요한 모든 정보이고, 전이 확률은 어떤 상태에서 어떤 행동을 했을 때 다음 상태가 어디가 될지를 알려 주는 분포다. 강연자는 상태를 어디까지 담을지가 결국 모델링 선택이라는 점을 강조했다. 이론적으로는 모든 것을 넣어야 하지만 세상의 세부를 전부 담을 수는 없으니, 카메라 이미지처럼 필요한 만큼만 추상화해 쓴다는 것이다.

보상 설계는 짧지만 인상적인 대목이다. 목표 지점에만 1을 주고 나머지에는 작은 음수를 주면 최대한 빨리 목표에 도달해 머무르라는 지시가 된다. 반대로 목표에 가까울수록 점수를 높이는 방식은 학습 신호를 매끄럽게 만들지만, 중간에 장애물이 있거나 예상치 못한 지름길이 존재하면 오히려 잘못된 길로 유도한다. 환경을 잘 아는 설계자라면 세밀한 보상을, 잘 모른다면 최종 성과만 보는 편이 낫다는 조언이 뒤따랐다.

마지막 30분은 정책 경사에 할애됐다. 목적 함수의 기대값 안쪽에는 파라미터가 없고 표본을 뽑는 분포에만 파라미터가 들어 있어 기울기를 그대로 안으로 밀어 넣을 수 없다는 것이 핵심 난점이다. 여기서 확률의 기울기를 확률과 로그 확률의 기울기의 곱으로 바꿔 쓰는 항등식을 이용하면 다시 기대값 형태로 돌아오고, 표본으로 기울기를 추정할 수 있게 된다. 이때 전이 확률 항은 파라미터에 의존하지 않아 미분하면 사라지기 때문에, 환경의 동역학을 몰라도 알고리즘이 성립한다.

주요 인사이트

• 정책 경사가 대형 언어 모델 학습에 먼저 쓰이는 이유는 성능이 압도적이어서가 아니라, 환경 모델을 요구하지 않고 구조가 단순해 까다로운 조건에서도 적용하기 쉽기 때문이다.
• 결정적 최적 정책이 반드시 존재한다는 사실과, 실제 학습에서 확률적 정책을 쓰는 이유는 서로 모순되지 않는다. 확률을 부여하면 행동이 급격히 튀지 않고 조금씩 옮겨 가는 연속적인 변화가 가능해진다.
• 할인 계수는 미래 보상을 이자율처럼 깎아 현재 가치로 환산하는 장치다. 덕분에 무한히 이어지는 과정에서도 누적 보상이 유한한 값으로 묶이고, 같은 성과라면 빨리 달성하도록 유도하는 효과도 생긴다.
• 벨만 방정식은 결국 재귀를 푸는 문제다. 무한급수를 자기 자신을 포함한 식으로 바꿔 대수적으로 푸는 것과 같은 요령으로, 각 상태의 가치가 서로에 대한 선형 연립방정식이 되어 해를 구할 수 있다.
• 보상 설계를 조직 관리에 빗댄 비유가 인상적이다. 업무를 속속들이 아는 관리자는 세밀한 지침을 줄 수 있지만, 잘 모르면 최종 목표만 제시하고 방법은 맡기는 편이 낫다는 것이다.

자주 묻는 질문

관련 AI 소식