강화학습 정책 경사법 원리 정리: REINFORCE 갱신 규칙과 베이스라인, 정책 경사 정리까지

핵심 메시지

• 정책 경사법은 가치 추정을 거치지 않고 파라미터가 각 상태에서의 행동 확률을 직접 결정하도록 학습하는 방식이다.
• 가장 기본형인 REINFORCE는 몬테카를로 방식이라 에피소드가 끝날 때까지 기다렸다가 관측한 수익에 비례해 그 행동의 확률을 높이거나 낮춘다.
• 수익에 비례하는 단순한 갱신 규칙은 자주 선택되는 행동에 유리하게 편향되므로, 행동 확률로 나눠 선택 빈도를 보정해야 한다.
• 보상이 항상 양수인 환경에서는 모든 행동이 더 그럴듯해지기만 하므로, 상태 가치 추정을 베이스라인으로 빼서 행동을 상대적으로 평가한다.
• 정책 경사 정리는 상태 분포의 기울기를 계산하지 않고도 목표를 개선할 방향을 알려 주기 때문에 실용적으로 중요하다.

쉽게 이해하기

강화학습을 다루면서 정책 경사법을 빼놓기는 어렵다. 이 계열은 문제를 더 직접적으로 공략하며, 실제로 가장 효과적인 모델 상당수가 여기서 나왔다. 영상은 널리 쓰이는 근접 정책 최적화(PPO)가 정책 경사법의 한 종류이며 오픈AI가 챗GPT 학습에 인간 피드백을 반영할 때 쓴 알고리즘이라고 소개한다. 다만 이번 영상이 다루는 것은 그런 고급 기법이 아니라 그 아래에 깔린 기초다.

기존에 다룬 방식은 파라미터를 골라 행동 가치 함수를 근사한 뒤, 값이 가장 높은 행동을 고르되 가끔 무작위로 탐색하는 식이었다. 정책 경사법은 이 가치 추정을 통째로 우회한다. 파라미터를 고르면 기대 수익이 얼마인지는 알 수 없고, 대신 모든 상태에서 각 행동을 고를 확률이 곧바로 정해진다. 확률은 합이 1이어야 한다는 제약을 받는데, 파라미터를 소프트맥스 함수에 통과시키면 제약 없는 값으로 다뤄도 항상 올바른 확률 벡터가 나온다.

갱신 규칙은 직관에서 출발한다. 어떤 상태에서 왼쪽을 골랐더니 이후 10의 수익이 났다면 그 행동의 확률을 높이고, 수익이 절반이면 조정 폭도 절반이면 된다. 여기서 등장하는 기울기는 '해당 상태에서 그 행동의 확률을 가장 크게 높이는 방향'으로 이해하면 된다. 그런데 이 규칙만으로는 문제가 생긴다. 처음에 확률이 높은 행동은 그만큼 자주 선택되어 조정이 자주 적용되기 때문에, 한 번의 조정 폭이 작아도 결국 좋은 행동을 밀어낸다.

해결책은 갱신량을 그 행동의 확률로 나누는 것이다. 이렇게 하면 선택 빈도의 차이가 상쇄되고, 미적분을 거치면 흔히 보는 로그 확률의 기울기 형태가 된다. 영상은 이 규칙으로 완성한 REINFORCE를 직접 만든 '윈디 하이웨이' 예제에 적용해 보인다. 가로 위치에 따라 보상과 바람이 정해지는 2차원 공간에서, 학습된 정책은 보상이 높은 구간으로 다가가 바람에 맞서며 그 안에 머무르려 한다.

그런데 모든 보상에 4를 더하기만 해도 학습이 눈에 띄게 느려진다. 수익이 항상 양수면 방문한 모든 상태의 모든 행동이 더 그럴듯해지기만 하고, 정책은 무엇을 하지 말아야 하는지는 배우지 못한 채 아주 좋은 것이 꽤 좋은 것을 압도할 때까지 기다려야 하기 때문이다. 그래서 수익에서 베이스라인 함수를 빼 준다. 자연스러운 선택은 그 상태에 있을 때의 기대 수익, 즉 상태 가치 추정치다. 이러면 부호가 '그 상태에서 기대되는 것보다 나았는가'를 뜻하게 된다.

베이스라인은 거의 아무 함수여도 수렴 성질을 깨지 않지만 행동에 의존해서는 안 된다. 행동에 따라 달라지면 환경이 아니라 베이스라인이 특정 행동을 편들게 되기 때문이다. 이 방식을 쓰려면 정책과 가치 함수 두 개의 함수 형태와 두 개의 학습률을 정해야 해서 부담이 늘지만, 보상이 모두 양수인 조건에서 여러 번 반복해 평균 낸 학습 곡선을 비교하면 개선 폭이 뚜렷하다.

마지막으로 이론이 등장한다. 우리가 최적화하려는 대상은 시작 상태의 가치, 즉 그 상태에서 기대되는 수익이다. 정책 경사 정리는 이 값의 기울기가 '상태에 머무를 확률로 가중한, 행동 가치로 가중한 기울기들의 합'에 비례한다고 말한다. 중요한 것은 이 식에 상태 분포의 기울기가 등장하지 않는다는 점이다. 정책이 바뀌면 방문하는 상태 분포도 바뀌는데, 그 변화를 추정하는 일은 대단히 지저분하고 잡음이 크기 때문이다.

주요 인사이트

• 정책 경사법의 행동 확률은 매끄럽게 변한다. 가치 기반에 엡실론 탐욕 정책을 쓰면 가치 추정이 조금만 바뀌어도 확률이 급격히 튀는데, 정책 경사법은 늘 작고 유리한 조정을 할 수 있어 수렴 성질이 낫다. 대신 순진한 형태는 느리고 비효율적일 수 있다.
• 정책만 푼다는 점은 양날의 검이다. 환경 동역학처럼 지금 정책에 당장 영향이 없는 정보를 무시해 일반화 여지를 잃을 수도 있고, 반대로 최적 정책과 무관한 복잡성에 모델 용량을 쓰지 않아 이득이 될 수도 있다.
• 확률적 정책을 학습할 수 있다는 것도 차이다. 엡실론 탐욕 방식에서는 무작위성의 정도를 미리 고정해야 해서 학습 대상이 아니지만, 포커처럼 진짜로 동전을 던져야 하는 상황이 최적 정책의 일부라면 정책 경사법이 이를 직접 배울 수 있다.
• 가치 기반 방법은 매번 가치가 가장 큰 행동을 찾아야 해서 행동 후보가 많으면 느려지지만, 정책 경사법은 이 최댓값 탐색이 필요 없어 고차원 행동 공간에 유리하다.
• 정책 경사 정리의 실용적 가치는 '기댓값이 이 이론적 방향과 같아지는 표본 기울기를 만들어 내면 목표가 개선된다'는 설계 지침을 준다는 데 있다. 실제 여러 정책 경사법의 유도 과정이 바로 이 작업이다.

자주 묻는 질문

관련 AI 소식