정책 경사(Policy Gradient)와 액터-크리틱 정리 — 스탠퍼드 AA203 강화학습 18강 강의 해설

핵심 메시지

• 정책 경사 방법은 가치 함수를 통해 정책을 간접적으로 정의하는 대신, 정책을 파라미터로 직접 표현하고 강화학습 목적 함수를 경사 상승으로 최대화한다.
• 로그 미분 항등식을 적용하면 알 수 없는 환경의 전이 확률과 초기 상태 분포가 수식에서 사라지고, 우리가 정의한 정책의 로그 확률과 실제로 관측한 보상만 남는다.
• 리인포스 알고리즘은 이 추정식을 그대로 구현한 것으로, 전문가 행동을 따라 하는 행동 복제의 경사에 보상을 가중치로 곱한 형태로 해석할 수 있다.
• 샘플로 추정한 정책 경사는 분산이 매우 커서 학습이 불안정해지며, 인과성 적용과 베이스라인 빼기가 대표적인 분산 감소 기법이다.
• 액터-크리틱은 관측한 보상 합 대신 학습된 가치 함수로 미래 보상을 추정해 분산을 줄이고, 가치 기반 방법과 정책 최적화의 장점을 함께 취한다.

쉽게 이해하기

스탠퍼드대 AA203 '최적 제어와 학습 기반 제어' 강의의 18번째 시간은 모델 프리 강화학습의 두 번째 큰 갈래인 정책 최적화를 다룬다. 앞선 강의들이 몬테카를로와 시간차 학습으로 가치 함수를 추정하고, 그 가치 함수에서 정책을 암묵적으로 끌어냈다면 이번 강의는 방향을 바꾼다. 정책 자체를 파라미터를 가진 함수로 명시적으로 표현하고, 그 파라미터를 조정해 강화학습의 목적 함수를 곧바로 최대화하는 방식이다. 강연자인 다니엘레 감멜리 박사는 이를 '목적 함수 언덕을 그대로 올라가는 일'에 비유한다.

문제는 최대화하려는 목적 함수가 궤적 분포에 대한 기댓값이라는 점이다. 궤적 분포에는 초기 상태의 무작위성, 정책의 무작위성, 그리고 우리가 알지 못하는 환경 전이 함수의 무작위성이 모두 섞여 있다. 강의는 기댓값을 적분으로 풀어 쓴 뒤, 확률에 로그 확률의 기울기를 곱한 값이 확률의 기울기와 같다는 항등식을 대입해 식을 정리한다. 로그를 취하면 곱이 합으로 바뀌고, 파라미터와 무관한 초기 상태 항과 전이 확률 항은 미분에서 사라진다. 결국 남는 것은 우리가 직접 정의했기에 계산할 수 있는 정책의 로그 확률과, 환경에서 실제로 받은 보상뿐이다.

이 결과를 알고리즘으로 옮긴 것이 리인포스다. 정책으로 환경과 여러 번 상호작용해 궤적을 모으고, 그 표본으로 경사를 근사한 뒤, 파라미터 공간에서 한 걸음 이동하는 세 단계를 반복한다. 강의는 이 식이 최대우도 추정, 즉 전문가 시연을 그대로 흉내 내는 행동 복제의 경사와 형태가 같되 보상이라는 가중치가 붙어 있을 뿐이라고 짚는다. 행동 복제가 데이터셋에 있는 모든 행동의 확률을 똑같이 끌어올린다면, 정책 경사는 보상이 높았던 행동의 확률을 더 크게 끌어올린다. 시행착오로 배운다는 강화학습의 직관이 수식으로 표현된 셈이다.

그러나 표본으로 추정한 경사는 분산이 크다. 강의는 세 개의 궤적에 같은 양수를 일괄로 더하는 사고 실험으로 이를 보여준다. 궤적 사이의 상대적 우열은 그대로인데도 보상의 절대값이 모두 양수가 되면, 정책 경사는 나쁜 궤적의 확률까지 함께 끌어올리려 한다. 이런 불안정한 학습 신호는 성능 저하와 느린 수렴을 부른다. 첫 번째 처방은 인과성이다. 특정 시점의 행동은 그 이전에 받은 보상에 영향을 줄 수 없으므로, 해당 시점 이후의 보상만 더하면 항의 개수가 줄어 분산도 함께 줄어든다. 두 번째 처방은 베이스라인으로, 평균 보상 같은 기준값을 보상에서 빼 수익을 0 근처로 재중심화한다.

마지막 절반은 액터-크리틱으로 이어진다. 분산의 근원이 표본 하나로 추정한 '남은 보상'이라면, 그 기댓값을 별도의 파라미터 함수로 학습해 대체하자는 발상이다. 정책에 해당하는 액터와 가치 추정에 해당하는 크리틱을 함께 두고, 크리틱은 지난 강의의 몬테카를로나 시간차 학습으로 회귀 문제처럼 학습한다. 여기에 상태 가치 함수를 베이스라인으로 빼면 '평균적인 행동보다 얼마나 나은가'를 뜻하는 어드밴티지 함수가 된다. 널리 쓰이는 A2C는 Q 함수를 즉시 보상과 다음 상태의 가치 합으로 근사해 신경망 하나만 학습하고도 어드밴티지를 쓴다. 강의는 알파고가 자기 대국으로 정책망을 학습하며 상태 가치 함수를 베이스라인으로 삼아 분산을 줄인 사례를 마지막 예시로 든다.

주요 인사이트

• 베이스라인을 빼도 추정량이 편향되지 않는 이유는 증명으로 확인된다. 뺀 항의 기댓값을 전개하면 확률밀도의 적분이 1이 되고, 상수의 기울기는 0이므로 기대 경사는 그대로다. 분산만 줄이고 대가는 치르지 않는 드문 선택지다.
• 정책 경사는 연속 행동 공간을 자연스럽게 다룬다. 정책을 가우시안 같은 분포로 정의하기만 하면 되기 때문이다. 반면 가치 기반 방법은 Q 함수에 대한 argmax로 정책을 정의하므로, 행동이 연속이면 그 자체가 또 하나의 최적화 문제가 된다.
• 정책 최적화는 우리가 관심 있는 목적 함수를 직접 올라가므로 중간에 학습을 멈춰도 얼마나 개선됐는지 가늠할 수 있다. Q 러닝은 수렴 시 최적성이 보장되지만, 중간 지점에서 이전 정책보다 나아졌는지 판단하기 어렵다.
• 정책 경사의 대가는 온폴리시라는 점이다. 정책을 갱신하는 순간 이전 경험은 더 이상 경사 추정에 쓸 수 없어 새로 데이터를 모아야 하고, 이는 환경과의 상호작용 횟수 측면에서 매우 비효율적일 수 있다.
• 보상이 촘촘할수록 학습에 유리하다는 수강생 질문에 강연자는 동의하면서, 분산 때문만이 아니라 궤적 전체에 걸친 공로 배분이 세밀해지기 때문이라고 답한다.

자주 묻는 질문

관련 AI 소식