정책 경사 강의 정리: REINFORCE 분산 문제부터 PPO와 소프트 액터 크리틱까지

핵심 메시지

• 가치 기반 방법이 고차원 행동 공간에서 argmax에 걸리는 문제를 피해, 정책을 직접 매개변수화해 보상을 높이는 방향으로 가중치를 조정한다.
• 로그 미분 항등식을 쓰면 알 수 없는 환경 전이 확률이 소거되어, 정책의 로그 확률 경사만으로 목적함수의 경사를 추정할 수 있다.
• REINFORCE는 궤적 전체를 같은 부호로 밀어 인과성을 어기고 분산이 커지는데, 리워드 투 고와 베이스라인 차감으로 편향 없이 완화된다.
• 리워드 투 고에서 베이스라인을 뺀 값이 곧 어드밴티지이며, 이것이 정책 경사와 가치 기반 방법을 잇는 액터 크리틱 구조로 이어진다.
• 중요도 샘플링으로 한 배치에 여러 번 경사 갱신을 하되, TRPO는 KL 제약으로, PPO는 비율 클리핑으로 정책 이동을 제한한다.

쉽게 이해하기

ETH 취리히의 '로봇 학습: 기초부터 파운데이션 모델까지' 강의 5회차는 지난 회차의 가치 기반 방법을 정리하며 시작한다. 값 반복이나 정책 반복 같은 정확한 방법은 벨만 수축 덕분에 수렴이 보장되지만 로보틱스에서는 좀처럼 갖기 어려운 동역학 모델을 전제한다. Q러닝과 SARSA를 거쳐 DQN, DDPG로 확장하는 과정은 결국 연속·고차원 공간에서 argmax를 어떻게 풀 것인가의 문제였다. 이번 회차의 질문은 그 단계를 건너뛰고 정책 자체를 직접 최적화하면 어떻겠느냐는 것이다.

정책을 매개변수화하면 그 성능을 신경망 가중치만 들여다봐서는 알 수 없으므로 몬테카를로 표집으로 평가한다. 현재 정책으로 로봇을 여러 번 굴려 보상을 평균 내는 방식인데, 이때 수집한 데이터가 모두 현재 정책에서 나왔다고 가정하는 것이 온폴리시 방법의 정의다. 문제는 경사다. 기대값 안에 표집 과정이 끼어 있어 목적함수를 직접 미분할 수 없고, 알지 못하는 실세계 동역학을 통과해 미분할 수도 없다.

여기서 정책 경사 정리가 등장한다. 기대값을 적분으로 쓰고 선형성을 이용해 경사를 안으로 넣은 뒤, 로그의 미분이 역수라는 항등식을 이용해 확률 밀도의 경사를 로그 확률의 경사로 바꾼다. 궤적 분포의 로그를 펼치면 초기 상태 분포와 환경 전이 확률은 정책 매개변수에 의존하지 않아 소거되고, 정책의 로그 확률 항만 남는다. 동역학을 몰라도 계산할 수 있는 형태가 되는 것이다. 이렇게 얻은 알고리즘이 1992년 윌리엄스가 이름 붙인 REINFORCE, 즉 바닐라 정책 경사다.

직관은 행동 복제와 비교하면 분명해진다. 행동 복제는 전문가 데이터의 모든 행동에 같은 가중치로 로그 확률을 높이지만, 정책 경사는 각 궤적을 총 보상으로 가중한다. 문제는 컵을 잡으려다 지나쳐 마지막에 음의 보상을 받으면 앞부분의 좋은 행동까지 전부 억제된다는 점이다. 시점 t의 행동은 과거의 보상에 책임이 없다는 인과성 원칙에 어긋난다. 해법은 리워드 투 고, 즉 그 시점 이후의 보상만 곱하는 것이다.

분산 문제도 남는다. 보상이 99와 101인 두 궤적의 실제 신호 차이는 2뿐인데 경사는 99와 101이라는 큰 값으로 스케일된다. 여기서 상수 베이스라인을 빼면 -1과 +1이 되어 나쁜 행동은 억제되고 좋은 행동은 강화된다. 상수를 빼도 경사의 기대값은 변하지 않으므로 편향 없이 분산만 줄어든다. 그리고 리워드 투 고가 사실 Q 함수의 몬테카를로 추정이라는 점을 알아채면, 여기서 상태 가치를 뺀 값이 곧 어드밴티지 함수임이 드러난다.

마지막 장애물은 온폴리시 제약이다. 로봇 데이터 수집은 비싸고 모터가 고장 나는데 경사 한 번 갱신하고 데이터를 버려야 한다. 중요도 샘플링으로 옛 데이터를 새 정책 확률과 옛 정책 확률의 비로 가중하면 재사용이 가능해지지만, 궤적 길이에 대해 지수적으로 폭발하는 항이 생겨 실제로는 시점 단위 기대값으로 근사한다. TRPO는 KL 발산 제약으로 성능 비악화를 보장하지만 피셔 정보 행렬 계산이 무거워 확장이 어렵고, PPO는 비율을 구간 안으로 자르는 1차 방법이라 Adam 같은 표준 옵티마이저와 잘 맞는다. 강의는 마지막으로 재현 버퍼를 쓰는 완전 오프폴리시 방법인 소프트 액터 크리틱까지 짚는다.

주요 인사이트

• 베이스라인 차감이 '편법처럼 보이지만 편법이 아닌' 이유가 이 강의의 좋은 설명 지점이다. 상수를 빼는 연산은 경사의 기대값을 바꾸지 않으면서 분산만 크게 줄이는, 편향이 0인 조작이다.
• 리워드 투 고가 Q 함수의 잡음 섞인 한 표본이라는 관찰이 정책 경사와 가치 기반 방법을 잇는 다리가 된다. 액터 크리틱은 두 계열을 억지로 합친 것이 아니라 같은 양을 다르게 추정하는 방법의 조합이다.
• 중요도 샘플링에서 상태 분포 비율을 1로 근사한다는 점은 TRPO와 PPO가 왜 정책 변화를 작게 묶어야 하는지를 설명한다. 근사가 성립하려면 두 정책이 충분히 가까워야 하고, 클리핑과 KL 제약은 바로 그 조건을 강제하는 장치다.
• 엔트로피 보너스는 탐색을 위한 장식이 아니라 중요도 샘플링의 전제 조건이다. 정책이 특정 행동에 0 확률을 주면 비율이 정의되지 않으므로, 분포를 퍼뜨려 지지 집합을 유지하는 것이 수식상 필요하다.
• 크리틱은 테스트 시점에 버려지므로 시뮬레이터에서만 얻을 수 있는 특권 정보를 넣어 학습시켜도 된다. 어드밴티지 추정의 분산을 줄이는 실전 요령으로, 로보틱스처럼 시뮬레이션 학습이 흔한 분야에서 특히 유용하다.
• PPO가 대규모 언어모델의 RLHF나 GRPO 계열의 뼈대가 된 이유가 1차 방법이라는 확장성에 있다는 지적은, 로보틱스 강의와 LLM 학습이 같은 계보를 공유한다는 점을 상기시킨다.

자주 묻는 질문

관련 AI 소식