PPO 강화학습 강의 정리 – 정책 경사, 어드밴티지, 중요도 샘플링과 클리핑까지 단계별 해설

핵심 메시지

• PPO는 2016~2017년경의 기법이지만, 도메인 지식 없이 처음부터 에이전트를 학습시킬 때는 여전히 기본값으로 쓰이며 RLHF 단계에서도 그대로 사용된다.
• 정책 경사의 핵심 유도는 로그 미분 트릭으로 환경 전이 항의 기울기를 0으로 만들어 없애는 것이며, 그 덕분에 환경의 내부 규칙을 몰라도 롤아웃만으로 학습할 수 있다.
• 분산을 줄이는 두 장치가 차례로 붙는다. 미래는 과거에 영향을 주지 못하므로 전체 보상 대신 남은 보상만 쓰고, 상태에만 의존하는 기준선을 빼서 Q값을 어드밴티지로 바꾼다.
• 여러 길이의 n스텝 갱신을 기하급수적으로 감쇠시켜 섞으면 편향과 분산을 함께 다룰 수 있고, 적격 흔적이라는 트릭 덕분에 이 합을 한 스텝 갱신들로 계산할 수 있다.
• PPO 고유의 부분은 오래된 정책으로 모은 데이터를 재사용하기 위한 중요도 샘플링과, 확률 비를 1±0.2로 잘라 보수적인 쪽을 택하는 클리핑이다. 강연자는 이 클리핑이 이론적 근거가 약한 임시방편이지만 실제로 잘 작동한다고 솔직히 밝힌다.

쉽게 이해하기

ARENA의 강화학습 회차는 PPO를 하나의 완성된 공식으로 던져주는 대신, 가장 단순한 정책 경사에서 시작해 항을 하나씩 붙여가며 재구성한다. 전제는 명확하다. 행동 공간은 이산이고 상태 공간은 연속이며, 환경은 에피소드 단위로 끝난다. 학습 목표는 시작 상태의 가치를 키우는 것이고, 정책은 상태를 로짓으로 옮기는 신경망으로 두어 소프트맥스로 행동을 뽑는다.

확률적 정책을 쓰는 이유부터 설명이 붙는다. 무작위로 아무 행동이나 시도하는 방식은 이미 나쁘다고 아는 선택지까지 똑같은 확률로 고르게 만들지만, 소프트맥스 정책은 좋다고 판단한 쪽에 확률을 몰아주면서도 확신이 없는 선택지를 탐색할 여지를 남긴다. 이어지는 유도에서는 로그 미분 트릭으로 목적 함수의 기울기를 정리하고, 환경 전이 확률이 정책 매개변수와 무관하다는 사실을 이용해 그 항을 통째로 지운다.

여기까지가 바닐라 정책 경사이고, 나머지는 분산을 줄이는 작업이다. 어떤 행동의 로그 확률을 에피소드 전체 보상으로 밀어 올리면 그 행동과 무관한 초반 보상까지 잡음으로 섞이므로, 해당 시점 이후의 보상만 쓰는 리워드 투 고로 바꾼다. 다음으로 상태에만 의존하는 함수는 기댓값을 바꾸지 않는다는 성질을 이용해 가치 함수를 빼면, 남는 것은 '기본 정책이었다면 얻었을 값보다 이 행동이 얼마나 나았는가'를 재는 어드밴티지가 된다.

가치 함수를 추정하려면 별도의 신경망이 필요하고, 여기서 액터-크리틱 구조가 등장한다. 강연자는 연기하는 것보다 평가하는 편이 쉽다는 비유로 크리틱의 역할을 설명한다. 크리틱은 실제 수익과의 평균제곱오차로 학습하며, 액터의 궤적에서만 배우기 때문에 둘은 서로를 끌어올리기도 하고 함께 정체되기도 한다. 어드밴티지 추정에는 한 스텝 갱신과 끝까지 굴리는 갱신 사이의 편향-분산 절충을 조율하기 위해 여러 n스텝 수익을 감쇠 가중해 섞고, 적격 흔적으로 이를 효율적으로 계산한다.

마지막 조각이 PPO를 PPO로 만든다. GPU를 놀리지 않으려면 수백 개 환경을 굴려 모은 경험으로 여러 번 갱신해야 하는데, 그 순간 데이터는 이미 옛 정책의 것이 된다. 중요도 샘플링으로 새 정책과 옛 정책의 확률 비를 곱해 이를 보정하고, 그 비를 1±0.2 범위로 잘라 자른 값과 자르지 않은 값 중 보수적인 쪽을 택한다. 여기에 크리틱 손실과, 정책이 너무 빨리 결정론으로 굳는 것을 막는 엔트로피 보너스를 더한 세 항의 합이 최종 목적 함수다.

주요 인사이트

• 강의의 미덕은 각 항을 '왜 넣었는지'로 정렬한다는 데 있다. 리워드 투 고와 기준선은 분산 축소, 크리틱은 안정성, 중요도 샘플링은 배치 학습을 위한 보정이라는 식으로 동기가 분리되어 있어, 수식을 외우지 않아도 구조가 남는다.
• 클리핑에 대한 설명은 특히 솔직하다. 이전 연구가 KL 발산 제약으로 풀려던 문제를 제약 최적화 대신 확률 비를 잘라내는 방식으로 우회한 것이며, 원리적으로 깔끔하지는 않지만 실제로 더 잘 작동한다는 이유로 살아남았다는 설명이다.
• PPO의 하이퍼파라미터들이 어디서 왔느냐는 질문에 강연자는 모른다고 답한다. 수많은 보조 손실 항과 조합을 대규모로 시험해 살아남은 것이라는 추정만 덧붙이는데, 이는 딥러닝 기반 강화학습에서 이론과 관행의 간극을 보여주는 장면이다.
• PPO가 온 정책 알고리즘이라는 사실이 곧바로 엔지니어링 제약으로 이어진다는 점도 눈에 띈다. 한 에피소드마다 갱신하는 방식이 수학적으로는 옳지만 GPU 활용에는 최악이라는 현실이 중요도 샘플링을 부른 것이다.
• DQN과 달리 버퍼에 개별 전이가 아니라 에피소드 전체가 들어간다는 차이도 실무적으로 중요하다. 지도학습처럼 섞을 필요가 없는 대신 길이가 다른 에피소드의 패딩 처리가 문제가 되고, 실제로는 일정 길이에서 잘라 쓰는 편법이 동원된다.

자주 묻는 질문

관련 AI 소식