PPO 알고리즘 원리: LLM 정렬과 추론 모델을 만드는 강화학습을 직관으로 이해하기

핵심 메시지

• PPO는 LLM을 사람의 선호에 정렬시키고, 평범한 LLM을 추론 모델로 바꾸는 데 쓰인 강화학습 알고리즘이다.
• 원논문이 어려운 이유는 알고리즘이 수십 년간 쌓인 강화학습 연구 위에 올라앉아 있기 때문이다.
• 핵심 질문은 하나다 — 정답 분포 없이, 내가 고른 행동이 '평균보다 얼마나 나았는지'를 어떻게 알아내는가.
• 가치 함수와 어드밴티지, 일반화 어드밴티지 추정(GAE)은 모두 편향과 분산 사이의 절충을 다루는 장치다.
• PPO가 실제로 새로 기여한 부분은 비율을 잘라내는 클리핑 하나에 가깝고, 나머지는 그 이전에 이미 존재했다.

쉽게 이해하기

PPO(근접 정책 최적화)는 LLM을 사람의 선호에 맞추는 RLHF의 뼈대이자, OpenAI o1 계열처럼 평범한 언어모델을 추론 모델로 바꾸는 데 쓰인 알고리즘이다. 그런데 원논문은 읽기가 만만치 않다. 수식이 빽빽하고, 올해 튜링상을 받은 앤드루 바토와 리처드 서턴의 연구까지 포함해 수십 년간 축적된 강화학습 전통 위에 서 있기 때문이다. 구현을 들여다봐도 사정은 비슷하다 — 허깅페이스 PPO 트레이너의 설정 항목만 봐도 무엇이 본질인지 가려내기 어렵다.

강화학습은 물리 세계에서 더 직관적이다. 로봇 청소기가 거실을 돌며 바닥을 다 쓸어야 한다고 하면, 한 번의 청소가 에피소드이고 한 발짝 이동이 행동이며 환경은 새 좌표를 상태로 알려준다. 언어의 세계로 옮기면 에이전트는 LLM이고, 환경은 사람과 파이썬 인터프리터 같은 도구, 데이터를 포함한 모델 외부의 세계다. 프롬프트가 초기 상태가 되고, 토큰을 하나씩 예측하는 것이 곧 행동이며, 예측된 토큰이 상태에 붙으면서 종료 토큰까지 이어진다.

수학 문제 데이터셋으로 학습할 때 보상은 대개 맨 끝에만 주어진다. 모델 응답에서 최종 답을 뽑아 정답과 맞으면 양의 보상을 주는 식이다. 딥시크처럼 정답 여부뿐 아니라 형식까지 채점하기도 하고, 별도의 보상 모델로 문장마다 중간 보상을 주는 프로젝트도 있다. 문제는 여기서 시작된다 — 이 하나의 숫자로 궤적 전체를 거슬러 올라가 수십억 개 파라미터를 좋은 행동이 강화되는 방향으로 갱신해야 한다. 이 학습을 안정적으로 만드는 것이 강화학습의 성배라고 발표자는 말한다.

지도학습이라면 정답 토큰의 확률이 1인 목표 분포와의 거리를 학습 신호로 쓰면 된다. 강화학습에는 그 목표 분포가 없으니, 대신 확률을 얼마나 밀어올릴지를 정하는 배율을 구한다. 이 배율이 어드밴티지다. PPO의 철학은 정답을 모르는 대신 '평균적인 행동'과 비교하는 것이다. 그래서 상태의 값을 알려주는 별도의 모델인 가치 함수를 도입한다. 정책이 배우이고 가치 함수가 그 배우를 계속 평가하는 비평가라서, 이런 부류를 액터-크리틱 모델이라 부른다. 어드밴티지는 내가 고른 행동의 품질에서 상태의 평균적 값을 뺀 값으로 표현된다.

행동의 품질을 재는 방법은 두 극단 사이에 놓인다. 에피소드가 끝날 때까지 기다려 미래 보상을 할인해 모두 더하는 몬테카를로 방식은 가정을 넣지 않아 편향이 작지만, 잡음 섞인 보상에 그대로 노출되어 분산이 크다. 반대로 가치 함수의 추정치로 끌어와 쓰는 부트스트래핑은 분산이 작지만 거친 추정에 기대므로 편향이 크다. GAE(일반화 어드밴티지 추정)는 보상 한 개, 두 개, 세 개를 쓰는 여러 표현을 지수 가중 평균으로 섞고, 람다 값으로 그 절충점을 조절한다. 여기에 학습 효율을 위해 같은 궤적을 여러 번 재사용하려면 중요도 샘플링 비율로 분포 차이를 보정해야 하고, PPO는 바로 그 비율을 1±ε 범위로 잘라내 한 번의 갱신 폭을 제한한다.

주요 인사이트

• PPO가 어려운 것은 알고리즘 자체보다 그 앞에 쌓인 맥락 때문이다. 발표자 스스로 '실은 클리핑 전까지는 PPO가 아니었다'고 정리한다 — 정책 경사, 가치 함수, GAE, 중요도 샘플링은 모두 PPO 이전에 있었다.
• 가치 함수의 참값은 가능한 모든 이후 전개에 대한 기대값이라 계산이 사실상 불가능하다. 분기 계수가 어휘 사전 크기만큼이기 때문이며, 그래서 별도 모델로 추정하고 평균제곱오차로 학습시킨다.
• 강화학습의 골칫거리인 분산 문제는 데이터가 적은 데서만 오지 않는다. RLHF처럼 보상이 사람에게서 오면 일관되지 않을 수 있고, 이상치 하나가 큰 갱신을 유발해 학습을 흔든다.
• TRPO는 새 가중치가 옛 가중치에서 얼마나 멀어질 수 있는지를 수학적으로 정의하는 신뢰 영역을 도입했지만 2차 미분이 필요해 계산이 무거웠다. PPO의 클리핑은 같은 목적을 훨씬 값싸게 달성하는 실용적 우회다.
• 논문에는 탐색을 장려하기 위한 엔트로피 항이 하나 더 있지만 실전에서 얼마나 도움이 되는지 불분명해, 트랜스포머스 구현은 이를 아예 빼기로 결정했다.

자주 묻는 질문

관련 AI 소식