강화학습으로 추론 모델 만들기 - 스탠퍼드 CS229 마지막 강의의 정책 경사와 PPO 정리

핵심 메시지

• 정책 경사는 결국 보상이 높은 궤적의 로그 확률에 더 큰 가중치를 주는 가중 최대우도 학습으로 이해할 수 있다.
• 이미 지나간 보상은 지금의 행동으로 바꿀 수 없으므로 앞으로 받을 보상만 가중치로 쓰고, 상태에 따라 달라지는 기준값을 빼서 분산을 줄인다.
• PPO는 옛 정책으로 모은 표본을 중요도 샘플링으로 재사용하되, 비율이 일정 범위를 벗어나면 잘라내 과도한 업데이트를 막는다.
• 언어모델 학습에서는 지금까지 생성된 문맥을 상태로, 다음 토큰을 행동으로 보고, 최종 답이 정답과 일치하는지만으로 보상을 준다.
• 강의자는 이 계열 알고리즘의 이론적 정당화가 아직 확실하지 않고 학습 안정화 방법에도 합의가 없다고 솔직하게 인정했다.

쉽게 이해하기

스탠퍼드 CS229의 마지막 강의는 강화학습 논의를 마무리하고 그 기법이 대규모 언어모델 학습에 어떻게 쓰이는지를 다룬다. 강의는 정책 경사의 직관을 다시 짚는 데서 출발한다. 기대값 안의 항에는 파라미터 의존성이 없고 의존성은 행동을 뽑는 확률 쪽에 숨어 있기 때문에, 기울기와 기대값을 그냥 바꿔치기할 수 없다는 점이 출발점이다.

유도된 식을 뜯어보면 의미는 단순하다. 표본으로 뽑은 행동들의 로그 확률을 높이되, 보상이 크면 크게 높이고 보상이 0이면 사실상 높이지 않는다. 여기에 두 가지 정리가 더해진다. 하나는 이미 받은 보상은 현재 선택으로 바꿀 수 없으니 앞으로 받을 보상만 가중치로 쓰는 것이고, 다른 하나는 기준값을 빼서 추정의 흔들림을 줄이는 것이다.

이 기준값은 단순한 상수가 아니라 상태에 따라 달라져야 의미가 있다. 어떤 상황에서는 보상이 10에서 11 사이이고 다른 상황에서는 0에서 1 사이라면, 각각에 맞는 값을 빼야 서로 같은 눈금 위에 놓인다. 그렇게 조정해야 잘한 행동은 양수, 못한 행동은 음수로 명확히 갈린다.

이어서 PPO가 등장하는 이유가 설명된다. 기본 정책 경사는 현재 파라미터로 뽑은 표본만 쓸 수 있어서 한 번 쓴 표본을 버려야 한다. PPO는 옛 정책으로 뽑은 표본에 확률 비율을 곱해 보정함으로써 이를 재사용하고, 비율이 일정 범위를 넘어가면 잘라낸다. 다만 잘라내면 학습이 멈추는 셈이라 성능이 이미 좋을 때는 업데이트가 느려지고, 나쁜 행동을 과도하게 억누르면 출력이 지나치게 한쪽으로 쏠려 다양성을 잃는 문제가 생긴다. 강의자는 실제 프로젝트에서 다양성이 줄어드는 현상을 관찰했다고 말한다.

강의 후반은 이 도구를 추론 능력 학습에 적용하는 이야기다. 문제를 받자마자 답을 내는 대신 생각을 먼저 적게 하는 방식은 예시를 몇 개 보여주는 형태에서 시작해, 단계별로 생각해보라는 짧은 문구만 넣는 형태로 발전했고 그것만으로 정확도가 눈에 띄게 올랐다. 사람이 만든 모범 사고 과정을 그대로 학습시키는 방식은 한계가 있었는데, 실제 모델의 사고 토큰은 앞뒤로 오가고 스스로를 의심하는 지저분한 형태라 사람이 흉내 내기 어렵기 때문이다.

그래서 강화학습이 쓰인다. 지금까지 생성된 문맥을 상태로, 다음 토큰을 행동으로 보면 언어모델 생성 자체를 하나의 의사결정 과정으로 볼 수 있다. 보상은 마지막에 한 번, 답이 정답과 일치하는지로만 준다. 생각하는 과정이 어떻든 상관하지 않고 결과만 채점하는 것이다. 답은 태그로 감싸게 해 파서로 뽑아내며, 모델을 채점자로 쓰면 내용이 아니라 형식만 맞춰 점수를 따내는 문제가 생길 수 있다고 지적한다.

주요 인사이트

• 기준값을 구하는 현대적인 방법으로, 같은 질문에 대해 여러 개의 답을 뽑아 그 평균을 빼는 방식이 소개된다. 여덟 개 중 하나만 맞았다면 맞은 답에는 큰 양수가, 나머지에는 작은 음수가 배분된다.
• 학습이 시작되려면 처음부터 0이 아닌 보상이 나와야 한다. 사고 능력이 거의 없는 모델은 계속 0점만 받아 학습이 진행되지 않으므로, 약한 수준이라도 사고 능력이 있는 모델에서 출발하거나 미리 지도학습으로 씨앗을 심어야 한다.
• 채점 방식은 최대한 프로그램적이어야 한다. 답 추출까지 다른 모델에 맡기면 보상 자체가 조작될 여지가 생기기 때문이다.
• 강의자는 클리핑 방식이 몇 달마다 새 논문으로 바뀌고 있으며, 무엇이 정답인지는 아직 열린 문제라고 말한다. 실제로 그가 쓰는 변형은 기울기를 완전히 끊는 대신 값만 잘라 학습이 아주 멈추지는 않게 한다.
• 강화학습 단계에서는 답을 토큰 단위로 만들어내는 생성 과정이 학습 계산보다 느리며, 생성이 길수록 캐시 부담이 커진다. 사전학습에는 없던 병목이다.

자주 묻는 질문

관련 AI 소식