RLHF 강의 정리: SFT의 한계부터 REINFORCE, PPO, 보상 모델, DPO까지 한 번에

핵심 메시지

• 지도 미세조정은 교사의 정답을 흉내 내는 모방 학습이라 정답이 하나로 정해지지 않는 문제와, 선택되지 않은 대안이 왜 나쁜지에 대한 신호가 없다는 한계를 갖는다.
• REINFORCE는 보상이 높았던 응답의 확률을 올리고 낮았던 응답의 확률을 내리지만, 몇 번의 롤아웃으로 기댓값을 추정하기 때문에 편향은 없어도 분산이 크다.
• 베이스라인을 빼면 편향은 그대로 두고 분산만 낮출 수 있고, 이를 가치 함수로 학습하면 액터-크리틱과 어드밴티지 개념으로 이어진다.
• PPO는 정책이 한 번에 너무 멀리 가지 않도록 클리핑으로 신뢰 영역을 두고, 중요도 샘플링 비율로 이전 롤아웃을 여러 번 재사용해 학습 효율을 올린다.
• PPO 기반 RLHF는 정책·참조·가치·보상 네 모델을 동시에 올려야 해 메모리 부담이 크고, DPO는 선호 데이터를 직접 최적화해 이를 두 모델로 줄인다.

쉽게 이해하기

강의는 지도 미세조정(SFT)을 다시 짚는 데서 출발한다. SFT는 사람이 라벨링한 정답 응답을 그대로 따라 하도록 학습시키는 방식이라 강화학습에서 말하는 모방 학습, 행동 복제와 같다. 문제는 두 가지다. 첫째, 언어 과제에서는 정답이 하나로 정해지지 않는다. 정책 경사를 설명해 보라는 질문에도 직관적으로 풀어 쓰는 답, 예시를 많이 드는 답이 모두 정답일 수 있다. 둘째, 교사는 정답만 보여 주기 때문에 학습자가 선택하지 않은 대안이 왜 나쁜지에 대한 신호가 전혀 없다.

그래서 사람이 두 응답 중 어느 쪽을 선호하는지 표시한 선호 데이터를 만들고, 이를 보상 신호로 바꿔 강화학습을 돌린다. 학습 도중에 사람에게 매번 점수를 물을 수는 없으니 선호 데이터를 학습한 보상 모델이 대리 역할을 한다. 강의는 여기서 상태·행동·정책·궤적 같은 용어를 온도 조절기와 카트폴 예시로 정리한 뒤, 언어 모델에서는 프롬프트와 이전까지 생성된 토큰이 상태, 다음 토큰이 행동, 응답이 끝난 뒤의 점수가 보상에 대응한다고 연결한다. 알고리즘은 REINFORCE에서 시작한다. 보상이 높았던 궤적은 더 자주 나오도록, 낮았던 궤적은 덜 나오도록 확률을 조정하는 것이 전부다. 다만 참 기댓값을 구할 수 없어 몇 번 샘플링해 평균 내는 몬테카를로 추정을 쓰기 때문에 측정이 매우 노이즈하다. 게다가 보상의 절댓값만 보므로 프롬프트가 쉬운지 어려운지를 고려하지 못한다. 평균이 10점인 문제에서 5점을 받았다면 사실 벌점을 줘야 하는데 그 구분이 없다. 해법이 베이스라인이다. 보상에서 기대 수준을 빼 상대적인 잘함과 못함을 재는 것이고, 베이스라인의 기댓값이 0이라 편향은 건드리지 않고 분산만 줄인다는 성질이 강의에서 유도된다.

베이스라인을 배치 평균이나 이동 평균으로 잡을 수도 있지만, 더 좋은 선택은 가치 함수를 따로 학습하는 것이다. 가치 함수는 현재 상태에서 기대되는 미래 리턴을 예측하며, 정책이 바뀌면 함께 바뀐다. 여기에 상태에서 특정 행동을 했을 때의 기대 리턴인 Q 함수를 빼면 어드밴티지가 되고, 정책 모델(액터)과 가치 모델(크리틱)을 함께 학습하는 액터-크리틱 구조가 나온다. 강의는 보상 모델과 가치 모델이 다르다는 점을 특히 강조한다. 보상 모델은 응답이 끝난 뒤 사람의 선호를 예측하고, 가치 모델은 생성 도중의 접두사에서 앞으로 기대되는 리턴을 예측한다.

PPO가 필요한 이유는 두 가지다. 정책이 한 번에 크게 바뀌면 학습이 불안정해지고, 한 번 롤아웃한 데이터를 한 번만 쓰고 버리기에는 너무 비싸다. PPO는 이전 정책과 현재 정책의 확률 비율인 중요도 샘플링 비율을 도입해 지난 롤아웃을 다시 쓰고, 그 비율을 1±엡실론(보통 0.1~0.2) 범위로 잘라내 신뢰 영역 밖으로 나가는 업데이트를 막는다. 어드밴티지가 양수인데 비율이 상한을 넘으면, 또는 음수인데 하한 아래로 내려가면 기울기를 0으로 만들어 갱신하지 않는 식이다. 여기에 RLHF 전체 그림에는 모델이 하나 더 등장한다. 학습하지 않고 얼려 두는 참조 모델이다. 정책이 보상만 좇다 보면 같은 말을 반복하거나 문장만 길게 늘여 보상 모델을 속이는 보상 해킹이 일어나기 때문에, SFT 체크포인트와의 KL 발산에 페널티를 걸어 너무 멀어지지 않게 붙들어 둔다. 여기에 보상 모델은 브래들리-테리 모형에서 유도한 손실로 학습한다. 두 응답의 점수 차이에 시그모이드를 씌운 형태여서 이진 분류 손실과 닮았고, 과적합과 보상 해킹 때문에 에폭을 하나 넘기지 않는 것이 관행이라고 강의는 전한다.

이렇게 하면 정책·참조·가치·보상 네 개의 모델이 필요하다. 70억 파라미터 모델을 16비트로 올린다면 하나에 약 14기가바이트, 넷이면 가중치만 56기가바이트다. 옵티마이저 상태와 활성값은 아직 세지도 않았다. DPO는 여기서 보상 모델과 가치 모델을 없앤다. 최적 정책 식을 뒤집어 보상을 정책과 참조 모델의 비율로 표현한 암묵적 보상을 브래들리-테리 모형에 대입하면, 복잡한 항이 소거되고 선호 데이터를 지도학습처럼 직접 최적화하는 손실만 남는다. 참조 모델까지 없앤 SimPO, 데이터 생성과 학습을 번갈아 반복하는 반복적 DPO 같은 변형도 이어진다. 마지막으로 RLHF가 어려운 이유 두 가지가 제시된다. 하나는 과최적화다. 보상 모델 점수는 계속 좋아지는데 실제 사람의 선호와는 어느 순간 멀어진다. 측정 지표를 목표로 삼는 순간 지표가 망가진다는 굿하트의 법칙 그대로다. 다른 하나는 모드 붕괴로, 학습을 오래 하면 뻔하고 평균적인 응답만 나온다. 강의는 인스트럭트GPT 이후 사후 학습이 훨씬 복잡해졌고, 최근에는 딥시크 R1이 연 RLVR과 에이전트 환경에서의 강화학습처럼 인프라까지 고민해야 하는 단계로 넘어갔다고 정리하며 마무리한다.

주요 인사이트

• SFT와 REINFORCE의 수식은 놀랄 만큼 닮았다. SFT는 정답에 항상 보상 1을 주는 특수한 경우로 볼 수 있고, 차이는 응답을 교사에게서 가져오느냐 현재 정책이 직접 뽑느냐에 있다.
• 베이스라인은 공짜 점심에 가깝다. 기댓값이 0이라 목표 지점을 옮기지 않으면서 추정의 흩어짐만 줄이므로, 실무에서는 REINFORCE를 쓸 때 거의 항상 함께 쓴다.
• 보상 모델과 가치 모델을 섞어 이해하면 RLHF 그림이 무너진다. 전자는 끝난 응답에 대한 사람의 선호를, 후자는 생성 도중 상태의 기대 리턴을 다룬다.
• PPO의 클리핑과 참조 모델의 KL 페널티는 둘 다 '너무 멀리 가지 말라'는 제약이지만 대상이 다르다. 앞은 직전 정책, 뒤는 SFT 체크포인트를 기준으로 삼는다.
• DPO가 매력적인 이유는 성능만이 아니라 자원이다. 네 모델을 두 모델로 줄이는 것만으로도 같은 하드웨어에서 시도할 수 있는 실험의 폭이 크게 달라진다.

자주 묻는 질문

관련 AI 소식