RLHF vs DPO 논문 리뷰 — 온라인 방식이 더 나은 이유는 생성보다 검증이 쉽기 때문

핵심 메시지

• 언어 모델의 선호 파인튜닝에는 보상 모델을 먼저 학습하는 온라인 방식(RLHF)과 그 단계를 건너뛰는 오프라인 방식(DPO)이 있고, 이상적인 조건에서는 두 방식이 같은 해로 수렴한다고 알려져 있다.
• 그런데 실제 결과에서는 온라인 방식이 일관되게 더 나은 성능을 보였고, 이 논문은 그 이유로 제기되던 가설들을 하나씩 검증한다.
• 온폴리시 샘플이 본질적으로 더 좋다는 가설은 정보 이론의 데이터 처리 부등식으로 반박된다. 보상 모델을 학습한 시점에서 새 정보는 더 이상 늘지 않기 때문이다.
• 정규화가 잘 안 된다, 최적화가 더 어렵다, 데이터 다양성 때문이다, 분포 밖 일반화 때문이다 — 네 가지 가설도 각각 선행 연구와 실험으로 기각됐다.
• 남은 설명은 생성보다 검증이 쉽다는 것이다. 두 작업의 난이도 차이가 작은 과제에서는 온라인과 오프라인의 성능 격차도 사라졌다.

쉽게 이해하기

이 영상은 논문 읽기 모임 PR-12의 507번째 발표로, 2025년 3월 arXiv에 올라온 'All Roads Lead to Likelihood: The Value of Reinforcement Learning in Fine-Tuning'을 다룬다. 요즘 언어 모델은 지도 파인튜닝을 먼저 하고, 그다음 사용자가 선호할 만한 답변을 내도록 선호 파인튜닝을 거친다. 이 두 번째 단계를 어떻게 할 것인가가 논문의 주제다.

선호 파인튜닝에는 두 갈래가 있다. 하나는 보상 모델을 먼저 학습한 뒤 강화학습으로 정책을 다듬는 RLHF 계열의 온라인 방식이고, 다른 하나는 보상 모델 없이 처음부터 정책을 직접 최적화하는 DPO 계열의 오프라인 방식이다. 발표자는 두 방식을 하나의 통합된 목적함수로 놓고 설명한다. 데이터 분포는 넉넉히 덮되 기준이 되는 참조 정책에서는 너무 멀어지지 않게 하는 구조다.

이론적으로는 두 방식이 같은 곳에 도달해야 한다. 참조 정책을 균등 분포로 두고 RLHF를 돌린 것과, 참조 정책을 무시한 DPO는 이상적인 조건에서 같은 해로 수렴한다는 결과가 알려져 있다. 그런데 실제로 보고되는 결과는 다르다. 논문이 제시하는 실험에서도 온라인 DPO 계열이 그냥 DPO보다, 학습량을 두 배로 늘린 DPO보다도 일관되게 나았다.

그래서 논문은 왜 그런지에 대한 가설을 하나씩 세워 검증한다. 첫 번째, 학습 도중 뽑는 온폴리시 샘플 자체가 본질적으로 더 유익하다는 가설이다. 저자들은 이를 정보 이론의 데이터 처리 부등식으로 반박한다. 선호 데이터로 보상 모델을 학습한 시점에서 정보량은 이미 고정되므로, 이후 생성되는 샘플이 새로운 정보를 더해 주지는 못한다는 논리다.

두 번째는 오프라인 방식이 참조 정책 쪽으로 제대로 정규화되지 않아서라는 가설이다. DPO에 KL 페널티를 직접 더 얹어도 온라인 방식보다 일관되게 나빴고, 정규화를 명시적으로 쓰지 않는 SimPO 같은 방법이 여러 벤치마크에서 좋은 성능을 냈다는 점, 참조 정책에 가까운 것이 오히려 불리한 과제에서도 온라인이 앞섰다는 점이 반박 근거로 제시된다.

세 번째와 네 번째, 다섯 번째 가설도 차례로 걸러진다. 온라인 DPO와 일반 DPO는 데이터셋만 다르고 알고리즘도 옵티마이저도 같으므로 최적화 난이도 차이로 설명하기 어렵다. 보상 모델이 다양한 데이터에서 이득을 본다는 가설은, 일부러 편중된 분포의 데이터를 만들어 비교해도 온라인이 앞서면서 기각됐다. 분포 밖 일반화 때문이라는 가설도, 학습 분포와 같은 검증 세트에서 이미 격차가 벌어진다는 결과로 무너졌다.

남은 것이 저자들이 미는 여섯 번째 가설이다. 문제를 푸는 것보다 주어진 답이 맞는지 판별하는 것이 대체로 쉽다는 사실, 즉 생성과 검증의 난이도 차이다. 보상 모델이 상대적으로 단순하다면, 보상 공간에서 답을 먼저 찾고 거기에 대응하는 정책을 고르는 편이 전체 정책 공간을 뒤지는 것보다 탐색 범위를 크게 줄여 준다. 이 가설이 맞다면 두 작업의 난이도 차이가 작은 과제에서는 격차도 줄어야 한다.

실제로 두 단어 요약처럼 생성 난이도 자체가 낮은 과제에서는 온라인과 오프라인의 성능 차이가 이전 실험들에 비해 크지 않았고, 참조 정답과의 어휘 일치도로 보상을 매기는 과제에서는 오히려 오프라인 DPO가 더 나았다. 발표자는 이 논문이 새로운 이론을 제시하기보다 여러 가설을 실험으로 정리한 데 의미가 있다고 평가하면서, 생성·검증 격차의 이론적 토대가 더 연구되면 흥미롭겠다는 소감으로 발표를 마친다.

주요 인사이트

• 이론적 동치와 실무 성능은 별개다. 이상적인 최적화와 몇 가지 가정 아래 같은 해로 수렴한다는 결과가 있어도, 그 가정이 깨지는 현실에서는 경로가 성능을 가른다.
• 가설을 세우고 하나씩 죽여 나가는 방식 자체가 이 논문의 기여다. 새 기법을 제안하는 대신, 커뮤니티가 막연히 믿던 설명들을 검증 가능한 형태로 바꿔 놓았다.
• 온폴리시 샘플이 무조건 좋다는 통념은 정보 이론으로 반박된다. 보상 모델이라는 병목을 지난 뒤에 만들어진 샘플은 원본 선호 데이터가 가진 것 이상의 정보를 담을 수 없다.
• 온라인 DPO와 일반 DPO는 데이터셋만 다르다는 설계가 비교를 깔끔하게 만든다. 알고리즘과 옵티마이저를 고정하면 '최적화가 어려워서'라는 설명이 설 자리를 잃는다.
• 생성보다 검증이 쉽다는 직관은 언어 모델 학습 구조에도 그대로 옮겨진다. 보상이라는 중간 단계를 거치는 것이 우회가 아니라 탐색 공간 축소일 수 있다는 관점이다.
• 가설을 지지하는 실험은 반례가 나오는 지점을 함께 보여줄 때 설득력이 생긴다. 생성·검증 격차가 작은 과제에서 오프라인이 앞선 결과가 오히려 이 가설의 근거가 된다.

자주 묻는 질문

관련 AI 소식