RLAIF vs RLHF 논문 정리: AI 피드백으로 언어모델을 정렬하는 방법과 실험 결과

핵심 메시지

• RLHF의 가장 큰 병목은 알고리즘이 아니라 사람이 일일이 좋고 나쁨을 비교해 주는 선호도 라벨의 비용과 속도다.
• 이 논문은 사람 라벨러 자리에 기성 대형 언어모델을 앉힌 RLAIF를 실험했고, 요약과 도움이 되는 대화 생성에서 RLHF와 사실상 비슷한 선호도를 얻었다.
• 보상 모델을 따로 두지 않고 언어모델이 직접 점수를 내는 d-RLAIF를 제안해, 보상 모델이 낡아 가는 문제와 학습 비용을 함께 줄였다.
• AI 라벨러는 질문에 먼저 나온 답을 고르는 위치 편향을 보였고, 순서를 뒤집은 두 질문의 결과를 평균 내는 방식으로 이를 완화했다.
• 생각의 사슬(Chain of Thought)을 붙이면 세 과제 모두에서 사람 선호도와의 일치도가 올라갔지만, 예시를 여러 개 넣는 방식은 특정 과제에서만 효과가 있었다.

쉽게 이해하기

강화학습은 에이전트가 환경을 탐색하며 보상을 최적화해 정책을 배우는 방법이다. 이 방식이 알파고를 만들었고, 이후 보상 자리에 사람의 피드백을 넣은 RLHF가 오늘날의 대화형 언어모델을 가능하게 했다. 발표자는 강화학습으로 언어모델을 다듬으면 지도 학습 파인튜닝만으로는 다루기 어려웠던 복잡하고 순서가 중요한 문제까지 최적화할 수 있다고 설명한다.

문제는 비용이다. RLHF는 품질 좋은 사람 선호도 라벨에 의존하는데, 이 라벨을 모으는 데 시간과 돈이 많이 든다. 모델이 커질수록 사람이 판단하기 어려운 답변도 늘어난다. 그래서 2022년 Constitutional AI 이후로 사람 라벨을 AI 피드백으로 대체하려는 시도가 이어졌고, 이 논문은 그 대체가 실제로 통하는지를 세 가지 과제에서 정면으로 검증한다.

실험 과제는 긴 글 요약, 도움이 되는 대화 생성, 유해하지 않은 대화 생성 세 가지다. 사람 선호도로 학습한 모델과 AI 선호도로 학습한 모델을 사람이 블라인드로 비교했을 때 두 결과의 선호도는 거의 같게 나왔다. 두 방식 모두 출발점이었던 지도 파인튜닝(SFT) 모델보다 뚜렷하게 선호됐다.

논문은 여기서 한 걸음 더 나가 d-RLAIF를 제안한다. 기존 RLAIF는 AI가 만든 선호도로 보상 모델을 따로 학습시키는데, 정책이 계속 좋아지면 보상 모델이 학습 당시 데이터에서 멀어져 낡아 버린다. d-RLAIF는 보상 모델을 아예 없애고 언어모델이 응답을 받아 곧바로 점수를 매기게 해, 이 문제와 함께 학습 시간·연산 자원도 줄였다.

마지막으로 어떻게 프롬프트를 짜야 AI의 선호도가 사람 선호도와 잘 맞는지도 다룬다. 라벨링에는 과제 지침(preamble), 예시, 주석 붙은 샘플로 구성된 프롬프트를 쓰고, 단순히 '1번' '2번'만 받는 대신 응답 토큰의 확률 분포로 선호도를 뽑았다. 왜 그 답을 골랐는지 근거까지 남기려고 생각의 사슬을 함께 적용했다.

주요 인사이트

• AI 라벨러의 신뢰도는 모델 크기에 비례했다. 큰 파라미터 모델일수록 위치 편향이 적고 더 논리적인 판단을 내려, 라벨러 규모를 키울수록 더 좋은 선호도 라벨이 나왔다.
• 정책 모델과 보상을 주는 모델의 체크포인트를 같은 크기로 맞춰 엄격하게 비교했을 때도 RLAIF는 SFT 대비 약 68% 선호됐다. 라벨러가 더 커서 이겼다는 반론을 통제한 결과다.
• d-RLAIF는 같은 크기 조건의 기존 RLAIF와 비교해 약 60% 선호되며, 보상 모델이 낡아 가는 문제를 실제로 개선했음을 보였다.
• AI 피드백을 쓴다는 것은 결국 기성 언어모델 안에 이미 들어 있는 인간 선호도를 뽑아내는 일이다. 논문은 이를 모델·데이터 증류(distillation)의 과정으로 설명한다.
• AI가 만능은 아니었다. RLAIF는 환각이 더 적은 경우도 있었지만, 대신 덜 유창한 요약을 만드는 경우도 많았다. 정확성·포괄성·일관성 블라인드 평가에서는 두 방식에 큰 차이가 없었다.

자주 묻는 질문

관련 AI 소식