RLHF·DPO·KTO 비교: 언어모델을 인간 선호에 정렬하는 세 가지 최적화 기법의 원리와 장단점

핵심 메시지

• RLHF·DPO·KTO는 모두 사전학습과 지도 미세조정을 거친 모델을 더 개선해 인간 선호에 맞추는 최적화 기법이다.
• RLHF는 보상 모델이 출력을 채점하고 그 점수를 PPO 같은 알고리즘으로 되먹여 정책 모델을 조금씩 업데이트하며, 인간 피드백 데이터의 양을 줄이려는 동기에서 출발했다.
• RLHF는 강력하지만 불안정하고 튜닝이 어려우며 보상 모델 학습·출력 샘플링·사람의 선호 라벨링 비용이 크고, 사람마다 선호가 달라 데이터 일관성이 떨어진다.
• DPO(직접 선호 최적화)는 별도의 보상 모델이나 강화학습 없이 선호 데이터로 직접 모델을 최적화하며, RLHF와 수학적으로 동등하면서 더 단순·빠르고 안정적이다.
• KTO는 행동경제학의 전망 이론에서 영감을 받아 '좋아요/싫어요' 형태의 데이터만으로 학습하며, 불균형·잡음 데이터에도 강건하고 지도 미세조정 없이 사전학습 모델에서 바로 적용할 수도 있다.

쉽게 이해하기

모델은 사전학습(pre-training) 위에 지도 미세조정(SFT)을 얹어 챗 모델이 되고, 그 위에서 인간 선호에 맞추는 최적화가 이뤄진다. 이 피라미드를 올라갈수록 더 적은 토큰과 더 정제된 데이터를 쓴다. RLHF, DPO, KTO는 모두 이 마지막 단계에 해당하는 정렬 기법이다.

강화학습은 시행착오로 학습하는 방식으로, 미로 속 치즈(보상)를 따라가며 길을 익히는 쥐에 비유할 수 있다. RLHF는 모델의 출력을 별도의 보상 모델이 채점하고 그 점수를 PPO 같은 최적화 알고리즘으로 되먹여 정책(policy) 모델을 미세조정하는 피드백 루프다. 2017년 논문은 인간 피드백을 여러 자릿수만큼 줄이기 위해 보상 계산을 자동화하려는 동기에서 이를 제안했다. KL 발산 페널티나 클리핑은 모델이 보상을 악용해 헛소리를 반복하는 것을 막는 장치다.

RLHF는 사실상 하나의 처방이 아니라 프레임워크에 가깝고, 온라인/오프라인이나 알고리즘·보상 모델 선택 등 많은 선택지가 있다. 그러나 불안정하다는 평판이 있고 움직이는 부품이 많아 문제가 생기기 쉽다. 출력 샘플링은 시간이 오래 걸리고, 원본 선호 데이터를 사람이 라벨링하는 비용도 크며, 사람마다 선호가 달라 데이터셋 내부에 모순이 생겨 학습이 어려워진다.

DPO(직접 선호 최적화)는 '언어모델은 사실 숨은 보상 모델'이라는 논문에서 나온 방식으로, 별도의 보상 모델이나 강화학습 없이 선호 데이터로 곧바로 최적화한다. 프롬프트에 대해 채택(chosen)한 출력과 거부(rejected)한 출력을 담은 데이터셋을 쓰며, 지도 미세조정된 모델을 복사해 정책 모델로 삼고 KL 발산 항으로 지나친 발산을 막는다. RLHF와 수학적으로 동등하면서 더 단순·빠르고 안정적이며, 샘플링 온도가 높아져도 성능이 덜 떨어질 만큼 강건하다.

KTO(카너먼-트버스키 최적화)는 노벨경제학상 수상자 카너먼과 트버스키의 전망 이론에서 영감을 받았다. 사람은 같은 크기의 이득보다 손실을 더 크게 느낀다는 개념을 빌려 최적화 함수에 반영한다. KTO는 채택/거부 쌍 대신 '바람직함/바람직하지 않음(좋아요·싫어요)' 데이터만 있으면 되고, 이런 데이터는 현실에서 모으기 쉽다. 데이터가 불균형해도(논문에선 9대1까지) 잘 작동하고 잡음이나 모순된 데이터를 암묵적으로 무시하며, 지도 미세조정 없이 사전학습 모델에서 바로 대화형 모델로 최적화할 수도 있다.

주요 인사이트

• 세 기법은 근본적으로 '더 적은 데이터로 인간 선호를 학습'하려는 흐름이다. RLHF는 보상 계산을 자동화했고, DPO는 보상 모델 자체를 없앴으며, KTO는 더 모으기 쉬운 좋아요/싫어요 데이터로 옮겨갔다.
• DPO로 학습한 모델은 샘플링 온도 변화에 더 강건하다. 논문의 그래프에서 온도가 올라가도 승률이 크게 떨어지지 않아, 무작위성이 커져도 더 나은 토큰을 고른다.
• KTO의 하이퍼파라미터(위험회피 beta, 바람직/비바람직 가중치 lambda)로 모델의 성향을 조절할 수 있다. 창의적으로 모험을 하게 할지 틀리지 않도록 보수적으로 만들지를 용도에 맞게 조정할 수 있다.

자주 묻는 질문

관련 AI 소식