RLHF와 DPO 쉽게 이해하기: 사람 피드백으로 LLM을 정렬하는 두 방법

핵심 메시지

• 강력한 기반 모델(base model)도 그대로는 쓰기 어렵다. 사용자에게 도움이 되는 답을 하도록 ‘정렬(alignment)’하는 미세조정이 필요하다.
• ChatGPT의 원형인 InstructGPT는 사전학습 → 지도 미세조정(SFT) → 사람 피드백 강화학습(RLHF)의 3단계로 GPT-3를 사람 선호에 맞췄다.
• RLHF는 사람을 매번 개입시키는 대신 ‘보상 모델(reward model)’을 대리로 두고 PPO로 파라미터를 갱신한다. 사람은 절대 점수 대신 응답 간 순위를 매겨 더 빠르고 일관되게 라벨링한다.
• RLHF의 성능은 보상 모델, 나아가 선호 데이터의 품질이 상한을 정한다. 그렇다면 선호 데이터로 직접 학습하면 되지 않을까 — 그 답이 DPO다.
• DPO는 RLHF를 지도학습 문제로 재정식화해, 보상 모델·강화학습 없이 ‘이긴 응답’ 확률은 높이고 ‘진 응답’ 확률은 낮추는 방식으로 훨씬 단순하게 같은 효과를 낸다.

쉽게 이해하기

기반·파운데이션 모델은 방대한 지식을 갖췄지만 실제로 쓰기엔 직관적이지 않다. 예컨대 Llama 3.1에 ‘모델 미세조정 방법을 알려줘’를 그대로 넣으면 엉뚱한 답이 나오고, 도움이 되는 답을 끌어내려면 프롬프트에 많은 공을 들여야 한다. 이 한계를 넘어서려는 시도가 바로 InstructGPT였다.

InstructGPT는 세 단계를 거친다. 첫째, 사전학습으로 GPT-3 같은 기반 모델을 만든다(보통 AI 랩이 수행하며 사용자는 그 결과를 출발점으로 삼는다). 둘째, 지도 미세조정 단계에서 사람이 만든 질문-이상적 응답 쌍 수천 개로 대화하는 법을 가르친다. 셋째, 사람 피드백 강화학습(RLHF)으로 인터넷 데이터에서 온 유해·비유용한 경향을 줄이고 사람 선호에 더 맞춘다. 세 단계를 거친 모델은 GPT-3와 지도 미세조정 모델보다 사람에게 더 선호됐다.

RLHF의 핵심은 강화학습, 즉 시행착오로 배우는 방식이다. 다만 매 응답을 사람이 평가하면 너무 느려 확장할 수 없으므로, 사람 선호로 학습한 보상 모델을 사람의 대리로 둔다. 이때 사람은 한 응답에 0~10 같은 절대 점수를 주는 대신(느리고 편차가 크다) 여러 응답을 상대적으로 순위 매긴다. 이 편이 훨씬 빠르고 일관적이어서 더 많은 데이터를 만든다. InstructGPT는 약 3만 개 프롬프트에 각 4개 이상의 응답을 랭킹해 쌍별 선호 데이터를 만들고 보상 모델을 학습했다. 이 보상 점수로 파라미터를 갱신하는 알고리즘이 PPO이며(대리 목적함수와 클리핑으로 효율·안정성을 확보), DeepSeek이 R1에 쓴 GRPO도 PPO에 기반한다.

RLHF의 매력은 기존 데이터에 얽매이지 않는 강화학습이라는 점이지만, 실제로는 보상 모델과 그 근거인 선호 데이터의 품질이 성능 상한을 결정한다. 그렇다면 선호 데이터를 곧바로 학습에 쓰면 되지 않을까? InstructGPT 약 1년 뒤 스탠퍼드 연구진이 내놓은 DPO(Direct Policy Optimization)가 그 답으로, RLHF를 지도학습 문제로 재정식화해 전체 과정을 크게 단순화하면서도 비슷한 성능을 낸다.

DPO는 하나의 프롬프트에 대한 ‘이긴 응답’과 ‘진 응답’ 쌍을 두고, 모델이 이긴 응답을 낼 확률은 높이고 진 응답을 낼 확률은 낮추도록 파라미터를 조정한다(원본 지도 미세조정 체크포인트와 상대 비교). 발표자는 Qwen 2.5 0.5B를 자신의 유튜브 제목 취향에 맞춰 DPO로 미세조정하는 예를 든다. LLM은 ‘취향’이 부족해 AI가 쓴 글이 티가 나는데, 좋은/나쁜 예를 일일이 작성하는 지도 미세조정보다 이긴/진 텍스트 쌍의 상대 순위를 주는 편이 데이터 만들기도 쉽고 학습 신호도 낫다는 것이다.

주요 인사이트

• 정렬(alignment)은 ‘더 똑똑한 모델’이 아니라 ‘사람에게 더 도움이 되는 모델’을 만드는 과정으로, 지식 자체가 아니라 표현과 태도를 다듬는다.
• 절대 점수 대신 상대 순위로 사람 선호를 수집하는 것이 RLHF 라벨링의 핵심 트릭이다 — 더 빠르고 편차가 적어 더 많은 데이터를 얻는다.
• RLHF의 성능 상한이 결국 선호 데이터 품질에 달려 있다는 통찰이 DPO의 동기다. 데이터로 바로 지도학습하면 보상 모델과 강화학습 단계를 건너뛸 수 있다.
• ‘취향’처럼 규칙으로 적기 어려운 선호는, 예시를 직접 작성하는 지도 미세조정보다 이긴/진 쌍을 주는 선호 학습이 더 적합하다.

자주 묻는 질문

관련 AI 소식