DPO 선호 학습으로 소형 언어모델 정렬하기 — SFT 이후 정답률 높이는 방법

핵심 메시지

• 언어모델은 매 토큰마다 어휘 전체에 대한 확률분포를 추정하며, 확률이 가장 높은 문장이 항상 정답인 것은 아니다.
• 선호 학습(DPO)의 목표는 모델이 '정답에 가까운' 시퀀스의 확률은 높이고 틀린 시퀀스의 확률은 낮추도록 편향시키는 것이다.
• 학습 파이프라인은 계속 사전학습(CPT) → 지도 미세조정(SFT) → 선호 학습(DPO) → 검증 가능한 보상 기반 RL(GRPO 등) 순으로 역할이 나뉜다.
• DPO는 얼어붙은 참조 모델과 학습 대상 정책 모델의 로그확률 차이를 벌리는 방식이며, 별도 보상 모델 없이 정책의 확률만으로 '암묵적 보상'을 계산한다.
• 선호 학습을 하면 정답률과 일관성은 오르지만 응답의 다양성은 줄어드는 대가가 따른다.

쉽게 이해하기

영상은 1.35억 파라미터 규모의 작은 언어모델을 대상으로, 지도 미세조정(SFT)까지 마친 모델을 한 단계 더 '정렬'하는 선호 학습(preference tuning)을 다룹니다. 언어모델은 결국 매 단계마다 어휘 전체에 대한 확률분포를 추정해 다음 토큰을 뽑는 장치이므로, 앞선 접두사가 조금만 달라져도 이후 확률과 생성 경로가 통째로 바뀝니다. 같은 모델을 여러 번 돌리면 서로 다른 답이 나오는 이유가 여기에 있습니다.

문제는 확률이 가장 높은 문장이 반드시 우리가 원하는 정답은 아니라는 점입니다. 가장 그럴듯한 문장이 사실은 환각이거나 명백한 거짓일 수 있습니다. 그래서 발표자는 먼저 모델의 '다양성'과 '정확성'을 측정합니다. 테스트 프롬프트 100개에 대해 온도를 달리해 각 16개씩 총 1,600개의 응답을 생성한 뒤, DistilBERT 임베딩과 정규화 코사인 행렬 고윳값의 섀넌 엔트로피(Vendi score)로 의미적으로 서로 다른 응답이 몇 개나 되는지 재고, LLM 심판으로 각 응답의 일관성·정확성을 채점합니다.

핵심은 '다양성은 높은데 그중 일부는 맞고 일부는 틀린' 프롬프트 그룹을 찾는 것입니다. 이는 모델이 정답을 만들어낼 능력은 있으니, 조금만 정답 쪽으로 편향시키면 개선 여지가 있다는 신호이기 때문입니다. 이렇게 모델 스스로 만든 응답을 순위 매겨 (프롬프트, 채택 응답, 거절 응답) 형태의 선호 데이터셋을 구성합니다. 4B 규모의 판정 모델로 응답 4개를 1~4위로 매기고, 1위 대 4위·3위·2위 식으로 짝을 만들었습니다.

DPO 학습은 두 모델을 씁니다. SFT 체크포인트를 그대로 둔 '참조 모델'을 얼려두고, 그 복사본인 '정책 모델'만 학습합니다. 목표는 참조 모델 대비 정책 모델이 채택 응답의 로그확률은 더 높이고 거절 응답은 더 낮추도록, 두 로그확률의 격차를 벌리는 것입니다. 손실은 Bradley-Terry 선호 모델에서 영감을 받았고, 시그모이드로 감싼 '암묵적 보상' 차이가 업데이트의 세기를 정합니다. 참조 모델은 정책이 자연스러운 언어에서 너무 멀리 표류하지 않게 붙잡는 닻 역할을 하며, 베타 값이 그 결속의 강도를 조절합니다.

결과적으로 DPO 모델은 단일 채점에서 SFT의 3.2점을 3.3점으로 끌어올렸고, 특히 정확성 점수가 크게 개선됐습니다. SFT와의 정면 비교에서는 67%로 앞섰습니다. 다만 선호 학습의 부작용대로 응답 다양성은 줄었고, 애초에 잘 못 하던 자유 형식의 이어쓰기(continuation) 과제는 여전히 약했습니다. 선호 학습은 새 지식을 넣는 것이 아니라 이미 가진 능력을 '정렬'하는 단계임을 잘 보여줍니다.

주요 인사이트

• 선호 학습을 시작하기 전에 다양성·정확성을 측정하는 이유는, 모델이 정답을 만들 잠재력이 있는 구간(다양성 높고 정오답 혼재)을 골라야 DPO의 효과가 크기 때문이다. 이미 다 맞히거나 다 틀리는 구간은 선호 학습으로 개선하기 어렵다.
• 온-폴리시(모델 스스로 낼 수 있는 응답으로 학습)와 오프-폴리시(외부·사람 데이터)의 구분이 중요하다. DPO는 둘 다 가능하지만, 모델이 실제로 저지를 법한 그럴듯한 실수를 거절 예시로 쓰는 온-폴리시에 가까운 데이터가 실전에서 더 잘 작동한다.
• 별도 보상 모델을 학습하는 RLHF와 달리 DPO는 정책 모델의 현재 로그확률만으로 '암묵적 보상'을 계산해, 보상 모델 없이도 선호 정렬을 수행한다.
• ORPO는 SFT와 선호 정렬을 한 단계로 합쳐 odds-ratio 페널티를 SFT 손실에 더하므로 별도 SFT 워밍업이 필요 없고, 완전한 오프-폴리시 데이터에 더 관대하다.
• 선호 학습은 지식을 주입하지 않는다. 정확성과 일관성은 오르지만 다양성은 줄고, 학습하지 않은 자유 생성 능력은 그대로다 — 개선하려면 CPT나 SFT로 돌아가야 한다.

자주 묻는 질문

관련 AI 소식