LLM 포스트트레이닝 3단계 정리: 지시 튜닝, 선호 튜닝, 강화 파인튜닝의 역할과 한계

핵심 메시지

• 포스트트레이닝은 원시 베이스 모델을 실제로 쓸모 있게 만드는 '적응' 과정이며, 예전처럼 RLHF 한 가지와 동의어가 아니다.
• 현재 표준 작업 흐름은 지도 파인튜닝(지시 튜닝) → 선호 튜닝 → 강화 파인튜닝의 세 축으로 정리된다.
• 성능 향상의 가장 큰 몫은 여전히 지시 튜닝에서 나온다. 발표자는 데이터 배합만 바꿔도 평가 점수가 9~10점 오른 사례를 제시했다.
• DPO는 구현이 단순해 오픈 진영을 폭발적으로 확산시켰지만, 엔지니어링을 감당할 수 있다면 PPO 계열 온라인 RL이 근소하게 더 나은 성능을 낸다.
• 정답을 기계적으로 검증할 수 있는 과제에는 보상 모델 없이 정답 여부만으로 학습하는 RLVR(검증 가능한 보상 강화학습)이 통한다.

쉽게 이해하기

발표자는 앨런 AI 연구소(AI2)에서 언어모델 적응을 연구하는 네이선 램버트로, NeurIPS 튜토리얼에서 했던 발표를 다시 녹화해 내용을 보강했다. 그는 포스트트레이닝을 '원시 베이스 모델을 우리가 관심 있는 일에 쓸모 있게 만드는 과정'으로 정의한다. 다음 토큰만 예측하던 모델이 지시를 따르고 특정 질의에 안전하게 대응하는 물건으로 바뀌는 지점이 바로 여기다.

구조는 크게 달라졌다. 초기 방식은 인스트럭트GPT 논문이 보여준 3단계(지시 튜닝 → 보상 모델 학습 → 강화학습)였고, 지시 데이터 1만 건에 선호 데이터 10만 건 규모였다. 지금 프런티어 모델의 레시피는 각 단계마다 수백만 건 규모의 데이터를 쓰고, 이전 세대 모델로 데이터를 만들어 다음 세대를 끌어올리는 반복 순환 구조다. 라마 3나 엔비디아 네모트론-4 340B 논문이 그 복잡한 배선도를 보여준다.

램버트는 이 복잡함을 세 가지 손실 함수로 정리한다. 첫째는 지도 파인튜닝이다. 질문-답변 템플릿과 시스템 토큰을 가르치는 단계인데, 실제 평가 점수의 대부분이 여기서 나온다. 그는 같은 베이스 모델에 툴루 2 데이터 배합과 툴루 3 데이터 배합을 각각 적용했더니 평가 스위트 전반에서 9~10점 차이가 났다고 밝혔다. 뒤에 오는 어떤 단계보다도 큰 폭이다.

둘째는 선호 튜닝, 즉 RLHF와 그 파생 기법이다. 두 응답 중 어느 쪽이 나은지 라벨링한 데이터로 보상 모델을 학습시키고 그 점수를 올리는 방식인데, 2023년 등장한 DPO는 보상 모델을 따로 두지 않고 선택된 응답과 거부된 응답의 로그 확률만으로 손실을 계산한다. 구현이 몇 줄이면 끝나는 단순함 덕분에 오픈소스 진영이 처음으로 선호 튜닝을 직접 해볼 수 있게 됐다. 다만 하이퍼파라미터를 제대로 맞춘 PPO와 비교하면 온라인 RL 쪽이 조금 더 앞선다는 것이 그의 실험 결과다.

셋째가 강화 파인튜닝이다. 사람의 선호 대신 '정답인가'를 보상으로 쓰는 방식으로, 램버트 팀은 이를 RLVR이라 이름 붙였고 며칠 뒤 오픈AI가 강화 파인튜닝 API를 공개했다. 핵심은 데이터 형식이다. 프롬프트와 검증 가능한 정답이 짝을 이루고, 파이썬 코드로 답을 추출해 제약 조건을 만족하는지 확인한 뒤 보상을 준다. 흥미롭게도 별도의 보상 모델 없이 에이전트 내부의 가치 모델만으로도 학습이 안정적으로 이뤄졌다.

주요 인사이트

• 화려한 최신 기법에 시간을 쏟기 전에 지도 파인튜닝 데이터부터 다듬는 것이 투자 대비 효과가 가장 크다. 공개 데이터셋 간 성능 편차가 여전히 크다는 사실 자체가 개선 여지가 남았다는 뜻이다.
• 학습 데이터는 가능하면 자기 모델이 직접 생성한 '온폴리시' 데이터가 좋다. GPT-4o가 쓰는 토큰 분포는 내 SFT 모델과 다르기 때문에, 분포가 가까울수록 학습 신호가 깔끔해진다.
• 사람 선호 데이터는 잡음은 많지만 편향이 적고, AI 판정 데이터는 잡음은 적지만 편향이 있다. 비용 차이도 극단적이어서 사람 라벨 한 건이 5~20달러인 반면 LLM 판정은 1센트가 채 안 된다.
• 프롬프트가 부족할 때는 페르소나 허브처럼 '어떤 직업의 사람이 물어볼 법한 질문을 만들어 달라'고 모델에 요청해 분포를 넓히는 방법이 실제로 통한다.
• 학계는 베이스 모델부터 전 과정을 재현하려는 경향이 강하지만, 산업 현장에서는 이미 공개된 인스트럭트 모델을 한두 과제에 맞춰 파인튜닝하는 쪽이 주류다. 이 간극 자체가 연구 기회다.

자주 묻는 질문

관련 AI 소식