LLM 사후학습 완전정리: 파인튜닝·DPO·모델 병합·평가까지 MIT 6.S191 강의 요약

핵심 메시지

• 사전학습이 끝난 기본 모델은 다음 토큰을 이어 붙일 뿐이며, 이를 지시를 따르는 조수로 바꾸는 과정이 지도 미세조정과 선호 정렬로 이뤄진 사후학습이다.
• 사후학습 데이터는 양보다 질이며, 정확성·다양성·복잡성 세 축으로 판단한다. 합성 데이터를 조금 섞으면 다양성이 늘지만 지나치면 오히려 무너진다.
• 선호 정렬은 모델을 셋이나 띄워야 하는 PPO보다, 둘이면 되는 DPO가 현실적인 기본값이다.
• 모델 병합은 같은 구조·같은 크기의 모델을 합쳐 능력을 더하는 기법으로, 특정 언어에만 특화되면서 나머지 실력을 잃는 문제를 완화한다.
• 자동 벤치마크 점수와 사람의 선호는 서로 잘 맞지 않기 때문에, 어느 한쪽만으로 모델을 판단하면 엉뚱한 목표를 최적화하게 된다.

쉽게 이해하기

MIT의 딥러닝 입문 강의 6.S191의 여덟 번째 시간은 대규모 언어모델의 사후학습(post-training)을 다룬다. 강연자는 리퀴드 AI에서 사후학습을 맡고 있는 막심 라본으로, 데이터셋 생성부터 학습 알고리즘, 평가, 그리고 최근 흐름인 테스트타임 컴퓨트 확장까지를 한 번에 훑는다. 사후학습이란 말 그대로 사전학습 다음에 오는 단계다. 방대한 원문 텍스트로 다음 토큰을 맞히도록 훈련한 기본 모델은 문장을 이어 붙일 줄만 알지 질문에 답하거나 지시를 따르지는 못하는데, 이 간극을 메우는 작업이다.

사후학습은 크게 두 단계로 나뉜다. 먼저 지도 미세조정에서는 질문과 답을 짝지어 대량으로 학습시켜 대화 구조(채팅 템플릿)와 응답하는 법을 가르친다. 다음 선호 정렬 단계에서는 하나의 질문에 답을 두 개 주고, 하나는 '이렇게 답하라'는 선택된 답으로, 다른 하나는 '이렇게는 답하지 말라'는 거절된 답으로 제시해 원하는 쪽의 확률을 끌어올린다. 미세조정의 목적도 셋으로 갈린다. 무엇이든 답하는 범용 조수를 만들려면 백만 개 안팎 이상의 샘플이 필요하지만, 의료·법률처럼 도메인을 좁히면 훨씬 적어지고, 요약이나 맞춤법 교정 같은 단일 작업만 익히게 하려면 더 줄어든다.

강의가 반복해 강조하는 것은 '좋은 데이터란 무엇인가'다. 답이 질문에 맞는지 보는 정확성, 사용자가 던질 법한 상황을 얼마나 넓게 덮는지 보는 다양성, 긴 단계적 추론을 요구하는지 보는 복잡성이 그 기준이다. 수학이나 코드 데이터셋만 모으면 임베딩 분포가 한 지역에 뭉치는 반면 실제 대화 데이터는 전 영역에 흩어진다는 시각화가 다양성의 의미를 잘 보여준다. 데이터 파이프라인에서는 원문만 있고 질문이 없을 때 언어모델에 역으로 질문을 만들게 하는 역번역, LLM을 심판으로 세워 점수를 매기고 걸러내는 필터링, 평가셋과 겹치지 않게 하는 오염 제거 같은 기법이 함께 쓰인다.

학습 기법은 자원 사정에 따라 갈린다. 모든 파라미터를 다시 학습하는 전체 미세조정은 품질이 가장 좋지만 사실상 클러스터 한 대가 필요하다. 대신 모델은 그대로 두고 작은 어댑터 행렬만 학습하는 LoRA를 쓰면 전체의 0.5% 정도만 훈련하면 되고, GPU가 더 부족하면 4비트로 양자화한 모델 위에 어댑터를 얹는 QLoRA를 쓸 수 있다. 다만 QLoRA는 느리고 성능이 몇 퍼센트 떨어지므로 여력이 있으면 LoRA가 낫다는 조언이다. 라이브러리로는 최신 알고리즘이 빨리 반영되는 TRL, 설정을 YAML 파일 하나로 공유할 수 있는 Axolotl, GPU 한 장 환경에 강한 Unsloth가 추천된다. 학습률·배치 크기·최대 길이·에폭·옵티마이저(AdamW)·플래시 어텐션 같은 항목을 조정하고, 손실 곡선이 튀는지와 검증 손실·그래디언트 노름을 함께 지켜보라고 한다.

후반부는 평가와 최근 흐름이다. MMLU 같은 자동 벤치마크는 값싸고 재현 가능하지만 사람이 실제로 모델을 쓰는 방식과 동떨어져 있고, 사람이 두 답을 비교하는 아레나 방식은 선호를 직접 반영하지만 비싸고 편향에 취약하다. 그 사이를 메우는 것이 LLM을 심판으로 쓰거나 여러 LLM을 배심원처럼 묶는 방식이다. 마지막으로 소개된 테스트타임 컴퓨트 확장은 학습이 아니라 추론에 연산을 더 쓰는 발상이다. 답을 여러 번 생성해 가장 잦은 답을 고르는 다수결, 보상 모델로 점수를 매겨 최고를 고르는 best-of-n, 최종 답이 아니라 풀이의 각 단계를 채점해 좋은 가지만 뻗어 나가는 과정 보상 모델이 차례로 제시된다.

주요 인사이트

• 강의는 파인튜닝을 첫 수단으로 쓰지 말라고 조언한다. 인컨텍스트 학습과 검색 증강(RAG) 파이프라인으로 먼저 시도해 보고, 답변 품질이나 지연시간·추론 속도가 부족할 때 비로소 파인튜닝을 검토하라는 것이다. 시험해 보기가 훨씬 쉽기 때문이다.
• 파인튜닝으로 넣은 지식은 그 시점에 고정된다. 그래서 강연자는 'RAG냐 파인튜닝이냐'가 아니라 'RAG냐, 파인튜닝에 RAG를 더하냐'의 문제라고 정리하며, 검색이 의미 있는 상황이라면 둘을 함께 쓰라고 답한다.
• 모델 병합에는 정해진 이론이 없다. 어떤 모델에 얼마의 가중치를 줄지는 여러 조합을 만들어 평가로 확인해 가며 감을 잡는 영역이고, 강연자 본인도 이를 과학보다 연금술에 가깝다고 표현한다. 다만 크기나 구조가 다른 모델끼리는 병합이 되지 않는다.
• 사람의 평가가 최종 심판인 것도 아니다. 답이 길거나 자신 있는 어조이면 내용이 틀렸어도 더 좋게 평가되는 편향이 있어, 사람 평가와 자동 벤치마크는 상호 보완 관계로 봐야 한다.
• 테스트타임 컴퓨트 확장은 추론 연산을 품질과 맞바꿀 수 있음을 보여준다. 허깅페이스 쪽 실험에서는 Llama 3.2의 1B·3B 모델이 문제당 생성 횟수를 늘리는 것만으로 훨씬 큰 8B·70B 모델의 성적을 넘어섰다.

자주 묻는 질문

관련 AI 소식