LLM 포스트트레이닝 3단계 정리: 지시 튜닝, 선호 튜닝, 강화 파인튜닝의 역할과 한계
네이선 램버트가 정리한 언어모델 포스트트레이닝의 현재. 성능 향상의 대부분은 여전히 지시 튜닝에서 나오고, 그 위에 선호 튜닝과 검증 가능한 보상을 쓰는 강화 파인튜닝이 얹히는 3단계 구조를 실험 수치와 함께 설명한다.
핵심 내용 읽기 →
AI TOPIC
DPO 최신 뉴스와 핵심 해설
DPO 관련 핵심 뉴스와 활용 인사이트 10편을 최신순으로 모았습니다.
DPO 정리: 브래들리-테리 선호 모델에서 로그 확률 계산까지, 강화학습 없이 LLM을 정렬하는 방법
보상 모델을 따로 훈련하지 않고도 언어모델을 사람의 선호에 맞추는 DPO. 브래들리-테리 선호 모델에서 손실 함수가 유도되는 과정과 계산 불가능한 항이 사라지는 원리, 실제 로그 확률 계산 방법까지 단계별로 풀어 정리했습니다.
핵심 내용 읽기 →
OViP 논문 리뷰: 비전 언어 모델의 환각을 온라인 선호 학습으로 줄이는 방법과 한계
이미지에 없는 사물을 설명하는 비전 언어 모델의 환각을 줄이려는 OViP 논문 발표를 정리했다. 학습 중 부정 이미지를 직접 생성해 쓰는 구조와, 환각만 잡다 일반 성능을 놓친 기존 기법의 문제를 함께 짚는다.
핵심 내용 읽기 →
RLHF와 DPO 쉽게 이해하기: 사람 피드백으로 LLM을 정렬하는 두 방법
InstructGPT의 3단계 학습에서 출발해, 사람의 선호로 LLM을 정렬하는 RLHF와 이를 지도학습으로 단순화한 DPO를 직관적으로 설명한다. 보상 모델·PPO의 역할과 RLHF의 한계, 유튜브 제목 취향을 DPO로 학습시킨 실제 예까지 다룬다.
핵심 내용 읽기 →
DPO 선호 학습으로 소형 언어모델 정렬하기 — SFT 이후 정답률 높이는 방법
1.35억 파라미터 소형 언어모델을 DPO로 선호 학습해 정답률을 끌어올리는 과정을, 다양성 측정부터 참조 모델과 정책 모델의 로그확률 격차까지 단계별로 정리했습니다.
핵심 내용 읽기 →
RLHF·DPO·KTO 비교: 언어모델을 인간 선호에 정렬하는 세 가지 최적화 기법의 원리와 장단점
사전학습과 지도 미세조정을 거친 모델을 인간 선호에 맞게 다듬는 방법으로 RLHF, DPO, KTO가 있다. Mark Hennings 영상은 세 기법의 동기와 데이터 형식, 장단점을 높은 수준에서 비교해 설명한다.
핵심 내용 읽기 →
AI 에이전트 메모리와 학습·적응: 단기/장기 기억과 PPO·DPO 완전 정리
미시간주립대 강의로 보는 AI 에이전트의 두 축. 단기·장기 메모리와 시맨틱·에피소드·절차 기억, 그리고 PPO와 DPO로 모델을 적응시키는 방법을 정리했다.
핵심 내용 읽기 →
LLM 파인튜닝 기법 총정리 LoRA QLoRA DoRA DPO GRPO 선택 가이드
데이터에 맞게 잘 파인튜닝한 70억 매개변수 모델은 특정 작업에서 더 큰 모델을 능가할 수 있다. 풀 파인튜닝부터 LoRA·QLoRA·DPO·GRPO까지 핵심 기법과 선택 기준을 정리했다.
핵심 내용 읽기 →
LLM 파인튜닝 입문: LoRA·DPO로 탈옥에 강한 전용 에이전트 만들기
프롬프트 엔지니어링과 파인튜닝의 본질적 차이, LoRA로 소비자용 하드웨어에서도 가능한 효율적 학습, DPO 정렬까지 6단계 실습으로 정리한 입문 가이드.
핵심 내용 읽기 →
DPO 직접 선호 최적화란 — 보상 모델·강화학습 없이 사람 선호로 LLM 미세조정하기
RLHF는 강력하지만 보상 모델 학습과 강화학습이 비싸고 불안정하다. DPO는 보상 모델을 건너뛰고 간단한 교차 엔트로피 손실로 선호 데이터에서 바로 미세조정하는 방법으로, RLHF와 수학적으로 동등하다.
핵심 내용 읽기 →