진화 전략으로 LLM 미세조정하기: 역전파 없이 강화학습을 대체하는 그래디언트 프리 학습법
코그니전트 AI 랩 연구진이 수십억 파라미터 언어 모델을 역전파 없이 미세조정한 실험을 공개했다. 가중치에 잡음을 더한 모델 30개만 비교해도 강화학습에 맞먹는 성능이 나왔고, 시드와 하이퍼파라미터를 바꿔도 결과 편차가 훨씬 작았다는 점이 핵심이다.
핵심 내용 읽기 →
AI TOPIC
LLM 미세조정 최신 뉴스와 핵심 해설
LLM 미세조정 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
RLHF와 DPO 쉽게 이해하기: 사람 피드백으로 LLM을 정렬하는 두 방법
InstructGPT의 3단계 학습에서 출발해, 사람의 선호로 LLM을 정렬하는 RLHF와 이를 지도학습으로 단순화한 DPO를 직관적으로 설명한다. 보상 모델·PPO의 역할과 RLHF의 한계, 유튜브 제목 취향을 DPO로 학습시킨 실제 예까지 다룬다.
핵심 내용 읽기 →
진화 전략으로 LLM 미세조정? EGGROLL·ES at Scale 논문으로 본 부활 배경
한때 쓸모없다 여겨진 진화 전략이 대형 언어모델 미세조정에서 부활했다. OpenAI 2017 논문부터 'ES at Scale', 'EGGROLL'까지 그 배경과 성과를 정리했다.
핵심 내용 읽기 →
LoRA·PEFT로 LLM 미세조정하기: 원본 가중치는 얼려두고 작은 어댑터만 학습하는 법
거대 언어모델 미세조정의 걸림돌인 연산량과 거대한 체크포인트 문제를 PEFT와 LoRA가 어떻게 푸는지 설명한다. 원본 가중치를 동결하고 작은 어댑터만 학습하는 원리와 실제 코드 흐름을 예제와 함께 정리했다.
핵심 내용 읽기 →