LLM 파인튜닝이란: 사전학습 vs 파인튜닝, PEFT·LoRA와 파괴적 망각 피하는 법

핵심 메시지

• 파인튜닝은 처음부터 모델을 만드는 것이 아니라, 이미 존재하는 범용 모델을 특정 작업·말투에 맞게 적응시키는 과정이다.
• 그 전 단계인 사전학습은 무작위 값의 파라미터에서 시작해 수십억 문장으로 다음 단어를 예측하며 언어의 일반 규칙을 익혀 파운데이션 모델(Llama, Mistral, Qwen 등)을 만든다.
• 파인튜닝 루프는 예시를 보여 주고 정답과 비교해 모델의 내부 값을 조금씩 정답 쪽으로 미세하게 조정하는 것을 반복하되, 작은 학습률과 적은 반복으로 기존 지능을 지킨다.
• 전체 파인튜닝은 모든 파라미터를 바꿔 메모리 부담과 파괴적 망각 위험이 크지만, PEFT는 기반 모델을 동결하고 소수의 새 파라미터만 학습해 이를 완화한다(LoRA·QLoRA).
• 파인튜닝이 항상 정답은 아니다. 더 나은 프롬프트로 해결되거나, 자주 바뀌는 방대한 사실 정보가 필요하면 RAG가 더 적합하다.

쉽게 이해하기

AI 붐으로 누구나 강력한 범용 대형 언어모델을 사용할 수 있게 되면서, 이를 자신의 구체적 작업이나 고유한 말투에 맞추는 방법이 중요해졌다. 그 답이 파인튜닝이다. 핵심은 "처음부터 만드는 것이 아니라 이미 있는 것을 조정한다"는 점이다.

파인튜닝을 이해하려면 그 직전 단계인 사전학습을 알아야 한다. 갓 만든 모델의 수십억 파라미터는 사실상 무작위 숫자다. 사전학습은 수십억 개의 문장에서 가려진 다음 단어를 맞히는 게임을 끝없이 반복하며, 좋은 추측에는 작은 손실을, 나쁜 추측에는 큰 손실을 주어 내부 값을 조정한다. 그 결과가 언어에 대한 깊은 이해를 갖춘 파운데이션 모델이며, 대부분의 사람은 이 단계를 직접 하지 않고 완성된 결과물을 내려받아 그 위에 쌓는다.

영상은 사전학습을 "요리 학교를 졸업하는 것", 파인튜닝을 "특정 고급 레스토랑에 채용되어 그곳의 메뉴와 스타일을 배우는 것"에 비유한다. 이미 요리할 줄 알기 때문에 새 메뉴를 배우는 데는 훨씬 적은 노력·시간·데이터가 든다. 실제 파인튜닝 루프는 영화 분류 같은 작업에서 예시를 보여 주고, 모델의 추측을 정답과 비교한 뒤, 내부 값을 정답 쪽으로 미세하게 밀어 주는 과정을 반복한다.

사전학습 루프와의 차이는 규모와 신중함에 있다. 인터넷 전체가 아니라 작고 잘 정제된 작업별 데이터를 쓰고, 매우 작은 학습률과 적은 반복으로 학습한다. 이는 새 작업에 적응하되 사전학습으로 얻은 일반 지능을 덮어쓰지 않기 위해서다.

방법은 크게 두 가지다. 전체 파인튜닝은 모든 파라미터가 자유롭게 바뀌어 엄청난 메모리와 강력한 하드웨어가 필요하고, 모델이 특정 작업만 잘하고 나머지 일반 능력을 잊는 파괴적 망각(catastrophic forgetting) 위험이 크다. 그래서 기반 모델을 동결하고 소수의 새 학습 파라미터만 훈련하는 PEFT가 사실상 기본 선택이 되었으며, LoRA와 QLoRA가 대표적이다. 다만 파인튜닝은 만능이 아니어서, 더 나은 프롬프트로 충분하거나 자주 바뀌는 사실 정보가 필요할 때는 RAG를 쓰는 것이 옳다.

주요 인사이트

• 파인튜닝의 전제는 사전학습으로 얻은 범용 지능이다. 가중치는 "영원히 고정"된 것이 아니라 일반 지능을 담은 좋은 출발값이며, 이를 적응시키는 것이 파인튜닝이다.
• 작은 학습률과 적은 반복, 잘 정제된 소량 데이터는 새 작업 적응과 기존 지능 보존 사이의 균형을 잡기 위한 장치다.
• PEFT(LoRA·QLoRA)는 기반 모델을 동결한 채 소수 파라미터만 학습해 메모리·시간을 줄이고 파괴적 망각을 크게 완화한다.
• 현실의 최고 시스템은 프롬프팅·RAG·파인튜닝을 함께 쓴다. "정말 파인튜닝이 필요한가, 아니면 더 나은 프롬프트가 필요한가"를 먼저 물어야 한다.
• Hugging Face의 PEFT·TRL, 낮은 메모리로 시작하기 좋은 Unsloth, 설정 파일로 파이프라인을 돌리는 Axolotl 등으로 진입 장벽이 크게 낮아졌다.

자주 묻는 질문

관련 AI 소식