파인튜닝 완전정복: 전이학습부터 LoRA·PEFT, RAG와의 차이까지

핵심 메시지

• 파인튜닝은 인터넷 텍스트로 사전학습된 LLM을, 더 작고 선별된 데이터로 추가 학습해 특정 과제·도메인에 맞게 적응시키는 과정이다.
• 처음부터 학습하면 라마 3처럼 수십조 토큰과 수천 개 GPU, 수천만 달러가 들지만, 파인튜닝은 기존 지식을 재활용해 훨씬 적은 자원으로 가능하다.
• 모든 파라미터를 바꾸는 전체 미세조정은 비싸고 '치명적 망각' 위험이 있어, 일부만 학습하는 PEFT(어댑터·프리픽스/프롬프트 튜닝·LoRA)가 표준이 됐다.
• 파인튜닝은 모델 가중치를 영구히 바꿔 스타일·안정적 전문성에 적합하고, 자주 바뀌는 지식에는 외부 메모리를 붙이는 RAG가 더 알맞다.

쉽게 이해하기

영상은 사전학습부터 짚는다. 모델은 무작위로 초기화된 가중치에서 출발해, 순전파로 예측하고 손실 함수로 오차를 잰 뒤 역전파와 경사하강법으로 가중치를 조정하는 과정을 여러 에폭 반복하며 '학습'한다. 특히 LLM은 라벨이 없는 방대한 텍스트의 구조 자체에서 정답을 끌어내는 자기지도 학습(SSL)으로 사전학습돼, 일일이 주석을 달지 않고도 거대한 데이터를 쓸 수 있다.

파인튜닝은 이렇게 사전학습된 모델을 더 좁은 과제·도메인·용도로 적응시키기 위해 작고 선별된 데이터로 추가 학습하는 기법으로 정의된다. 이미 학습한 모델의 지식을 새 과제의 출발점으로 삼는 전이학습의 한 부분이며, 처음부터 다시 학습하지 않고 기존의 폭넓은 지식을 특정 목표(법률 질의응답, 의료 텍스트 분류, 프로그래밍 등)에 맞게 다듬는다.

영상은 '왜 처음부터 학습하지 않는가'를 비용으로 설명한다. 700억 파라미터의 라마 3는 15~20조 토큰과 수천 개의 A100·H100 GPU를 몇 주씩 돌려야 하고 컴퓨팅 비용만 수천만 달러에 달한다. 반면 라마 3 8B를 도메인 코퍼스로 파인튜닝하면 수십억 토큰과 단일 노드 GPU 며칠로 충분해 스타트업·연구실 예산 안에서 가능하다.

파인튜닝 방식도 정리한다. 모든 파라미터를 갱신하는 전체 미세조정은 성능이 좋지만 수천억 파라미터 모델에는 비싸고, 좁은 데이터에 과적합되며 일반 능력을 잃는 '치명적 망각'을 부른다. 그래서 대부분의 현대 워크플로우는 일부 가중치만 바꾸거나 가벼운 학습 모듈을 더하는 PEFT를 쓴다. 영상은 층 사이에 끼우는 어댑터(병목 구조), 입력에 학습 가능한 가상 토큰을 붙이는 프리픽스 튜닝, 입력층에만 소프트 프롬프트를 두는 프롬프트 튜닝을 차례로 소개한다.

가장 비중 있게 다루는 것은 LoRA(저랭크 적응)다. 트랜스포머의 거대한 투영 행렬을 통째로 갱신하는 대신, 그 변화량을 두 개의 작은 저랭크 행렬의 곱으로 표현해(W' = W + BA) 학습 파라미터를 수백 배 줄인다. 덕분에 70억 파라미터 모델도 고성능 GPU 한 대로 미세조정할 수 있다. 끝으로 영상은 사람 선호에 맞추는 RLHF와, 가중치를 바꾸는 파인튜닝과 외부 메모리를 검색하는 RAG의 차이, 그리고 '톤은 파인튜닝, 사실은 RAG'로 둘을 결합하는 하이브리드 접근을 설명한다.

주요 인사이트

• 파인튜닝의 본질은 '재학습'이 아니라 '재활용'이다. 이미 일반 언어·세상 지식을 가진 모델을 출발점으로 삼아 적은 자원으로 특정 목표에 맞춘다.
• 전체 미세조정과 PEFT는 비용-성능의 스펙트럼이다. 강력하지만 비싼 전체 갱신부터, 어댑터·프리픽스·LoRA처럼 효율적이고 실용적인 경량 기법까지 선택지가 넓다.
• LoRA의 핵심 아이디어는 큰 가중치 행렬의 '변화량'을 두 개의 작은 행렬로 분해해 학습 파라미터를 100배가량 줄이는 것이다. 학습한 모듈은 본 모델에 병합하거나 따로 보관해 모듈식으로 쓸 수 있다.
• 파인튜닝과 RAG는 경쟁이 아니라 보완 관계다. 안정적인 스타일·전문성은 파인튜닝, 자주 바뀌는 사실은 RAG로 두고 둘을 함께 쓰는 것이 실전 시스템의 일반적 선택이다.

자주 묻는 질문

관련 AI 소식