LLM 파인튜닝 쉽게 이해하기: LoRA·QLoRA와 RAG 차이

핵심 메시지

• 파인튜닝은 크리켓 경험을 야구에 활용하듯, 이미 학습된 모델을 새 데이터·작업·형식에 맞게 다시 훈련하는 전이학습의 일종이다.
• RAG는 모델을 다시 훈련하지 않고 외부 지식에 연결해 답하므로 저렴하지만, 기업 고유의 톤·형식·정밀함은 파인튜닝이 더 잘 살린다. 실무에서는 둘을 함께 쓴다.
• 전체 파인튜닝은 수백억 개 파라미터를 모두 갱신해 비용이 크고, PEFT는 원본 가중치를 동결한 채 일부만 학습해 효율적이다.
• LoRA는 추가 가중치 ΔW를 두 개의 저차원 행렬 A·B로 분해해 학습 파라미터 수를 크게 줄이는 기법이다.
• QLoRA는 NF4 양자화·이중 양자화·페이지 옵티마이저를 결합해, 65B급 모델도 단일 48GB GPU에서 미세조정할 수 있게 한다.

쉽게 이해하기

영상은 파인튜닝을 전이학습 비유로 시작한다. 인도에서 크리켓을 하던 사람이 미국에서 야구를 곧잘 하는 것처럼, 기존에 익힌 기술을 새로운 과제로 옮기는 것이 전이학습이고, LLM 파인튜닝은 사전학습된 모델을 특정 작업·데이터·톤·형식에 맞게 다시 훈련하는 일이다.

GPT나 라마 같은 모델은 방대한 인터넷 데이터로 학습됐지만, 기업 내부 데이터로 동작하는 챗봇을 만들려면 그 지식이 부족하다. 한 가지 해법은 모델을 외부 지식(DB·PDF 등)에 연결하는 RAG다. RAG는 모델을 다시 훈련하지 않아 저렴하지만, 회사 고유의 브랜드 톤이나 공감 어린 답변, 정밀함 면에서는 한계가 있다. 그래서 실무에서는 RAG와 파인튜닝을 함께 쓰는 경우가 많다.

파인튜닝에는 두 갈래가 있다. 신경망 전체(수백억 파라미터)를 갱신하는 전체 파인튜닝은 비용이 매우 크다. 반면 PEFT(파라미터 효율적 파인튜닝)는 원본 층을 동결하고 일부 파라미터만 새로 추가해 학습한다. 대표 기법이 LoRA와 QLoRA다.

LoRA(저차원 적응)는 트랜스포머의 가중치 행렬 W를 그대로 동결한 채, 새 학습 대상인 ΔW를 추가한다. 핵심 묘수는 ΔW(가령 512×512)를 랭크 r을 가진 두 작은 행렬 A·B의 곱으로 분해하는 것이다. 그러면 갱신할 파라미터 수가 수십만에서 수천 수준으로 줄어 학습이 훨씬 가벼워진다.

QLoRA는 여기에 양자화를 더한다. 양자화는 32비트 부동소수점 가중치를 8비트·4비트(NF4) 정수로 줄여 메모리를 절감하는 기법이다. 가중치 분포가 정규분포임을 활용한 NF4, 스케일값까지 다시 압축하는 이중 양자화, GPU 메모리 부족 시 일부를 CPU로 스왑하는 페이지 옵티마이저를 결합하면, 원래 260GB가 필요한 65B 모델도 48GB GPU 한 장으로 미세조정할 수 있다.

마지막으로 영상은 Unsloth 라이브러리와 구글 코랩(T4 GPU)에서 라마 3.2 3B 인스트럭트 모델을, ServiceNow R1 추론 데이터셋으로 파인튜닝하는 과정을 보여 준다. 학습 후 모델은 '딸기에 r이 몇 개인가' 같은 질문에 단계별로 사고하며 답하게 되었고, 발표자는 문법 암기보다 근본 개념 이해가 중요하다고 강조한다.

주요 인사이트

• 파인튜닝과 RAG는 경쟁이 아니라 보완 관계다. 비용은 RAG, 톤·정밀도는 파인튜닝이 강점이라 둘을 결합하는 것이 현업의 보편적 전략이다.
• LoRA의 본질은 '큰 변화 행렬을 두 개의 작은 행렬로 분해'하는 데 있다. 랭크 r은 학습량과 표현력을 조절하는 핵심 하이퍼파라미터다.
• 양자화는 파일 압축과 비슷해 약간의 정밀도 손실을 감수하는 대신 메모리를 크게 아끼며, 실무 정확도에는 큰 지장이 없는 경우가 많다.
• QLoRA가 가져온 변화는 '거대 모델 미세조정은 대형 GPU 클러스터가 있어야 한다'는 통념을 깨고, 단일 GPU로도 가능하게 만든 점이다.
• Unsloth와 코랩을 쓰면 코드 암기 없이도 사전학습 모델을 불러와 PEFT 설정만으로 실제 파인튜닝을 돌려 볼 수 있다.

자주 묻는 질문

관련 AI 소식