LLM 파인튜닝 입문 — 사전학습 차이, 지도학습·RLHF, LoRA와 QLoRA까지

핵심 메시지

• 파인튜닝은 사전학습된 모델의 내부 파라미터(가중치·편향)를 특정 작업에 맞게 조정하는 과정이다.
• 파인튜닝은 사전학습 다음 단계로, 일반 모델을 특정 영역의 전문가로 '연마'하는 작업에 비유된다.
• 방법론에는 지도 파인튜닝, 반지도 파인튜닝, 인간 피드백 기반 강화학습(RLHF)이 있다.
• PEFT(파라미터 효율적 파인튜닝)의 대표 기법이 LoRA(저순위 적응)이다.
• QLoRA는 양자화와 LoRA를 결합해 라마 70B 같은 대형 모델도 가정용 워크스테이션에서 파인튜닝할 수 있게 한다.

쉽게 이해하기

강의는 루나테크 CEO 타테빅(Tatevik)이 진행하며, 파인튜닝의 기초부터 실전 적용까지 다룬다. 먼저 파인튜닝이 LLM 개발 수명주기에서 어디에 위치하는지 설명한다. 사전학습으로 일반적인 언어 패턴을 익힌 모델을, 더 작고 특정한 데이터로 추가 학습시켜 특정 작업을 잘 수행하도록 만드는 단계가 바로 파인튜닝이다. 선택적 단계지만 전문 응용에는 사실상 필수로 설명된다.

영상은 파인튜닝을 '거친 다이아몬드를 연마하는 일'에, 학습 과정을 '기초 교육을 마친 학생이 특정 전공으로 특화되는 것'에 비유한다. 예컨대 사전학습만 된 기본 모델 챗봇에 '네 이름이 뭐야?'라고 물으면 질문을 그대로 따라 하는 식으로 답하지만, 파인튜닝된 모델은 '제 이름은 루나이고 루나테크의 챗봇입니다'처럼 질문을 이해하고 적절히 답한다.

기술적으로 파인튜닝은 모델의 내부 파라미터, 즉 가중치와 편향 파라미터를 조정하는 일이다. 사전학습이 끝나면 수십억 개의 가중치·편향 값이 담긴 '기본 모델' 파일이 만들어지는데, 파인튜닝은 이 값들을 새로운(대개 더 작은) 데이터셋으로 다시 학습시키며 조금씩 조정해 모델의 행동을 바꾼다. 인간의 뇌 연결(뉴런)을 조정하면 반응이 달라지는 것에 비유된다.

파인튜닝은 사전학습뿐 아니라 프롬프트 엔지니어링·RAG와도 구분된다. 강의는 지도 파인튜닝, 반지도 파인튜닝, 그리고 인간 피드백 기반 강화학습(RLHF)이라는 방법론을 비교한다. 이어 파라미터 효율적 파인튜닝(PEFT)을 다루는데, 모든 파라미터를 건드리는 대신 효율적으로 일부만 조정하는 접근이다.

강의의 하이라이트는 LoRA(저순위 적응, Low Rank Adaptation)와 그 양자화 버전인 QLoRA다. LoRA는 PEFT의 대표 기법이며, 여기에 양자화를 결합한 QLoRA는 라마 70B 같은 거대 모델도 막대한 설비 없이 가정용 워크스테이션에서 파인튜닝할 수 있게 해 준다. 강의는 이론에 더해 파이썬·파이토치·텐서플로와 허깅페이스의 기성 사전학습 모델을 활용한 실습 사례 연구로 마무리된다.

주요 인사이트

• 파인튜닝의 본질은 사전학습으로 얻은 가중치·편향 값을 특정 작업과 도메인에 맞게 조금씩 조정하는 것이다.
• 사전학습이 '기초 교육'이라면 파인튜닝은 '전공 특화'에 해당하는, 사전학습 다음의 단계다.
• 기본 모델은 질문을 그대로 따라 하기도 하지만, 파인튜닝하면 질문을 이해하고 맥락에 맞게 답하도록 바뀐다.
• LoRA는 모든 파라미터를 갱신하지 않는 파라미터 효율적 파인튜닝(PEFT)의 핵심 기법이다.
• QLoRA는 양자화와 LoRA를 합쳐, 라마 70B급 모델의 파인튜닝을 개인 워크스테이션 수준에서도 가능하게 한다.

자주 묻는 질문

관련 AI 소식