LLM 파인튜닝 방법 총정리: 언슬로스 스튜디오로 내 PC에서 모델 직접 학습하기 가이드

핵심 메시지

• 파인튜닝은 기존 모델의 가중치를 그대로 두고, 그 위에 원본의 1%도 안 되는 작은 어댑터 층만 새로 학습시키는 방식이다.
• QLoRA는 16비트 모델을 4비트로 압축해 16GB짜리 모델을 5~7GB로 줄여, 일반 PC의 메모리 안에서도 학습이 가능하게 만든다.
• 파인튜닝과 RAG는 대체재가 아니다. RAG는 최신 정보를 프롬프트에 넣어주고, 파인튜닝은 모델의 응답 방식 자체를 바꾼다.
• 학습 데이터는 지시문·입력·출력 세 열이면 충분하며, 수백~수천 건만으로도 말투와 형식이 눈에 띄게 달라진다.
• 학습이 잘 되는지는 손실(loss) 그래프로 판단하고, 마지막에는 원본 모델과 나란히 대화시켜 실제 차이를 확인해야 한다.

쉽게 이해하기

거대 언어 모델을 처음부터 만드는 일은 개인이 감당할 수 있는 규모가 아니다. 그래서 현실적인 선택지는 이미 잘 학습된 공개 모델을 가져와 내 데이터로 성격만 바꾸는 파인튜닝이다. 영상은 이 작업을 클라우드 결제 없이, 손에 있는 노트북이나 데스크톱에서 끝내는 방법을 처음부터 끝까지 보여준다.

핵심 원리는 의외로 단순하다. 기반 모델의 가중치는 손대지 않고, 그 옆에 'LoRA 어댑터'라고 부르는 얇은 층을 붙여 이 부분만 학습시킨다. 어댑터는 원본 모델 크기의 1%도 되지 않기 때문에 학습이 빠르고 결과물도 가볍다. 여기에 기반 모델을 4비트로 압축해 쓰는 QLoRA를 더하면, 16GB짜리 모델이 5~7GB로 줄어들면서 정밀도는 조금 손해 보는 대신 학습에 쓸 메모리 여유가 크게 생긴다.

많은 사람이 헷갈리는 지점이 파인튜닝과 RAG의 관계다. RAG는 외부에서 최신 자료를 찾아 프롬프트에 끼워 넣어 모델이 그 내용을 보고 답하게 하는 방식이고, 파인튜닝은 가중치 쪽을 조정해 프롬프트에 아무것도 넣지 않아도 모델이 다르게 답하도록 만드는 방식이다. 영상은 파인튜닝으로는 새 정보를 가르칠 수 없다는 통념이 사실과 다르다고 지적한다.

실습은 언슬로스 스튜디오라는 무료 오픈소스 도구로 진행된다. 설치 명령 한 줄이면 로컬 웹 인터페이스가 뜨고, 계정 없이 인터넷 연결 없이도 쓸 수 있다. 모델을 고를 때는 '파인튜닝 가능' 조건을 걸어야 하는데, 추론 전용 GGUF 형식은 학습에 쓸 수 없고 세이프텐서 계열이어야 한다는 점이 초보자가 가장 자주 걸리는 함정이다. 기반 모델보다는 지시를 따르도록 이미 조정된 인스트럭트 모델을 고르는 편이 결과가 좋다.

데이터셋은 지시문·입력·출력 세 열이면 된다. 영상 제작자는 자신이 아는 인도네시아어 단어 목록만 챗봇에 주고 학습용 데이터를 생성해, 초보자가 아는 단어만 써서 대화해 주는 개인 튜터 모델을 만들었다. 학습이 끝난 뒤 원본 모델과 나란히 놓고 같은 질문을 던지자, 원본은 알아듣기 어려운 문장을 쏟아낸 반면 파인튜닝한 쪽은 학습시킨 어휘 범위 안에서만 답했다.

주요 인사이트

• 하드웨어가 학습 가능한 모델 크기를 결정한다. 메모리 6GB면 30~40억 파라미터, 10GB면 70~80억, 16~20GB면 120~140억 규모가 현실적인 상한이며, 윈도우는 그래픽카드 전용 메모리를, 맥은 통합 메모리를 기준으로 보면 된다.
• 데이터 양에 따라 기대할 수 있는 결과가 다르다. 300~1000건이면 어조와 형식이 바뀌는 수준이고, 5000~1만 5000건쯤 되어야 모델에 실제 기능 하나를 새로 가르쳤다고 말할 수 있다.
• 데이터셋을 로컬 모델로 생성하면 속도가 크게 떨어진다. 영상에서도 50건 생성에 5분 넘게 걸린다는 예상치가 떴고, 급하다면 외부 API 모델을 연결하는 편이 빠르지만 비용이 든다.
• 초보자가 만질 설정은 사실상 에폭 하나뿐이다. 랭크나 알파 같은 값은 기본값 그대로 두고, 단순한 데이터라면 1회부터 시작해 결과를 본 뒤 늘리는 편이 시간 낭비를 줄인다.
• 학습 손실 그래프가 초반에 급격히 떨어지고 1 아래로 내려가면 대체로 잘 학습된 신호로 볼 수 있다. 다만 최종 판단은 그래프가 아니라 원본 모델과의 응답 비교로 해야 한다.

자주 묻는 질문

관련 AI 소식