LLM 파인튜닝 단계별 가이드 — 내 문체 학습시키기, RAG와의 차이

핵심 메시지

• 파인튜닝은 모델에게 ‘무엇을 아는가’가 아니라 ‘어떻게 말하는가’를 가르치는 과정이다. 같은 예시를 반복 학습시켜 말투·구조·습관을 닮게 만든다.
• RAG가 참고 자료를 건네 사실을 검색하게 하는 것이라면, 파인튜닝은 ‘연기 수업’처럼 모델의 문체 자체를 바꾼다. 내 목소리로 글을 쓰게 하려면 RAG만으로는 부족하다.
• 학습 데이터는 입력-출력 쌍을 담은 JSONL 형식으로 만들어야 하며, 발표자는 원본 대본·트윗을 ChatGPT로 JSONL로 변환했다.
• 데이터를 학습용 90%와 검증용 10%로 나누는 이유는, 학습한 결과가 검증 데이터의 정답에 얼마나 가까운지 스스로 점검하기 위해서다.

쉽게 이해하기

발표자는 AI가 사실 전달은 잘해도 ‘사람처럼 들리게’ 쓰는 데는 약하다는 점에서 출발한다. 블로그·대본·SNS 글을 발행 전에 일일이 손봐야 하는 수고를 줄이려면, 모델이 내 문체를 익히도록 파인튜닝해야 한다는 것이다.

핵심 비유가 명확하다. RAG는 작가에게 자료 노트를 건네는 것이고, 파인튜닝은 작가에게 ‘나처럼 말하는 법’을 반복 훈련시키는 것이다. 그는 자신의 유튜브 대본 약 100시간 분량을 Llama 3.3 70B에 학습시켜, 어떤 주제든 자기 말투로 대본을 쓰는 모델을 만든 사례를 보여준다.

실습은 트위터(X) 데이터로 진행한다. X 설정에서 데이터 아카이브를 내려받으면(처리에 24시간 소요) tweets.js 파일이 나오고, 이를 ChatGPT에 넣어 ‘각 트윗을 만들어 냈을 법한 프롬프트’를 상상해 입력-출력 쌍의 JSONL로 변환시킨다. 그 결과를 학습 세트와 검증 세트로 나눠 받는다.

학습은 Nebius(token factory) 플랫폼에서 진행한다. LoRA 파인튜닝을 선택하고, 원클릭 배포가 가능한 베이스 모델을 고른다. 트윗처럼 짧은 글에는 8B 모델이, 긴 대본·블로그에는 70B 모델이 적합하다. 작은 모델은 빠르고 저렴하지만 긴 글의 일관성은 떨어진다.

에폭 11, 배치 8, 학습률 배수 0.0001 등의 설정으로 학습을 돌렸고, 트윗 모델은 약 7분에 2.56달러가 들었다. 반면 2,700만 토큰을 넣은 70B 유튜브 모델은 75달러가 들었다. 학습 손실은 줄고 검증 손실 흐름을 보며 학습이 제대로 됐는지 확인한다.

주요 인사이트

• ‘Garbage in, garbage out.’ 정리되지 않은 유튜브 대본을 그대로 넣었더니 결과물도 서식 없이 나왔다. 학습 데이터의 품질과 정제가 결과 문체를 좌우한다.
• 데이터 편향은 그대로 학습된다. 발표자가 트윗과 ‘답글’을 함께 학습시키자 모델이 모든 트윗에 @멘션을 붙였다. 답글을 빼고 본인 타임라인 트윗만 남기자 문제가 해결됐다.
• 베이스 모델 크기는 비용·속도와 품질의 트레이드오프다. 8B는 훅·인트로·트윗에 강하지만 장문 일관성이 약하고, 70B는 다큐멘터리식 장문에 강하지만 학습·배포 비용이 크다.
• 파인튜닝은 한 번 들이는 비용으로 ‘내 목소리’를 갖춘 모델을 얻는 일이다. 발표자는 향후 ChatGPT·Claude·Gemini가 파인튜닝을 기본 기능으로 넣어 더 쉬워질 것으로 전망했다.

자주 묻는 질문

관련 AI 소식