LLM 파인튜닝 입문: Unsloth·구글 콜랩으로 GPT-OSS 직접 학습하기

핵심 메시지

• 파인튜닝은 베이스 모델의 가중치를 조정해 특정 작업 성능을 높이는 것이다.
• 잘 파인튜닝하면 작은 모델이 특정 작업에서 최신 대형 모델을 능가할 수 있다.
• OpenAI의 오픈소스 GPT-OSS 20B는 작아서 로컬 실행과 파인튜닝에 적합하다.
• Unsloth와 구글 콜랩의 무료 T4 GPU로 코딩 지식 없이도 첫 파인튜닝이 가능하다.
• 가장 큰 난관은 양질의 데이터셋 확보이며, 데이터 없이는 파인튜닝을 시작할 수 없다.

쉽게 이해하기

영상은 파인튜닝을 '베이스 모델의 가중치를 조정해 특정 작업에서 성능을 끌어올리는 것'으로 정의한다. 덕분에 아주 작은 모델도 특정 작업에서는 오늘날 최고 수준의 대형 모델을 능가할 수 있다. 발표자는 파인튜닝이 단순한 기술을 넘어 사업 기회라고 본다. 대부분의 AI 스타트업은 새로운 기술이 없어 쉽게 대체되지만, 자체 파인튜닝 모델은 지속 가능한 해자를 만들어 준다는 것이다.

파인튜닝을 하려면 먼저 모델을 골라야 한다. OpenAI가 최근 공개한 오픈소스 GPT-OSS 20B와 120B는 성능이 좋으면서도 로컬에서 돌릴 만큼 작아 파인튜닝에 이상적이다. 다만 가장 큰 난관은 양질의 데이터셋을 찾는 일이며, 데이터셋이 없으면 파인튜닝 자체를 시작할 수 없다. 한편 검열되지 않은 모델도 모두 이런 파인튜닝 과정을 통해 만들어진다고 설명한다.

실습 도구는 오픈소스 라이브러리 Unsloth다. GPT-OSS, Gemma, Qwen, Phi, Mistral, Llama 등 다양한 모델을 지원한다. 무료 노트북을 열면 구글 콜랩으로 연결되는데, 여기서 테슬라 T4 GPU를 무료로 쓸 수 있다. 런타임에 연결한 뒤 첫 셀을 실행하면 numpy, transformers, 그리고 메타의 딥러닝 프레임워크인 파이토치(torch) 등 필요한 의존성이 설치된다.

다음으로 파인튜닝할 모델(GPT-OSS 20B)을 지정한다. 최대 시퀀스 길이나 4비트 양자화 옵션은 기본값을 그대로 두길 권한다. 모델을 내려받은 뒤에는 LoRA 어댑터를 추가해 전체가 아닌 일부 파라미터만 학습되도록 한다. 데이터 준비 단계에서는 기본으로 제공되는 허깅페이스의 다국어 추론 데이터셋(추론·계획·도구 호출 같은 에이전트 행동에 초점)을 자신의 데이터셋으로 교체한다. 데이터셋에 파일이 여러 개면 어떤 JSONL 파일로 학습할지 명시해야 오류가 나지 않는다.

이어 채팅 템플릿이 ShareGPT 형식을 ChatML 형식으로 표준화한다. 즉 'human'을 'user'로, 응답을 'assistant'로 바꾸는데, 이는 OpenAI가 오래전부터 써 온 대화 규약이다. GPT-OSS의 특징은 OpenAI Harmony라는 새 응답 형식을 쓴다는 점이다. 이 형식은 사고 과정(chain of thought), 도구 호출, 일반 응답을 여러 채널로 분리해 출력하게 해준다.

학습 셀에서는 학습률 등 파라미터를 조정할 수 있다. 영상에서는 시간을 아끼려 60스텝만 돌리며, 만족스러우면 전체 학습으로 전환한다. 무료 T4는 느린 편이라 본격적인 전체 학습에는 유료 콜랩의 A100이나 TPU가 낫다. 실제 학습은 데이터셋 크기와 운에 따라 5~15분가량 걸린다(영상에선 약 10~11분). 학습이 끝나면 추론(inference) 단계에서 파인튜닝 모델과 베이스 모델의 응답을 비교할 수 있고, 모델은 로컬에 저장하거나 허깅페이스에 push 해 보관·재사용할 수 있다.

주요 인사이트

• 파인튜닝의 매력은 작은 모델을 특정 작업에 특화시켜 대형 모델 못지않은 결과를 내는 데 있다.
• LoRA는 전체가 아닌 일부 파라미터만 학습시켜 적은 자원으로 파인튜닝을 가능하게 한다.
• 성패는 결국 데이터셋 품질에 달려 있어, 데이터 확보가 파인튜닝의 실질적 출발점이다.
• 데이터셋에 여러 파일이 있으면 학습 대상 JSONL을 명시해야 흔한 스키마 오류를 피한다.
• GPT-OSS의 OpenAI Harmony 형식은 사고 과정·도구 호출·응답을 분리해 다채널로 출력한다.

자주 묻는 질문

관련 AI 소식