Axolotl 로컬 LLM 파인튜닝 입문: 데이터셋 제작부터 추론까지 파이썬 실습

핵심 메시지

• Axolotl은 무료 오픈소스 LLM 파인튜닝 프레임워크로, 오픈소스 모델을 로컬에서 미세조정할 수 있다. 모델과 데이터셋을 고르고 설정한 뒤 학습·추론 명령을 실행하는 흐름이다.
• 설치는 의존성과 CUDA 문제로 까다로울 수 있어, 진행자는 Rust 기반 파이썬 패키지 매니저 UV와 파이썬 3.12를 쓰고 특정 버전을 고정해 환경을 단순화한다.
• 파인튜닝은 few-shot 예시 제공과 다르다. JSONL 데이터셋의 instruction·input·output은 '예시'가 아니라 실제 학습 데이터로 쓰여 모델이 새로운 동작 자체를 익히게 만든다.
• 학습이 끝난 모델은 Axolotl의 CLI 추론이나, peft와 transformers를 쓰는 파이썬 스크립트로 사용할 수 있으며, 파인튜닝 환경과 추론 환경은 의존성 충돌을 피해 분리하는 편이 낫다.

쉽게 이해하기

이 영상은 파이썬 프레임워크 Axolotl을 이용해 대규모 언어 모델(LLM)을 로컬 시스템에서 파인튜닝하는 기초 예제를 다룬다. 진행자는 이것이 크래시 코스나 완전한 튜토리얼이 아니라, 소형 모델을 골라 직접 만든 데이터셋으로 미세조정하고 그 효과를 확인하는 '빠른 시작' 예제임을 분명히 한다.

Axolotl은 무료 오픈소스 프레임워크로, 원리상 모델과 데이터셋을 고르고 몇 가지를 설정한 뒤 학습 명령과 추론 명령을 실행하면 되는 구조다. 다만 실제로는 설치 과정에서 의존성 문제와 CUDA 문제가 생기기 쉽다. 그래서 진행자는 Rust 기반의 빠른 파이썬 패키지 매니저 UV를 사용하고, 3.13에서 겪은 문제를 피하기 위해 파이썬 3.12로 가상환경을 만든 뒤 PyTorch를 특정 버전으로 고정해 설치한다. 자신의 하드웨어는 VRAM 8GB의 3060Ti라고 밝힌다.

설치 후에는 예제 설정 파일들을 내려받는다. Qwen, TinyLlama, Gemma, Llama, Mistral 등 다양한 모델의 YAML 설정이 포함되며, 진행자는 Llama 3의 LoRA 1B 설정 파일을 예로 살펴본다. 설정에는 허깅페이스 링크로 지정하는 베이스 모델, 데이터셋과 그 형식(instruction·input·output을 쓰는 alpaca 형식, 혹은 대화형 형식), 출력 디렉터리, LoRA의 랭크와 알파, 최대 시퀀스 길이, 에폭 수, 옵티마이저, 학습률 등이 담긴다.

핵심은 직접 만든 데이터셋이다. 진행자는 한 줄에 하나의 딕셔너리가 들어가는 JSONL 파일을 쓴다. 예제 과제는 '매직 neural9 연산'으로, 문자열을 뒤집고 각 글자의 대소문자를 바꾸는 규칙이다. 이 동작은 모델이 원래 알 수 없기 때문에, 데이터셋을 통해 가르치기에 적합하다. 그는 이것이 few-shot(예시 제공) 프롬프팅이 아니라 실제 학습 데이터를 주는 것이라는 점을 강조한다. 설정은 시퀀스 길이 256, 랭크 32, 알파 64(보통 알파는 랭크의 두 배), 10에폭으로 조정하고 플래시 어텐션은 GPU가 지원하지 않아 끈다.

학습 명령을 실행하면 프롬프트가 토큰화되고, 10억 파라미터 중 약 2200만 개(1.7%)만 학습 대상이 되며 손실이 서서히 줄어든다. 완료된 모델은 outputs 디렉터리에 저장된다. 사용은 두 가지다. 하나는 Axolotl의 CLI 추론으로, alpaca 형식에 맞춰 ### Instruction, ### Input, ### Response를 지정해 모델이 완성하게 한다. 다른 하나는 peft(파라미터 효율적 파인튜닝)와 transformers를 이용한 파이썬 스크립트다. 진행자는 파인튜닝이 학습 데이터에 대해서는 잘 작동하지만 학습에 없던 입력에는 잘 일반화하지 못하는 결과를 그대로 보여주며, 파라미터·데이터·모델 크기의 한계를 정직하게 짚는다.

주요 인사이트

• 파인튜닝과 few-shot 프롬프팅은 근본적으로 다르다. 데이터셋의 instruction·input·output은 예시가 아니라 가중치를 실제로 바꾸는 학습 신호로 쓰인다.
• LoRA는 전체 모델이 아니라 극히 일부 파라미터만 학습한다. 이 예제에서는 10억 파라미터 중 1.7%인 약 2200만 개만 학습 대상이 되어, 소형 GPU에서도 파인튜닝이 가능해진다.
• 설정에서 시퀀스 길이·랭크·알파·에폭 같은 값은 VRAM 사용량과 결과 품질을 좌우한다. 알파를 랭크의 두 배로 두는 것이 흔한 관례로 소개된다.
• 파인튜닝이 학습 데이터에는 완벽해도 새로운 입력에는 일반화하지 못할 수 있다. 좋은 결과를 얻으려면 하이퍼파라미터 조정과 데이터 품질이 중요하며, 추론 환경은 의존성 충돌을 피해 별도로 두는 것이 실용적이다.

자주 묻는 질문

관련 AI 소식