LoRA 파인튜닝 실전 정리: QLoRA 메모리 절감, 랭크와 알파 설정, 그리고 데이터셋의 힘

핵심 메시지

• LoRA는 큰 가중치 변화 행렬을 두 개의 작은 행렬로 쪼개 학습해, 500만 개짜리 업데이트를 6만 개 수준으로 줄인다.
• 같은 설정으로 난수 시드만 바꿔 돌렸을 때 결과가 거의 흔들리지 않아, 이상한 수치가 나오면 우연이 아니라 설정 문제로 볼 수 있다.
• 양자화를 더한 QLoRA는 메모리를 약 33%(7GB) 줄였지만 실행 시간이 39% 늘었고, 벤치마크 점수는 사실상 무승부였다.
• 랭크를 256으로 키우고 스케일링 계수 알파를 그 두 배인 512로 맞췄을 때 가장 좋은 결과가 나왔다.
• 50배 작은 데이터셋으로 바꾸자 오히려 점수가 올라갔고, 전체 파인튜닝은 메모리를 두 배 넘게 쓰고도 더 나빴다.

쉽게 이해하기

대형 언어 모델을 특정 업무에 맞추는 가장 흔한 방법은 지시문과 답변 쌍으로 지도학습을 하는 것이다. 문제는 모델이 너무 커서 모든 가중치를 갱신하기 어렵다는 점이다. 파라미터를 아끼는 여러 기법 가운데 실무에서 가장 널리 쓰이는 것이 저랭크 적응, 즉 LoRA다.

발표자는 LoRA의 원리를 가중치 업데이트를 따로 떼어내 저장하는 그림으로 설명한다. 원래 파인튜닝이 학습해야 할 업데이트 행렬이 5,000×1,000이라면 파라미터가 500만 개다. 이를 랭크 10짜리 두 행렬로 쪼개면 5,000×10과 10×1,000, 합쳐 6만 개로 줄어든다. 랭크는 직접 정하는 값이고, 작게 잡을수록 학습이 가벼워진다.

실험은 라마 2 계열 70억 파라미터 모델로 진행됐다. 전체 파인튜닝과 비교하려면 한 장의 GPU에 올라가야 했기 때문이다. 여기서 나온 첫 번째 관찰은 재현성이었다. 난수 시드를 바꿔도 결과가 일정해서, 이상한 결과가 나오면 운이 아니라 설정을 의심하면 된다는 뜻이다.

메모리를 아끼려는 시도는 엇갈렸다. 양자화를 결합한 QLoRA는 메모리를 3분의 1가량 줄였지만 양자화와 역양자화 비용 때문에 실행 시간이 크게 늘었다. 옵티마이저를 아담에서 SGD로 바꾸는 실험은 학습 가능한 파라미터가 400만 개뿐이라 절감 효과가 거의 없었지만, 랭크를 256으로 키우자 3GB를 아낄 수 있었다.

LoRA를 더 많은 층에 적용하면 학습 파라미터가 400만에서 2,000만으로 다섯 배 늘지만 성능은 엇갈린 수준에 그쳤다. 반면 랭크와 알파를 함께 조정하자 눈에 띄는 개선이 있었다. 그리고 마지막 실험에서, 데이터셋을 50배 작은 것으로 교체한 쪽이 더 좋은 점수를 냈다.

주요 인사이트

• 메모리와 속도는 맞바꾸는 관계다. 발표자는 몇 시간 더 기다리는 것은 감당할 수 있어도 메모리 부족은 학습 자체를 막기 때문에, 실무에서는 메모리 절감을 우선한다고 말한다.
• 알파는 학습률과 비슷하게 작동하지만 적용 시점이 다르다. 학습률이 역전파 때 쓰인다면 알파는 가중치 업데이트를 원래 가중치에 더할 때의 세기를 정한다.
• 옵티마이저 교체는 랭크가 작을 때는 의미가 없다. 아담이 파라미터마다 추가 상태를 들고 있기 때문에, 학습 파라미터가 많아지는 큰 랭크에서만 절감이 체감된다.
• 전체 파인튜닝이 LoRA보다 나빴다는 결과는 데이터셋 품질을 의심하게 만든다. 좋은 데이터셋 없이 하이퍼파라미터만 만지는 것은 한계가 분명하다.
• 발표자는 모든 연구가 화려한 결과로 끝나지는 않는다고 말한다. 기대만큼의 성과가 없어도 '언제 SGD로 바꿀 만한가' 같은 실무 감각은 남는다.

자주 묻는 질문

관련 AI 소식