LoRA 저랭크 적응 기법으로 거대 언어모델을 적은 GPU 메모리로 미세조정하는 원리 이해하기

핵심 메시지

• ChatGPT·LLaMA 같은 범용 대형 언어모델을 은행·의료 등 특정 도메인에 특화하려면 미세조정이 필요하지만, 수백억 개 파라미터와 각 파라미터의 그래디언트까지 GPU에 올려야 해 비용이 크다.
• LoRA(Low-Rank Adaptation)는 원본 가중치를 고정(freeze)하고, 원본에 더해질 차이(delta W)만 별도의 작은 가중치로 학습한다.
• 핵심은 delta W를 두 개의 작은 행렬 A와 B의 곱으로 저랭크 분해해 학습 파라미터 수를 크게 줄이는 것이다.
• 추론 시에는 학습된 가중치를 원본에 더해 하나로 합칠 수 있어 GPU 메모리 사용량이 늘지 않고 추가 지연도 없다.
• 어댑터 레이어나 프리픽스 튜닝 같은 대안도 있지만 추론 지연·입력 길이 잠식 등의 단점이 있어 LoRA가 널리 쓰이게 됐다.

쉽게 이해하기

ChatGPT, LLaMA, Claude 같은 대형 언어모델은 매우 범용적이어서 프롬프트나 예시만으로는 특정 업무에 충분히 특화되지 않는다. 은행 상담 챗봇이나 의료 챗봇처럼 특정 도메인 지식을 갖추게 하려면 더 작은 데이터셋으로 미세조정해야 한다. 그러나 오픈소스 모델을 미세조정하려면 수십~수백억 개의 파라미터를 GPU에 올려야 하고, 역전파를 위해 각 파라미터의 그래디언트까지 저장해야 해 메모리 부담이 두 배 가까이 커진다.

마이크로소프트가 제안한 LoRA는 원본 모델 가중치를 그대로 얼려 두고, 미세조정에 필요한 '차이'만 별도의 가중치로 학습한다. 신경망의 한 층은 결국 행렬 곱셈인데, 파라미터가 많을수록 행렬이 커진다. LoRA는 이 차이 행렬(delta W)을 통째로 학습하지 않고 두 개의 더 작은 행렬 A와 B의 곱으로 표현한다.

행렬의 '랭크'는 선형독립인 열의 개수인데, 선형종속인 열은 다른 열의 조합으로 얻을 수 있어 제거해도 정보 손실이 없다. LoRA는 가중치를 굳이 높은 차원의 전체 랭크로 최적화할 필요가 없다고 보고 A·B 분해로 학습 파라미터 수를 줄인다. 이때 랭크 r은 직접 정해야 하는 하이퍼파라미터로, 너무 낮으면 정보를 잃고 너무 높으면 불필요한 계산이 늘어난다.

A는 가우시안 분포로, B는 0으로 초기화하고 역전파로 두 행렬의 값을 학습한다. 학습이 끝나면 이 가중치를 원본 모델에 더해 추론하므로 하드디스크 저장 용량은 늘어도 GPU 추론 메모리는 그대로다. 원본 가중치에 병합할 수 있어 추가 지연도 생기지 않는다.

대안으로는 트랜스포머 블록마다 소수 파라미터의 어댑터 레이어를 넣는 방식과 프롬프트 엔지니어링을 자동화한 프리픽스 튜닝이 있다. 그러나 어댑터는 순차 처리 때문에 추론 지연이 생기고, 프리픽스 튜닝은 입력 시퀀스 길이를 잠식하며 최적화가 어렵다. 이런 단점들 때문에 LoRA가 등장 이후 대안들보다 꾸준히 인기를 얻었다.

주요 인사이트

• LoRA의 절감 효과는 원본 가중치 행렬이 클수록 커진다. GPT-3(1,750억 파라미터)처럼 행렬이 큰 모델일수록 저랭크 분해의 이득이 크다.
• 추가 파라미터는 하드디스크에서만 두 배가 되고 추론 시엔 원본에 병합되어 GPU 메모리와 지연이 늘지 않는다는 점이 어댑터 대비 결정적 장점이다.
• 랭크 r 선택이 성능과 효율의 균형점이다. 모델 가중치의 내재적 랭크를 모르기 때문에 실험적으로 r을 조정해야 한다.

자주 묻는 질문

관련 AI 소식