AirLLM 계층별 추론 정리: 4GB VRAM 그래픽카드에서 Llama3 70B 대형 모델을 실행하는 원리와 실습 한계

핵심 메시지

• AirLLM은 추론 순서가 된 계층만 VRAM에 올리고 계산이 끝나면 다음 계층으로 바꿔 올리는 방식으로 메모리 요구량을 낮춘다.
• 영상 제작자는 12GB 그래픽카드의 사용량을 일부러 4GB로 제한한 상태에서 Llama3 70B 모델의 추론을 실행해 결과를 확인했다.
• 이 모델은 원래 140GB에 가까운 VRAM을 요구해 통상 A100 두 장이 필요한 급으로 소개된다.
• 구현은 파이토치와 허깅페이스 트랜스포머스 기반이며, 지원 모델이 목록으로 정해져 있고 새 모델은 별도 신청 양식으로 요청한다.
• 추론 속도가 느려 실시간 서비스에는 무리지만, GPU 예산이 없는 학생과 소규모 팀에게는 실험 기회를 열어 준다.

쉽게 이해하기

오픈소스 언어 모델이 빠르게 늘고 있지만, 파라미터 규모가 조금만 커져도 개인 PC의 VRAM이 모자라 실행 자체가 불가능해진다. 그렇다고 VRAM이 넉넉한 GPU를 사자니 가격 부담이 크고, 결국 매달 구독료를 내는 클라우드 모델로 되돌아가게 된다. 영상은 이 교착 상태를 비집고 들어온 도구로 AirLLM을 소개한다.

AirLLM의 발상은 의외로 단순하다. 언어 모델의 신경망은 비슷한 구조의 블록이 기차 칸처럼 여러 번 반복되고, 이 블록들은 정해진 순서대로 차례차례 실행된다. 그렇다면 추론하는 그 순간에 모든 파라미터가 동시에 일하고 있는 것은 아니므로, 지금 계산할 차례인 파라미터만 VRAM에 올려 쓰고 끝나면 다음 것으로 교체하면 된다는 것이 핵심 아이디어다.

이 방식은 파이토치와 허깅페이스 트랜스포머스 모듈로 구현돼 있다. 다만 모든 모델을 지원하지는 않고 정해진 목록 안에서만 동작하며, 쓰고 싶은 모델이 목록에 없으면 프로젝트가 제공하는 신청 양식으로 지원을 요청해야 한다. 프로젝트를 만든 사람은 AI 스타트업 대표이자 알리바바에서 AI 시니어 리더로 일한 이력이 있는 개발자로 소개되며, 깃허브 스타는 1만 개를 넘겼다.

실습은 Llama3 70B 모델로 진행됐다. 이 모델은 보통 140GB에 가까운 VRAM을 요구하는 급이지만, 영상에서는 12GB 그래픽카드의 사용량을 코드로 4GB까지 강제로 묶은 뒤 추론을 돌렸다. 모델을 내려받으려면 허깅페이스 접근 승인이 필요해 API 키를 미리 발급받아야 하고, CUDA가 제대로 잡혔는지도 먼저 확인한다. 실행 결과 추론 자체는 정상적으로 출력됐지만 시간이 상당히 오래 걸렸다.

결론은 냉정하다. 속도 때문에 실시간 서비스에 바로 얹기는 어렵고, 고성능 가속기와 같은 성능을 기대할 수도 없다. 그래도 수천만 원짜리 장비 없이 거대 모델을 직접 굴려 볼 수 있다는 점에서, 언어 모델을 공부하는 학생이나 GPU 자원이 부족한 소규모 팀, 예산이 빠듯한 스타트업에는 의미 있는 선택지가 된다.

주요 인사이트

• 메모리 부족 문제를 모델을 줄여 푸는 대신 '한 번에 올릴 양'을 줄여 푸는 접근이라, 모델 품질을 훼손하지 않고 실행 가능성만 확보한다는 점이 특징이다.
• 계층을 계속 교체해 올리는 구조상 저장장치와 VRAM 사이 데이터 이동이 반복되므로, 절약한 메모리의 대가를 추론 시간으로 치르는 트레이드오프가 분명하다.
• 지원 모델이 목록으로 제한된다는 점은 곧 임의의 최신 모델을 바로 얹기 어렵다는 뜻이어서, 도입 전에 목록 확인이 먼저다.
• 예제 코드가 패키지 업데이트로 충돌을 일으키는 사례가 언급된 만큼, 오픈소스 도구를 따라 할 때는 버전 호환 문제를 감안해야 한다.

자주 묻는 질문

관련 AI 소식