KTransformers와 Ollama 속도 비교: MoE 오프로딩 원리와 가정용 PC 실측 결과 정리

핵심 메시지

• KTransformers는 칭화대학교 연구실에서 만든 오픈소스로, 적은 VRAM에서 거대 MoE 모델을 돌리는 것을 핵심 목표로 삼는다.
• 기존 방식은 VRAM이 모자라면 모델을 레이어 단위로 잘라 CPU에 떠넘기는데, MoE 구조를 고려하지 않아 낭비가 생긴다.
• KTransformers는 자주 계산되는 무거운 부분은 GPU에, 조건부로만 호출되는 전문가 부분은 메모리에 두고 CPU가 그 자리에서 처리하게 나눈다.
• 가정용 PC에서 실제로 재어 보니 Ollama와 속도가 비슷했고, 권장 CPU 명령어 지원과 Ollama 자체 최적화가 원인으로 지목됐다.
• 제작자의 결론은 일반 PC 사용자라면 성능과 사용성 모두에서 Ollama가 낫고, KTransformers는 워크스테이션급 환경을 겨냥한 도구라는 것이다.

쉽게 이해하기

로컬에서 대형 언어 모델을 돌릴 때 가장 먼저 부딪히는 벽은 그래픽카드 메모리다. 이 영상은 그 한계를 우회한다고 알려진 오픈소스 KTransformers를 소개하고, 정말 기존 도구를 압도하는지 직접 확인한다. 소개된 벤치마크에서는 24GB 메모리를 가진 GPU 한 장으로 671B급 모델을 실용 가능한 속도로 돌렸고, 같은 모델에서 Ollama의 내부 엔진과 비교해 큰 차이를 보였다고 한다. 제작자는 이 주장을 그대로 받아들이지 않고 자신의 PC에서 재현해 보기로 한다.

프로젝트 자체는 칭화대학교의 한 연구실에서 개발했고, 깃허브 별이 약 1만 6천 개 붙어 있을 만큼 주목받고 있다. 인상적인 점은 대응 속도로, 오픈소스 진영의 주요 모델 상당수가 Ollama에 추가된 뒤 하루 안에 지원됐다. 구조상으로는 추론을 담당하는 부분과 학습을 담당하는 부분으로 나뉘는데, 영상은 대부분의 사용자가 궁금해할 추론 쪽에 초점을 맞춘다.

원리를 이해하려면 먼저 기존 방식인 레이어 오프로딩을 알아야 한다. 모델을 GPU에 올리다가 메모리가 모자라면 케이크를 자르듯 레이어 단위로 잘라 CPU에 넘기는 안전장치인데, CPU는 GPU보다 훨씬 느려서 넘어가는 레이어가 많아질수록 병목이 심해진다. 특히 요즘 유행하는 전문가 혼합(MoE) 모델은 덩치는 크지만 추론할 때 모든 부분을 다 쓰지 않는데도, 기존 방식은 그 특성을 무시하고 순서대로 잘라 버린다. 그 결과 정작 계산해야 할 부분은 느린 CPU가 붙잡고 있고, 거의 쓰이지 않는 부분이 비좁은 VRAM을 차지하는 상황이 생긴다.

KTransformers의 해법은 역할을 구조에 맞춰 나누는 것이다. 계산이 복잡하고 빠른 처리가 필요한 부분은 GPU가 맡고, 조건에 따라 호출될 수도 있고 아예 안 쓰일 수도 있는 전문가 부분은 CPU 쪽으로 보낸다. 필요할 때만 GPU 메모리로 옮기면 되지 않느냐는 반론에 대해서는, 장치 사이 전송 속도가 느려 옮기는 비용이 계산 이득보다 커질 수 있다고 설명한다. 그래서 아예 시스템 메모리에 붙잡아 두고 CPU가 그 자리에서 계산하도록 해, 양쪽 연산 자원을 모두 쓰게 만든 것이 핵심이다.

실제 비교 결과는 기대와 달랐다. 가정용 PC의 표준에 가까운 사양에서 VRAM에 다 올라가지 않는 모델을 놓고 Ollama와 재어 보니 속도가 비슷비슷하게 나왔다. 제작자가 꼽은 첫 번째 이유는 CPU 명령어다. KTransformers는 CPU 의존도가 높은 구조여서 상위 벡터 명령어를 지원하는 CPU를 권장 사양으로 명시하는데, 제작자의 CPU는 대부분의 가정용 PC가 그렇듯 AVX2까지만 지원해 호환은 되지만 최적화 효과를 보지 못했다. 두 번째는 Ollama에도 자체 최적화가 있어 알고리즘상의 이점이 상쇄됐다는 것이다.

제작자의 결론은 솔직하다. 처음에는 긍정적으로 다루려 했지만, 안내 문서가 불친절해 고생해 가며 돌려 본 끝에 얻은 이득이 크지 않았다고 털어놓는다. 권장 사양을 갖춘 환경이라면 여전히 좋은 선택이지만 그 사양이 가정용 수준은 아니며, 이 프로젝트는 개인용보다 워크스테이션급을 겨냥한 것으로 보인다는 판단이다. 게다가 Ollama가 쓰는 내부 엔진에도 MoE 오프로딩이 도입되고 있어, 언젠가는 굳이 다른 도구를 찾을 이유가 줄어들 수 있다고 덧붙인다.

주요 인사이트

• 벤치마크 수치가 인상적이어도 그것을 만든 하드웨어 환경이 함께 적히지 않으면 내 PC에서의 결과를 예측할 수 없다는 점을 이 영상이 실측으로 보여 준다.
• MoE 모델에서 성능을 가르는 것은 전체 크기가 아니라 '실제로 계산되는 부분이 어디에 올라가 있는가'이며, 오프로딩 설계가 곧 속도로 이어진다.
• 데이터를 옮겨서 빠른 장치로 계산하는 편이 항상 유리한 것은 아니고, 장치 사이 전송이 느리면 느린 장치가 제자리에서 계산하는 편이 나을 수 있다.
• 권장 사양에 적힌 CPU 명령어 지원 여부처럼 눈에 잘 띄지 않는 조건이 체감 성능을 좌우하므로, 설치 전에 문서의 요구 사항을 확인할 필요가 있다.
• 널리 쓰이는 도구가 새로운 최적화를 흡수하는 속도가 빨라, 특정 기법의 우위가 오래가지 않을 수 있다는 점도 도구 선택에서 고려할 만하다.

자주 묻는 질문

관련 AI 소식