MoE 전문가 혼합 모델 쉽게 이해하기: 20%만 켜는 구조와 밀집 모델의 자리

핵심 메시지

• 전문가 혼합(MoE)은 큰 모델의 피드포워드 층을 여러 개의 작은 전문가로 쪼개고, 토큰을 생성할 때마다 그중 일부만 켜는 구조다.
• 파라미터가 1조 개라도 토큰마다 20% 정도만 활성화되면 연산 예산의 80%가 절약된다는 것이 핵심 이점이다.
• 미스트랄의 모델이 MoE를 대중에게 각인시켰고, 딥시크가 공개 모델과 비공개 모델의 격차를 좁히면서 전환점이 됐다는 것이 발표자의 회고다.
• MoE의 약점은 메모리다. 20%만 계산에 쓰더라도 전체 파라미터는 어딘가에 올려두어야 해서 개인 장비에서 돌리기 어렵다.
• 그래서 기기 위에서 도는 작은 모델은 여전히 밀집(dense) 모델의 몫이며, 대개 큰 MoE에서 증류해 만든다.

쉽게 이해하기

허깅페이스가 자체 팟캐스트에서 트랜스포머스 팀과 함께 일하는 개발자 애드보킷을 초대해 전문가 혼합(Mixture of Experts, MoE) 모델을 주제로 대화를 나눴다. 출연자는 2021년에야 트랜스포머 구조를 처음 공부하고 텐서플로 기반 모델을 오픈소스에 기여하다가 허깅페이스 펠로를 거쳐 팀에 합류했다고 자신을 소개한다.

MoE의 아이디어 자체는 오래됐지만, 최근 대형 언어모델에서 다시 중심으로 올라왔다. 촘촘하게 연결된 밀집 모델은 토큰 하나를 만들 때 모든 파라미터가 관여하는 반면, MoE는 피드포워드 층을 여러 전문가로 나눠 두고 토큰마다 일부만 활성화한다. 출연자는 파라미터가 1조 개인 모델이라도 매번 20% 남짓만 켜지는 식이라고 설명하며, 이것이 추론 속도와 효율에서 큰 차이를 만든다고 말한다.

언제부터 흐름이 바뀌었느냐는 질문에 출연자는 미스트랄을 계기로 사람들이 MoE를 진지하게 보기 시작했고, 딥시크가 결정적이었다고 답한다. 공개 모델과 비공개 모델 사이의 격차가 눈에 띄게 좁혀지자 업계 전체가 이 구조를 주목하게 됐다는 것이다. 최근에는 큐원, 미니맥스, 문샷 등 여러 곳이 잇달아 좋은 MoE 모델을 공개하고 있다고 덧붙인다.

그렇다면 밀집 모델은 사라질까. 출연자의 답은 분명한 '아니오'다. MoE는 크기 자체가 커서, 계산에 20%만 쓰더라도 나머지 파라미터가 메모리에 자리를 차지해야 한다. 개인 기기나 엣지 환경에서 빠르게 응답해야 하는 상황이라면 작고 촘촘한 모델이 낫고, 실제로 큰 MoE에서 증류해 만든 소형 밀집 모델이 그 자리를 채운다. 기초 모델을 처음부터 학습시키려는 사람에게는 자료가 풍부한 밀집 모델로 시작하라는 조언도 함께 나온다.

대화는 모델의 우열을 가르는 요소로도 이어진다. 구조와 학습 방식이 비슷해 보이는 모델들 사이에서 진짜 해자는 데이터라는 것이 출연자의 견해다. 다른 모델로 데이터를 만들어 다시 학습에 쓰는 합성 데이터가 늘고 있지만, 합성 데이터는 실제 텍스트의 추상화이기 때문에 많이 쓸수록 수익이 줄어드는 면이 있다고 본다. 그럼에도 지시문처럼 형태를 통제할 수 있다는 장점 때문에 계속 쓰인다는 설명이다.

주요 인사이트

• MoE를 잘 지원하는 것은 라이브러리 하나의 문제가 아니다. vLLM, SGLang, llama.cpp처럼 트랜스포머스를 백엔드로 쓰는 도구들이 많아, 상위 라이브러리에서 효율을 확보하면 그 혜택이 아래로 퍼진다.
• MoE가 계속 커진다면 인프라를 다루는 사람의 수요도 함께 커진다는 것이 출연자의 전망이다. 모델 구조만이 아니라 학습·서빙 인프라를 이해하라는 조언이 뒤따른다.
• 코딩 에이전트에 대해서는 '선을 긋되, 한 번 넘으면 그 선이 흐려진다'는 표현이 나온다. 출연자는 벤치마크 코드는 직접 짜고 결과 그래프 그리기만 도구에 맡기는 식으로 자기 기준을 유지한다고 말한다.
• 초보자에게는 남들이 에이전트로 앞서간다고 조급해하지 말고 자기 속도를 지키라고 권한다. 생성된 결과를 '틀렸을 수 있다'는 전제로 읽는 습관이 가장 중요하다는 것이다.
• 1년 뒤의 코딩을 묻는 질문에 출연자는 파이토치 같은 프레임워크의 세부를 아는 사람과 모르는 사람의 프롬프트 차이가 결과를 가를 것이라고 답한다.

자주 묻는 질문

관련 AI 소식