MoE 전문가 혼합 모델이란? 희소 활성화와 오픈 모델 확산을 허깅페이스가 설명하다

핵심 메시지

• 전문가 혼합(MoE)은 촘촘한 신경망을 여러 전문가로 쪼개 토큰을 만들 때마다 일부만 활성화하는 구조다.
• 모델 전체를 켜지 않아도 되기 때문에 파라미터 규모는 키우면서 추론 효율과 속도를 확보할 수 있다.
• 미스트랄이 MoE를 대중의 시야에 올렸고, 딥시크에 이르러 오픈 모델과 폐쇄형 모델의 격차가 좁혀졌다는 평가다.
• 허깅페이스는 Transformers 라이브러리에서 MoE를 일급 시민으로 다뤄, 이를 백엔드로 쓰는 하위 생태계 전체가 혜택을 보게 하려 한다.
• MoE는 학습이 까다로워 모델 성능뿐 아니라 '어떻게 학습시켰는지'를 공개하는 흐름이 중요해졌다.

쉽게 이해하기

허깅페이스 채널에 올라온 대담에서 엔지니어 아리트라는 최근 대형 언어 모델의 기본값처럼 자리 잡은 전문가 혼합(Mixture-of-Experts, MoE) 구조를 설명했다. 그는 MoE가 최근에 튀어나온 개념이 아니라 2018~2019년 무렵 샤지어 등의 연구로 크게 주목받은 오래된 아이디어라고 짚었다.

구조의 핵심은 '희소 활성화'다. 모든 파라미터가 빽빽하게 연결된 밀집(dense) 구조를 여러 전문가 묶음으로 나누고, 토큰을 하나 생성할 때마다 그중 일부만 켠다. 그는 파라미터가 1조 개인 모델이라면 토큰마다 대략 20% 정도만 활성화되는 식이라고 규모감을 설명하며, 전체를 다 돌리지 않아도 된다는 점이 효율과 추론 속도에서 큰 차이를 만든다고 말했다.

그는 MoE가 널리 알려진 계기로 미스트랄을 꼽았다. 파라미터 총량은 크지만 실제로 돌릴 때는 그만큼 무겁지 않다는 점, 즉 '큰 모델인데 그렇게까지 크지는 않은' 감각이 사람들의 인식을 바꿨다는 것이다. 이어 딥시크에 대해서는 오픈 모델과 폐쇄형 모델의 격차가 눈에 띄게 좁혀졌다고 느낀 시점이었다고 회고했다.

생태계 관점의 이야기도 나왔다. vLLM, SGLang, llama.cpp 같은 여러 실행 스택이 허깅페이스 Transformers를 백엔드로 쓰기 때문에, Transformers 안에서 MoE를 제대로 지원하면 그 효율이 하위 도구들로 그대로 퍼진다는 설명이다. 그는 최근 한 주만 놓고 봐도 Qwen, MiniMax, Z AI, 문샷 등에서 좋은 MoE 모델이 쏟아졌다고 덧붙였다.

다만 그는 MoE가 만능이거나 마지막 정답이라고 보지는 않았다. 학습이 매우 어렵다는 점을 인정하면서, 언슬로스(Unsloth)와의 협업으로 학습 커널과 효율을 개선한 사례를 들었다. 그리고 요즘 공개 연구들이 모델의 성능뿐 아니라 학습 방법까지 함께 공개하는 흐름을 두고, 거대 모델을 실제로 학습시키려면 그 정보가 지금 시점에 특히 중요하다고 강조했다.

주요 인사이트

• MoE의 이점은 '모델을 키우는 것'이 아니라 '켜는 양을 줄이는 것'에서 나온다. 총 파라미터와 활성 파라미터를 구분해 읽는 습관이 모델 비교의 출발점이다.
• 오픈 모델의 추격을 가능하게 한 것은 새로운 마법이 아니라 같은 연산 예산으로 더 큰 표현력을 확보하는 구조 선택이었다.
• 프레임워크 계층에서의 지원 여부가 실제 체감 성능을 좌우한다. Transformers가 MoE를 우선 지원하면 그 위에 쌓인 추론 엔진들이 함께 빨라진다.
• 학습 레시피의 공개가 경쟁력의 일부가 됐다. 결과 모델만 공개하는 것과 학습 과정을 함께 공개하는 것은 후속 연구의 속도를 다르게 만든다.
• 발표자 본인도 MoE가 끝이 아니라고 선을 그었다. 당분간 주류로 남겠지만 다음 구조를 향한 탐색은 계속된다는 전제를 깔고 봐야 한다.

자주 묻는 질문

관련 AI 소식