전문가 혼합(MoE)이란: 최신 LLM이 채택한 희소 트랜스포머 구조와 라우팅·부하분산 원리

핵심 메시지

• 전문가 혼합(MoE)은 트랜스포머의 커다란 피드포워드 층 하나를 여러 개의 작은 '전문가'와 이를 고르는 라우터로 바꾼 구조다. 각 토큰마다 소수의 전문가만 활성화한다.
• 이름과 달리 '코딩 전문가', '영어 전문가'처럼 도메인이 나뉘는 게 아니다. 핵심은 희소하게 활성화되는 여러 개의 작은 신경망일 뿐이다.
• 전문가 하나만 활성화하면 밀집 모델과 연산량(FLOPs)은 같은데 파라미터는 더 많아진다. 같은 학습 연산량에서 더 좋은 성능을 낸다는 결과가 여러 논문에서 반복 확인됐다.
• 라우팅은 미분이 되지 않아 학습이 까다롭다. 방치하면 소수 전문가에만 토큰이 쏠려 나머지가 죽으므로, 부하분산 손실로 고루 나눠 주는 것이 핵심 기술이다.
• DeepSeek은 전문가를 잘게 쪼갠 '세분화 전문가'와 공통 처리를 맡는 '공유 전문가'를 도입해 이후 오픈 모델들의 표준이 됐다.

쉽게 이해하기

스탠퍼드 CS336 강의는 오늘날 고성능 언어모델 대부분이 전문가 혼합(Mixture of Experts, MoE) 구조로 만들어진다는 데서 출발한다. GPT-4가 내부적으로 MoE라는 소문부터 Grok, DeepSeek, Llama 4까지 동서양을 막론하고 이 구조를 채택했고, 2025년 시점에서 같은 연산 자원이라면 잘 만든 MoE가 밀집(dense) 모델보다 낫다는 점은 분명해졌다.

구조 자체는 단순하다. 표준 트랜스포머에서 자기어텐션은 그대로 두고, 하나의 큰 피드포워드 신경망을 여러 개의 작은 신경망(전문가)으로 쪼개거나 복제한 뒤, 라우터가 그중 소수만 골라 각 토큰을 처리하게 한다. 강의는 '전문가'라는 이름이 오해를 부른다고 강조한다. 코딩·영어처럼 분야별로 나뉜 전문가가 아니라, 그저 희소하게 활성화되는 부품일 뿐이라는 것이다.

이점은 명확하다. 전문가를 하나만 활성화하고 그 크기가 기존 밀집 피드포워드와 같다면, 순전파에서 실제로 도는 행렬 곱은 똑같아 연산량이 동일하다. 그런데 파라미터 수는 훨씬 많아진다. 세상에 관한 사실을 더 많이 기억하려면 파라미터가 많을수록 좋다고 믿는다면, 연산량을 늘리지 않고 파라미터만 키우는 이 구조는 대단히 매력적이다. 실제로 같은 학습 연산량에서 전문가 수를 늘릴수록 손실이 계속 내려간다는 것을 여러 논문이 보여 준다.

물론 공짜는 아니다. 전문가들을 저장할 메모리가 필요하고, 여러 장치에 나눠 배치할 때 어느 전문가로 토큰을 보낼지 정하는 시스템적 복잡성이 커진다. 가장 큰 이점은 모델이 너무 커서 어차피 여러 노드에 쪼개야 할 때 드러나는데, 이때 전문가를 장치별로 나눠 배치하는 '전문가 병렬화'가 자연스러운 분할점이 된다.

가장 까다로운 대목은 학습이다. 어느 전문가를 고를지는 딱 하나를 선택해 확정하는 결정이라 미분이 되지 않는다. 그대로 두면 모델은 잘하는 전문가 한둘에만 모든 토큰을 몰아주고 나머지는 죽어 버리는 국소 최적에 빠진다. 그래서 각 전문가가 받은 토큰 비율과 라우터가 의도한 확률을 곱해 균형을 강제하는 '부하분산 손실'이 반드시 필요하다.

주요 인사이트

• 라우팅 방식은 초기에 다양하게 시도됐지만, 대형 모델들은 결국 '토큰 선택 top-K' 한 갈래로 수렴했다. 각 토큰이 전문가들과의 친화도를 매겨 상위 K개를 고르는 방식으로, K=2가 오랫동안 표준이었다.
• 라우터는 생각보다 가볍다. 입력 벡터에 학습된 가중치를 곱하고 소프트맥스를 취하는, 어텐션과 비슷한 내적 연산일 뿐이다. 놀랍게도 의미 정보가 전혀 없는 해시 함수로 토큰을 전문가에 배정해도 성능 향상이 나타난다.
• DeepSeek이 도입해 빠르게 표준이 된 두 혁신이 세분화 전문가와 공유 전문가다. 전문가를 잘게 쪼개면 연산량은 그대로면서 전문가 수를 크게 늘릴 수 있고, 공유 전문가는 어떤 토큰에나 필요한 공통 처리를 전담해 낭비를 줄인다.
• DeepSeek V3는 보조 손실 없이 전문가마다 작은 편향값을 온라인으로 학습해 부하를 맞추는 기법을 선보였다. 다만 논문을 끝까지 읽어 보면 시퀀스 단위 균형을 위해 보조 손실을 다시 더해, 완전한 '보조 손실 프리'는 아니라고 강의는 지적한다.
• GPT-4가 온도(temperature)를 0으로 둬도 응답이 달라지는 현상의 한 가지 가능한 원인으로, MoE에서 배치 처리 중 특정 전문가에 토큰이 몰려 초과분을 버리는 '토큰 드롭'이 지목된다.

자주 묻는 질문

관련 AI 소식