MoE 라우팅 완전 해설: 믹스트랄·딥시크가 쓰는 전문가 혼합 구조와 로드 밸런싱, 용량 계수

핵심 메시지

• 믹스트랄 8x7B는 총 470억 파라미터를 갖지만 토큰 하나마다 상위 2개 전문가, 약 130억 파라미터 분량만 활성화한다.
• 라우터가 소프트맥스 확률로 전문가를 고르기 때문에 선택받지 못한 전문가에게도 학습 신호가 전달된다.
• 전문가 쏠림은 품질보다 속도 문제로 먼저 드러난다. 가장 바쁜 전문가를 맡은 GPU가 전체 스텝 시간을 결정하기 때문이다.
• 보조 로드 밸런싱 손실과 공유 전문가는 초기 MoE에서 반복된 라우팅 붕괴를 막으려고 도입된 장치다.
• MoE의 속도 이득은 자동으로 따라오지 않는다. 라우팅이 치우치거나 통신이 느리면 밀집 모델보다 오히려 느려질 수 있다.

쉽게 이해하기

일반적인 트랜스포머의 피드포워드 블록은 토큰 하나가 지나갈 때마다 모든 파라미터가 계산에 참여한다. 혼합 전문가(MoE)는 이 구조를 바꿔, 여덟 개의 전문가 중 두 개에게만 토큰을 보내고 나머지는 잠들어 있게 한다. 그래서 총 파라미터는 470억이어도 토큰당 실제 계산량은 130억 파라미터 수준에 머문다. 밀집 모델에 가까운 품질을 희소한 연산량으로 얻는다는 것이 이 구조의 핵심 주장이다.

토큰은 평소처럼 어텐션을 통과한 뒤 라우터를 만난다. 라우터는 토큰 임베딩을 보고 전체 전문가에 대한 확률 분포를 만드는 작은 학습 신경망이다. 여기서 점수가 가장 높은 상위 k개(대개 2개)를 골라 각 출력을 가중합한다. 소프트맥스로 만들어진 가중치를 쓰기 때문에 학습 중에는 승자뿐 아니라 3등 전문가에게도 "조금만 더 잘하면 됐다"는 신호가 흘러가고, 이 점이 승자독식형 라우팅보다 학습을 안정적으로 만든다.

문제는 라우터의 분포가 점점 뾰족해질 때 생긴다. 인기 있는 전문가에 확률과 토큰이 계속 쌓이면 그 전문가를 올려둔 GPU가 병목이 되고, 전체 처리량은 평균이 아니라 가장 느린 경로를 따라간다. 각 전문가는 배치당 처리할 수 있는 토큰 수, 즉 용량이 정해져 있어 넘치면 세 가지 선택지밖에 없다. 초과분을 버리거나(빠르지만 품질 손실), 예비 전문가로 돌리거나(특화가 흐려지고 조정 비용 증가), 전부 순차 처리해 지연을 감수하는 것이다.

그래서 등장한 것이 보조 로드 밸런싱 손실이다. 전문가별로 실제 받은 토큰 비율과 라우터가 배분한 확률 총량을 곱해 합산하고, 특정 전문가가 두 값 모두에서 독주하면 벌점이 급격히 커지도록 만든다. 학습 초기에는 라우터 엔트로피를 높여 탐색을 유도하고 후반에는 이를 서서히 줄여 특화를 허용하는 방식도 함께 쓰인다. 여기에 모든 토큰이 항상 통과하는 공유 전문가를 두어 기본적인 언어 이해를 담당시키면, 라우팅이 흔들려도 모델이 무너지지 않는다. 딥시크 V2가 공유 전문가 두 개에 다수의 라우팅 전문가를 두고 토큰마다 상위 6개를 고르는 방식이 대표적이다.

여러 GPU에 전문가를 나눠 올리면 토큰이 네트워크를 건너다니는 all-to-all 통신이 발생한다. 라우팅이 한쪽으로 쏠리면 특정 GPU만 과부하가 걸리고 나머지는 놀면서 배치 전체가 멈춘다. 전문가 용량은 대략 배치 크기 × 상위 k × 용량 계수 ÷ 전문가 수로 계산하는데, 배치 2048에 전문가 8개, 상위 2개, 용량 계수 1.25라면 전문가당 약 640개 토큰 버퍼가 된다. 용량 계수는 보통 1.25~1.5가 적정선으로, 너무 낮으면 토큰이 버려지고 너무 높으면 메모리를 낭비해 희소 구조의 의미가 사라진다.

주요 인사이트

• MoE의 라우팅은 확률적 가중합이라 학습 신호가 승자에게만 몰리지 않는다. 이 설계 덕분에 전문가들이 서서히 역할을 나눠 갖는다.
• 전문가 용량 초과에는 공짜 해법이 없다. 품질, 특화, 지연 중 무엇을 포기할지 고르는 문제로 봐야 한다.
• 운영 지표로는 전문가별 토큰 분포, 오버플로 발생률, 라우팅 분포의 엔트로피, GPU 간 디스패치 시간 비중, 로드 밸런싱 손실의 감소 추이 다섯 가지를 함께 봐야 한다.
• 모델이 크고 데이터가 다양하며 인프라가 충분하고 처리량이 중요할 때 MoE가 빛난다. 반대로 모델이 작고 지연이 중요하거나 대역폭이 좁다면 단순한 밀집 구조가 낫다.
• 구조 자체보다 균형 잡힌 라우팅과 디스패치 효율이 실제 체감 속도를 좌우한다.

자주 묻는 질문

관련 AI 소식