전문가 혼합(MoE) 구조 완벽 정리: 거대 언어모델을 효율적으로 돌리는 법

핵심 메시지

• 전문가 혼합(MoE)은 하나의 큰 신경망을 여러 '전문가' 서브네트워크로 나누고, 입력마다 관련 있는 전문가만 활성화하는 방식이다.
• 게이팅(라우팅) 네트워크가 교통경찰처럼 어떤 전문가를 쓸지 고르고, 그 결과에 가중치를 매겨 하나의 출력으로 합친다.
• 대표 사례인 Mixtral 8x7B는 층마다 전문가 8개를 두고 토큰마다 상위 2개만 골라 계산량을 줄인다.
• 핵심 개념은 희소성(sparsity), 라우팅(routing), 부하 분산(load balancing) 세 가지다.
• 특정 전문가에만 계산이 쏠리는 문제는 '잡음 섞은 top-k 게이팅'으로 완화한다.

쉽게 이해하기

딥러닝 신경망, 특히 대규모 언어모델은 파라미터가 수천억 개에 이를 만큼 커질 수 있고, 추론 시 모든 파라미터를 쓰면 계산 부담이 매우 크다. 전문가 혼합(Mixture of Experts, MoE)은 모델을 여러 개의 '전문가' 서브네트워크로 나누고, 주어진 입력에 관련 있는 전문가만 골라 활성화함으로써 이 부담을 줄이는 기계학습 접근법이다.

MoE는 새로운 개념이 아니다. 1991년 논문에서 서로 다른 학습 사례에 특화된 별도 네트워크들을 제안했고, 당시 실험에서 일반 모델의 절반에 해당하는 학습 주기만에 목표 정확도에 도달했다. 오늘날 Mistral 같은 선도적 언어모델이 이 구조를 채택하면서 다시 주목받고 있다.

구조를 보면 입력과 출력 사이에 여러 전문가 네트워크(1번, 2번 … N번)가 놓이고, 그 앞에 '게이팅 네트워크'가 자리한다. 게이팅 네트워크는 어떤 전문가에게 각 하위 작업을 맡길지 정하는 조율자 역할을 하며, 선택한 전문가들의 결과에 가중치를 매겨 최종 출력으로 결합한다.

실제 사례인 Mixtral 8x7B는 각 층에 전문가 8개를 두고 각 전문가가 70억 개 파라미터를 가진다. 모델이 토큰(단어나 단어 조각)을 처리할 때 각 층의 라우터가 8개 중 가장 적합한 2개를 골라 계산하고, 두 결과를 섞어 다음 층으로 넘긴다.

이 구조는 효율과 성능 면에서 이점이 크지만 대가도 있다. 모델 복잡도가 올라가 학습이 더 어렵고 오래 걸리며, 라우팅 메커니즘과 부하 분산 문제는 세심한 튜닝과 모니터링을 요구한다. 그럼에도 계산 자원이 귀한 대규모 언어모델에서는 매력적인 선택지다.

주요 인사이트

• 희소성(sparsity)은 전체 전문가 중 일부만 활성화해 계산량을 줄이는 원리로, 사람 언어처럼 고차원·복잡한 데이터에서 특히 강점을 보인다. 관용구를 이해하는 전문가와 복잡한 문법을 푸는 전문가를 필요한 부분에만 각각 불러 쓸 수 있기 때문이다.
• 라우팅은 게이팅 네트워크가 입력과 각 전문가의 연결 강도를 바탕으로 어떤 전문가가 최선일지 예측하는 과정이다. Mixtral은 8개 중 2개를 고르는 'top-2' 방식을 쓴다.
• 라우팅 전략이 어긋나면 일부 전문가가 학습 부족 상태에 빠지거나 지나치게 특화돼 전체 성능이 떨어질 수 있다.
• 부하 분산 문제는 게이팅이 소수 전문가만 반복 선택하는 자기강화 현상에서 비롯된다. 초기에 자주 뽑힌 전문가가 더 많이 학습돼 또 뽑히고, 나머지는 방치돼 계산 낭비가 된다.
• 이를 막기 위해 '잡음 섞은 top-k 게이팅'은 각 전문가의 선택 확률에 가우시안 잡음을 더해, 전문가 활성화가 더 고르게 퍼지도록 유도한다.

자주 묻는 질문

관련 AI 소식