전문가 혼합(MoE) 구조로 파라미터는 늘리고 토큰당 계산량은 그대로 유지하는 원리와 라우터의 역할

핵심 메시지

• Mixtral은 서류상 470억 파라미터지만 단어 하나를 생성할 때는 약 130억만 사용한다. 이는 버그가 아니라 전문가 혼합(MoE)의 핵심 설계다.
• 일반 트랜스포머에서 모든 토큰이 같은 큰 피드포워드 네트워크를 통과하는 것과 달리, MoE는 그 블록을 여러 개의 작은 전문가(FFN) 위원회로 바꾼다.
• 라우터가 입력 벡터에 작은 행렬을 곱하고 소프트맥스를 취해 전문가별 확률을 구한 뒤, 상위 1~2개만 남기고 나머지는 0으로 만든다.
• 선택되지 않은 전문가는 계산 그래프에 포함되지 않아 실제로 실행되지 않는다. 이것이 '조건부 계산'이다.
• 전문가들은 실제로 특화된다. 흔한 단어·코드 토큰·과학 용어가 서로 다른 전문가로 라우팅되며, 전체 용량은 전문가 수 N만큼 커지되 계산량은 실행하는 K개로 유지된다.

쉽게 이해하기

오픈소스 언어모델 Mixtral은 서류상 470억 개의 파라미터를 갖지만, 단어 하나를 생성할 때마다 그중 약 130억 개만 사용하고 나머지 340억 개는 가만히 있는다. 이는 결함이 아니라 의도된 설계다. 같은 모델이 어떻게 이렇게 많은 파라미터를 갖고도 한 번에 일부만 쓸 수 있을까?

일반 트랜스포머에서는 모든 토큰이 하나의 큰 피드포워드 네트워크를 통과한다. 전문가 혼합은 이 하나의 블록을 작은 위원회로 대체한다. 여러 개의 작은 네트워크(각자의 FFN)를 두고 각 입력이 어떤 전문가를 쓸지 고르게 하는 것이다. 하나의 만능 일반가 대신 여러 전문가와, 누가 무엇을 처리할지 정하는 작은 관리자를 두는 셈이다.

관리자 역할을 하는 라우터는 의외로 단순하다. 입력 벡터 X에 작은 행렬 WG를 곱하고 소프트맥스를 통과시키면 전문가들에 대한 확률 분포가 나온다. 실제로는 모든 전문가가 조금씩 참여하는 게 아니라 상위 점수 1~2개만 남기고 나머지는 0으로 만든다. 예컨대 전문가 8개 중 가장 관련 있는 2개만 해당 토큰을 처리한다.

선택된 전문가들의 출력은 라우터가 준 게이트 가중치와 함께 가중합으로 결합된다. 게이트가 희소하기 때문에 대부분의 항은 정확히 0이 되고, 그 전문가들은 결과를 버리는 게 아니라 애초에 실행되지 않는다. 이 토큰의 계산 그래프에는 선택된 전문가만 포함된다.

전체 파라미터 수는 모든 전문가가 존재하고 모두 학습되기 때문에 크지만, 토큰당 계산량은 각 토큰이 소수의 전문가만 켜기 때문에 작다. 용량은 저장할 수 있는 전문가 수 N에 따라 늘고, 계산량은 실제 실행하는 소수 K에 머문다. 최신 프런티어 모델들이 추론 비용을 늘리지 않으면서 파라미터를 키우기 위해 이 방식에 크게 의존하는 이유다.

주요 인사이트

• MoE의 핵심은 '가중치의 대부분이 0인 가중합'이다. 형태는 N개 전문가에 대한 평범한 가중합처럼 보이지만 대부분의 가중치가 0이라 대부분의 전문가는 건드려지지 않는다.
• 전문가는 자연스럽게 특화된다. 흔한 단어 'the'는 특정 전문가 집합으로, 코드성 토큰은 다른 곳으로 라우팅되어 하나의 모델 안에 서로 다른 서브네트워크가 엮여 있다.
• 용량(N)과 계산량(K)을 분리하는 것이 MoE의 경제성이다. 파라미터를 키우면서도 추론 비용이 함께 커지지 않게 하는 사실상 유일한 방법이라 프런티어 모델이 채택한다.

자주 묻는 질문

관련 AI 소식