MoE 전문가 혼합 모델 원리: Mixtral·DeepSeek·백만 전문가까지

핵심 메시지

• GPT-4급 밀집(dense) 모델은 파라미터가 1조 8천억 개로 추정될 만큼 커서 실행 비용이 막대하고, 이 비용 압박이 전문가 혼합(MoE) 기법 확산의 배경이 됐다.
• MoE에서 말하는 '전문가'는 별개의 모델이 아니라 트랜스포머 층 안의 피드포워드 신경망 블록이며, 라우터가 토큰마다 소수의 전문가만 골라 통과시켜(예: 상위 2개) 활성 파라미터를 크게 줄인다.
• Mixtral 8x7B는 8개의 7B 모델이 아니라 총 45~47B 파라미터를 갖되 추론 시 약 12.8B만 활성화해, 같은 성능을 훨씬 적은 하드웨어로 낸다.
• MoE의 두 약점은 전문가가 지나치게 넓은 지식을 담는 '지식 혼재'와 여러 전문가가 같은 공통 지식을 중복 보유하는 '지식 중복'이며, 세분화·공유 전문가 기법이 이를 겨냥한다.
• DeepSeekMoE는 전문가를 잘게 쪼개 조합의 다양성을 키우고 공통 지식 전담 전문가를 두었으며, '100만 전문가' 연구는 각 전문가를 뉴런 하나짜리 초소형 MLP로 만들고 효율적 검색으로 골라낸다.

쉽게 이해하기

엔비디아가 GTC에서 실수로 흘린 수치로 GPT-4의 파라미터가 약 1조 8천억 개로 추정되면서, 이런 모델 하나를 메모리에 올리는 데만 H100 GPU 수십 장(수백만 달러어치)이 필요하다는 사실이 드러났다. 무료로 제공하려면 비용이 감당되지 않기에, 기업과 연구자들은 모델을 더 싸게 돌릴 방법을 찾기 시작했고 그 중심에 전문가 혼합(MoE)이 있다.

MoE의 핵심을 이해하려면 '전문가'라는 말의 뜻부터 바로잡아야 한다. Mixtral 8x7B는 흔한 오해와 달리 8개의 7B 모델을 합친 56B가 아니라 총 45~47B 규모다. 여기서 전문가는 트랜스포머 층 안에서 사실적 지식을 저장하는 피드포워드 신경망(FFN) 블록을 가리키며, 하나 대신 여러 개(예: 8개)를 나란히 두고 라우터가 토큰마다 상위 2개만 골라 통과시킨다.

이때 라우터가 특정 전문가만 편애하지 않도록 모든 전문가를 고르게 쓰게 하는 '부하 균형'이 중요하다. 전문가는 층마다 고유하므로 32개 층·층당 8개면 총 256개의 전문가가 존재하지만, 상위 2개만 활성화해 활성 파라미터는 약 12.8B에 그친다. 이는 같은 47B 밀집 모델 대비 약 4배 적은 하드웨어로, 기하평균으로 따지면 대략 22B 밀집 모델에 준하는 표현력을 낸다. 참고로 희소 MoE 개념 자체는 2017년, 원조 MoE는 1991년까지 거슬러 올라간다.

MoE에는 두 가지 약점이 있다. 전문가가 8~16개뿐이면 각자가 너무 넓고 다양한 지식을 담게 되는 '지식 혼재', 그리고 서로 다른 전문가가 같은 공통 지식을 중복 보유하는 '지식 중복'이다. 메타의 브랜치-트레인-믹스는 서로 다른 데이터로 미세조정한 밀집 모델들에서 FFN을 떼어내 하나의 MoE로 합쳐, 사람이 지정한 지식 영역을 전문가에 부여하는 방식으로 첫 문제를 겨냥한다.

DeepSeekMoE는 각 전문가를 m배로 잘게 쪼개 전체 전문가 수를 늘리는 '세분화'로 활성 전문가 조합의 다양성을 크게 키우고, 공통 지식을 전담하는 '공유 전문가'를 항상 켜 나머지 전문가가 더 특화되게 했다. 나아가 '100만 전문가' 연구는 각 전문가를 은닉 뉴런 하나짜리 초소형 MLP로 만들고, 곱셈 키(product key) 기반의 효율적 검색으로 방대한 전문가 중 소수를 빠르게 조합해낸다.

주요 인사이트

• MoE의 절감 효과는 '총 파라미터'가 아니라 '활성 파라미터'에서 나온다. 큰 지식 풀은 그대로 두되 토큰마다 일부 전문가만 켜므로, 표현력은 대형 모델급이면서 실행 비용은 소형 모델급으로 낮아진다.
• '전문가=별개의 작은 모델'이라는 오해가 널리 퍼졌지만, 실제로는 층마다 존재하는 FFN 블록이며 이 오해가 Mixtral의 파라미터 수 혼란을 낳았다.
• 조합론 관점에서 전문가를 잘게 쪼개면 활성 조합의 수가 폭발적으로 늘어, 더 정밀하고 표적화된 지식 활용이 가능해진다. 이것이 '전문가는 많을수록 좋다'는 세분화 흐름의 근거다.
• 다만 무작정 100만 개로 늘리면 라우터가 그중 소수를 고르는 일 자체가 병목이 되므로, 곱셈 키 검색과 다중 헤드 방식의 인덱싱 같은 별도 메커니즘이 반드시 필요하다.
• 전문가 수가 매우 많아지면 오래된 가중치를 얼리고 새 전문가만 갱신해 기존 지식을 잃지 않는 '평생 학습' 가능성이 열리지만, 관건은 방대한 전문가 사이에서 라우팅이 얼마나 정확하고 견고하게 작동하느냐다.

자주 묻는 질문

관련 AI 소식