Mixtral 8x7B와 MoE 설명: 희소 전문가 혼합으로 토큰마다 전문가 2개만 활성화

핵심 메시지

• Mixtral 8x7B는 Mistral AI가 아파치 2.0으로 공개한 희소 전문가 혼합(MoE) 모델로, 총 파라미터가 더 적으면서도 여러 벤치마크에서 Llama 2 70B와 GPT-3.5를 앞선다.
• 트랜스포머의 피드포워드 층에는 파라미터가 많이 몰려 있는데, MoE는 이 하나의 층을 여러 '전문가'로 나눈다.
• 라우팅 신경망(게이팅)이 토큰마다 8개 전문가 중 2개만 골라 통과시키므로, 토큰당 실제로 쓰이는 활성 파라미터가 줄어든다.
• 덕분에 낮은 배치에서는 추론이 빨라지고 큰 배치에서는 처리량이 높아지며, 전문가를 GPU마다 배치하는 전문가 병렬화도 가능하다.
• 논문은 학습 데이터 출처를 '다국어 데이터'라고만 밝히고, 라우팅 분석에서도 주제별 뚜렷한 전문화 패턴은 관찰되지 않았다고 보고한다.

쉽게 이해하기

이 영상은 얀닉 킬허가 Mistral AI의 Mixtral 8x7B 논문을 해설한 것이다. Mixtral은 아파치 2.0 라이선스로 가중치가 공개된 희소 전문가 혼합(sparse mixture of experts) 모델이며, 총 파라미터 수가 Llama 2 70B보다 적으면서도 대부분의 벤치마크에서 Llama 2 70B와 GPT-3.5를 능가한다. 다만 논문은 학습 데이터 출처를 '다국어 데이터'라고만 언급할 뿐 구체적으로 밝히지 않는다.

MoE를 이해하려면 트랜스포머 블록의 두 축인 어텐션 층과 피드포워드 층을 구분해야 한다. 어텐션은 토큰들 사이에 정보를 주고받게 해 계산을 문맥 의존적으로 만든다. 반면 피드포워드 층은 각 토큰에 개별적으로 적용되는데, 임베딩 차원(약 4천)을 은닉 차원(약 1만4천)으로 키웠다가 다시 줄이는 큰 행렬을 쓰기 때문에 파라미터의 상당수가 여기에 몰려 있다.

기존 구조에서는 모든 토큰이 똑같은 피드포워드 가중치 행렬을 통과한다. MoE는 이 지점을 바꾼다. 하나의 피드포워드 대신 여러 개(전문가)를 두고, 라우팅 신경망(게이팅 g)이 각 토큰을 어느 전문가로 보낼지 결정한다. Mixtral은 8개 전문가 중 토큰마다 2개를 고르는 희소 방식을 쓴다. 라우터는 분류 문제처럼 각 전문가에 대한 로짓을 내고, 상위 2개에 소프트맥스를 적용해 가중치를 정한 뒤 두 전문가의 출력을 가중합한다.

핵심은 라우터가 상위 K개만 남기는 희소 출력을 내므로 대부분의 전문가는 계산조차 하지 않아도 된다는 점이다. 그래서 토큰당 활성 파라미터가 줄고, 낮은 배치에서는 추론이 빨라지며 큰 배치에서는 처리량이 높아진다. 8개 중 2개만 쓰면 피드포워드의 활성 파라미터가 단번에 4분의 1로 줄어든다. 나아가 각 전문가를 서로 다른 GPU에 배치하면 GPU 입장에서는 밀집 연산처럼 보여 처리량을 크게 끌어올리는 전문가 병렬화가 가능하다. Mixtral은 디코더 전용이며 문맥 창은 3만2천 토큰이다.

여기서 '총(희소) 파라미터 수'와 '활성 파라미터 수'를 구분해야 한다. 전자는 전문가 수 n이 늘수록 커지고, 후자는 토큰당 사용하는 전문가 수 k에 따라 커진다. 킬허는 활성 파라미터를 기준으로 한 비교 그래프가 인상적이지만, 토큰마다 활성 파라미터가 동적으로 달라진다는 점을 감안해서 봐야 한다고 짚는다.

사후 학습은 지도 미세조정(SFT) 뒤 선호 데이터에 대한 직접 선호 최적화(DPO)로 이뤄진다. 흥미로운 라우팅 분석도 있다. 저자들은 전문가가 주제별로 뚜렷하게 전문화되는 패턴은 관찰되지 않았고, 다만 연속된 토큰이나 코드의 공백 같은 구문적 토큰이 같은 전문가로 배정되는 경향이 있다고 보고한다. 킬허는 Mixtral을 아파치 라이선스로 자유롭게 공개한 것 자체가 커뮤니티에 큰 기여라고 평가한다.

주요 인사이트

• MoE가 바꾸는 것은 어텐션이 아니라 파라미터가 몰려 있는 피드포워드 층이다. '모든 토큰이 같은 가중치를 통과한다'는 전제를 깨고 토큰마다 다른 계산 경로를 열어준다.
• 같은 토큰 표현 x가 두 가지 역할을 한다. 어느 전문가로 갈지 라우팅을 결정하는 근거이자, 실제로 전문가를 통과해 변환되는 입력이기도 하다.
• 희소성이 곧 효율의 원천이다. 상위 2개 전문가만 활성화하면 나머지는 계산을 건너뛰어 활성 파라미터가 4분의 1로 줄고, 전문가를 GPU별로 나누면 처리량까지 끌어올릴 수 있다.
• 전문가가 주제별로 깔끔히 나뉘리라는 기대와 달리, 실제 라우팅은 구문적·연속적 토큰 위주여서 인간이 해석하기 쉬운 의미 기반 전문화는 잘 드러나지 않는다.

자주 묻는 질문

관련 AI 소식