전문가 혼합 MoE 원리 해설: LLM 효율을 높인 희소 게이팅 구조

핵심 메시지

• 전문가 혼합(MoE)은 연산 비용을 비례해서 늘리지 않으면서 모델의 용량을 키우는 방법으로, 대형 언어모델 효율화에 크게 기여했다.
• 핵심 아이디어는 하나의 큰 모델이 모든 입력을 처리하는 대신, 여러 '전문가'가 서로 다른 입력을 나눠 맡고 모델이 언제 어떤 전문가를 쓸지 학습하는 것이다.
• MoE 층은 트랜스포머보다 앞선 2017년 구글의 논문에서 소개되었고, 저자에는 'AI의 대부'로 불리는 제프리 힌턴도 포함되어 있었다.
• 라우터(게이팅)가 각 토큰을 어떤 전문가에게 보낼지 고르고, 보통 토큰마다 여러 전문가를 선택해 그 출력을 가중합으로 결합한다.
• 각 입력마다 일부 전문가만 활성화되고 전문가들이 병렬로 실행될 수 있어 연산 비용이 줄어든다.

쉽게 이해하기

최근 AI의 눈부신 발전은 GPT-3·4 같은 비공개 모델과 라마 2·3 같은 오픈소스 모델이 이끌어 왔다. 그러나 모델이 점점 커지면서 효율을 높이는 방법이 중요해졌고, 그중 성공적으로 자리 잡은 기법이 전문가 혼합(Mixture-of-Experts, MoE)이다. MoE는 연산 비용을 그만큼 늘리지 않으면서 모델 용량을 키울 수 있게 해 준다.

MoE의 발상은 하나의 거대한 모델이 모든 입력 공간을 담당하는 대신, 문제를 나눠 서로 다른 입력을 서로 다른 모델 구획이 맡게 하는 것이다. 이 구획들을 '전문가'라 부른다. 전문가들은 각각 자신의 가중치를 갖고, 라우터(게이팅) 구성요소가 각 입력 토큰을 어떤 전문가가 처리할지 결정해 해당 전문가로 보낸다.

실제로는 토큰마다 하나가 아니라 여러 전문가가 선택되는 경우가 많다. 영상의 예시에서는 네 개의 전문가 중 두 개를 고르고, 선택된 전문가들의 출력을 결합한다. 이 과정은 각 입력 토큰마다 반복되며, 토큰마다 서로 다른 전문가 조합이 활성화될 수 있다. 입력 프롬프트의 토큰들은 한꺼번에 함께 처리된다.

흥미로운 역사적 사실도 있다. MoE 층은 트랜스포머를 소개한 2017년 6월의 '어텐션 이즈 올 유 니드' 논문보다 앞서, 같은 해 구글의 '터무니없이 큰 신경망: 희소 게이팅 전문가 혼합 층' 논문에서 먼저 등장했다. 저자에는 제프리 힌턴도 포함되어 있었다. 당시 예시는 트랜스포머 이전이라 순환 신경망 기반 언어모델을 사용했다.

논문의 그림을 보면, 이전 층에서 온 입력이 먼저 게이팅 네트워크를 통과해 어떤 전문가를 쓸지 결정된다. 게이팅 네트워크는 어떤 전문가를 쓸지뿐 아니라 각 전문가 출력의 가중치도 정한다. 선택된 전문가들의 출력은 게이팅 결과에 따라 가중합으로 결합되어 다음 층으로 전달된다. 게이팅 구성요소와 전문가들은 모두 하나의 모델로 함께 학습된다.

주요 인사이트

• MoE의 효율은 '모든 전문가를 항상 쓰지 않는다'는 희소성에서 나온다. 입력마다 일부 전문가만 활성화되고 병렬 실행이 가능해 큰 용량을 낮은 연산 비용으로 얻는다.
• 전문가 각각은 하나의 거대한 모델보다 작을 수 있으며, 문제를 나눠 맡는 분업 구조가 이를 가능하게 한다.
• 라우터(게이팅)의 역할이 두 가지라는 점이 중요하다. 어떤 전문가를 선택할지 정하는 것과, 각 전문가 출력에 얼마의 가중치를 줄지 정하는 것이다.
• 오늘날 LLM이 쓰는 MoE는 사실 트랜스포머보다 먼저 제안된 오래된 아이디어로, 라우팅 함수 구현 기법은 이후 다양하게 발전해 왔다.
• 게이팅과 전문가가 별개로 훈련되는 것이 아니라 같은 모델의 일부로 함께 학습된다는 점이, 모델이 '언제 어떤 전문가를 쓸지'를 스스로 익히는 열쇠다.

자주 묻는 질문

관련 AI 소식