LLM 아키텍처 변천사 정리 — MoE와 롱컨텍스트, 뮤온 옵티마이저까지 믹스트랄에서 딥시크 V3.2로

핵심 메시지

• 2023년부터 2026년 초까지 공개된 대형 언어 모델들을 훑어보면 디코더만 쓰는 트랜스포머, 자기회귀 학습, 회전 위치 임베딩이라는 뼈대는 바뀌지 않았다는 것이 강의의 결론이다.
• 전문가 혼합(MoE)은 서빙이 불편하다는 이유로 외면받다가, 활성 파라미터를 훨씬 적게 쓰고도 비슷한 성능을 냈다는 결과가 나오면서 표준에 가까워졌고 전문가를 잘게 쪼개는 방식이 자리 잡았다.
• 긴 문맥 처리는 회전 위치 임베딩의 기준 주파수를 키우고 위치 보간과 얀 같은 기법을 함께 쓰는 방향으로 정리됐으며, 어텐션도 지역과 전역을 섞어 쓰는 배치가 일반화됐다.
• 딥시크 V3는 보조 손실 대신 게이트 로짓에 편향을 더해 전문가 부하를 맞추는 방식을 제안했고, V3.2에서는 중요한 키만 골라 어텐션을 돌리는 희소 어텐션으로 연산량을 문맥 길이에 비례하도록 낮췄다.
• 아키텍처 차이가 줄어들면서 최근 기술 보고서에서 사전학습과 구조 설명은 짧아지고, 데이터 구성과 사후 학습이 더 중요한 변수로 옮겨 갔다는 진단으로 강의는 끝난다.

쉽게 이해하기

이 강의는 대형 언어 모델 구조를 다루는 수업의 일곱 번째 시간으로, 앞서 배운 부품들이 실제 모델에서 어떻게 조합됐는지를 사례로 확인하는 자리다. 2023년 라마 공개 이후부터 2026년 초까지 나온 모델들을 시간 순으로 늘어놓고, 각 모델이 무엇을 새로 넣고 무엇을 뺐는지 짚어 간다. 강사는 앞 시간에 다룬 전문가 혼합과 스케일링 법칙을 먼저 복습하며 출발한다.

초반 사례는 믹스트랄이다. 7B급 밀집 모델 여덟 개를 쌓은 형태로 전체 파라미터는 500억 안팎이지만 실제로 활성화되는 것은 130억 규모이며, 당시 기준으로는 전문가를 잘게 쪼개지 않은 초기형이었다. 강사는 전문가 혼합이 서빙 난이도 때문에 기피되던 구조였는데, 활성 파라미터를 훨씬 적게 쓰고도 비슷한 성능을 냈다는 점이 알려지며 분위기가 바뀌었다고 설명한다. 구글의 젬마는 라마 계열의 설계를 대부분 따르면서도 활성화 함수를 바꾸고 어휘 사전을 20만 개 규모로 크게 가져갔으며, 입력과 출력 임베딩 행렬을 공유하는 방식을 썼다.

중반부는 긴 문맥을 어떻게 감당할지에 대한 이야기다. 학습 때 보지 못한 길이의 입력이 들어오면 위치 임베딩이 흔들리는 문제를 두고, 기준 주파수를 크게 잡아 해상도를 확보하는 방법과 위치 보간 및 얀처럼 문맥을 압축하는 기법을 함께 쓰는 방향이 자리 잡았다고 정리한다. 어텐션 쪽에서는 입력을 덩어리로 잘라 덩어리 안과 밖을 구분해 처리하는 방식, 그리고 지역 어텐션과 전역 어텐션을 번갈아 배치하는 방식이 소개된다. 젬마 2가 두 어텐션을 교대로 썼다면 후속 모델에서는 지역 다섯에 전역 하나 같은 비율로 부담을 더 낮췄다.

딥시크 계열은 이 강의에서 가장 자세히 다뤄진다. V3는 전문가 부하를 맞추기 위해 추가 손실 항을 붙이던 관행을 버리고, 게이트에서 나온 로짓에 편향을 더해 상위 전문가를 고르되 실제 가중치는 원래 값을 쓰는 방식을 택했다. 추가 손실이 본래 목적 함수를 흔들고 하이퍼파라미터에 민감해지는 문제를 피하려는 선택이다. V3.2는 압축된 어텐션 구조에 희소 어텐션을 결합해, 가벼운 인덱서로 중요한 키를 먼저 추린 뒤 상위 2048개만 골라 어텐션을 계산하도록 바꿨다.

옵티마이저도 변화의 축으로 등장한다. 강사는 모멘텀을 그대로 쓰지 않고 반복 계산으로 행렬을 고르게 다듬어 갱신하는 뮤온을 소개하며, 같은 손실에 도달하는 데 필요한 토큰 수가 눈에 띄게 적었다는 결과를 전한다. 다만 큰 모델에 그대로 적용하면 어텐션 로짓이 폭주하는 문제가 보고됐고, 이를 다루기 위한 후속 연구가 이어졌다고 덧붙인다. 마지막으로 강사는 구조 차이가 줄어든 만큼 요즘 기술 보고서에서 사전학습과 아키텍처 서술은 짧아졌고, 데이터와 사후 학습이 실질적인 승부처가 됐다고 정리한다.

주요 인사이트

• 전문가 혼합의 확산은 성능보다 비용 곡선이 결정했다. 서빙이 까다로워도 활성 파라미터를 크게 줄일 수 있다는 점이 확인되자, 채택을 막던 실무적 저항이 빠르게 걷혔다.
• 긴 문맥 대응은 단일 기법이 아니라 조합으로 굳어졌다. 기준 주파수를 키워 해상도를 벌고, 보간 계열 기법으로 범위를 압축하며, 어텐션 자체를 지역과 전역으로 나눠 비용을 배분하는 식이다.
• 보조 손실을 없앤 로드 밸런싱은 학습 목표를 오염시키지 않으려는 설계 감각을 보여 준다. 규제 항을 더하는 대신 선택 단계에만 편향을 넣어, 본래 손실은 건드리지 않으면서 균형을 잡는다.
• 희소 어텐션의 요점은 연산 자체를 줄이는 것이 아니라 무엇을 볼지 싸게 판정하는 데 있다. 소프트맥스를 없애고 헤드 수를 줄이며 낮은 정밀도로 계산한 인덱서가 그 판정을 맡는다.
• 강의가 짚은 대로 최근 모델 간 구조 차이는 좁아졌다. 이제 성능 차이를 만드는 지점은 데이터 구성과 사후 학습 쪽으로 옮겨 갔고, 구조는 학습과 서빙 인프라에 맞춰 고르는 선택지에 가깝다.

자주 묻는 질문

관련 AI 소식