롱캣 2.0 분석 — 중국산 ASIC으로 훈련한 1.6조 파라미터 오픈웨이트 모델의 구조

핵심 메시지

• 중국 배달 플랫폼 메이퇀 산하 AI 연구소 롱캣이 파라미터 1.6조·활성 파라미터 480억 규모의 오픈웨이트 모델 롱캣 2.0을 MIT 라이선스로 공개했다.
• 훈련과 추론이 모두 엔비디아 GPU가 아닌 중국산 AI 전용 반도체(ASIC) 슈퍼팟 위에서 이뤄졌고, 5만 개가 넘는 규모로 지금까지 공개된 클러스터 중 가장 크다.
• 핵심 기술은 딥시크의 희소 어텐션을 하드웨어가 실제로 빠르게 실행할 수 있게 다시 설계한 '롱캣 희소 어텐션'이다.
• 파라미터 1350억 개를 전문가 추가가 아니라 n그램 임베딩에 배정해, 혼합 전문가와는 다른 새로운 희소성 축을 시험했다.
• 훈련 과정에서 되돌릴 수 없는 손실 급증이나 롤백이 한 번도 없었다고 밝혔는데, 이 규모에서는 이례적인 안정성이다.

쉽게 이해하기

롱캣 2.0은 파라미터 1.6조, 활성 파라미터 480억, 최대 100만 토큰 컨텍스트를 갖춘 오픈웨이트 모델이다. 규모로는 딥시크 V4 프로와 같은 급이고, 키미 K3에 이어 두 번째로 큰 공개 가중치 모델에 해당한다. 공개 시점 기준 성능은 미니맥스 M3와 대등하고 GLM 5.2, 큐원 3.7 맥스를 바짝 뒤쫓는 수준이었다.

가장 눈에 띄는 대목은 모델 성능이 아니라 그 밑의 하드웨어다. 롱캣은 자체 블로그에서 자사 ASIC 슈퍼팟의 소프트웨어 생태계가 엔비디아 GPU 생태계에 비해 아직 미성숙하다고 직접 비교했는데, 이는 곧 이 훈련이 엔비디아 밖에서 이뤄졌다는 뜻이기도 하다. AI 전용 가속기 위에 훈련과 서빙 스택을 바닥부터 새로 깔고, 그 위에서 프런티어급 모델을 안정적으로 돌려냈다는 점이 이번 공개의 실질적인 무게중심이다.

희소 어텐션은 100만 토큰 컨텍스트를 감당하기 위한 필수 기술이지만, 어디를 볼지 고르는 '인덱서'가 새로운 비용으로 돌아온다는 함정이 있다. 롱캣은 세 가지로 이 문제를 공략했다. 메모리를 여기저기 건너뛰지 않고 연속된 덩어리로 읽도록 토큰 선택을 재배치한 스트리밍 인식 인덱싱, 한 레이어가 찾은 인덱스를 다음 레이어가 재사용하는 레이어 간 공유, 그리고 큰 블록을 먼저 훑고 그 안에서 정확한 토큰을 찾는 계층적 인덱싱이다.

레이어 간 인덱스 공유는 GLM 5.2가 이미 쓰던 아이디어지만 적용 강도가 다르다. GLM 5.2는 인덱스 하나를 네 개 레이어가 나눠 쓰는 반면 롱캣은 두 개 레이어만 공유해 보수적으로 갔고, 대신 교차 레이어 증류를 훈련에 넣어 하나의 인덱서가 자기 레이어뿐 아니라 자기를 빌려 쓸 레이어의 필요까지 함께 학습하도록 했다. 같은 인덱싱 경로를 다중 토큰 예측 모듈까지 공유시켜, 투기적 디코딩의 초안 단계가 매번 인덱서 비용을 다시 물지 않게 만든 것도 같은 맥락이다.

또 하나의 승부수는 n그램 임베딩이다. 토큰 하나마다 벡터를 배정하는 기존 방식 위에, 최대 다섯 개 토큰으로 이뤄진 짧은 패턴에도 학습된 표현을 붙여 임베딩 공간을 약 100배로 넓혔다. 롱캣은 자사 혼합 전문가 구조가 이미 97% 수준으로 희소해 전문가를 더 늘려도 얻는 게 적기 때문에, 같은 파라미터 예산을 여기에 쓰는 편이 훨씬 이득이었다고 설명한다. 벤치마크에서는 터미널 벤치 2.1에서 17.8%로 오픈웨이트 2위, SWE-bench Pro에서 59.5%를 기록해 코딩과 에이전트 작업에 맞춰진 모델임을 드러냈다.

주요 인사이트

• 경쟁의 축이 '얼마나 똑똑한가'에서 '같은 성능을 어떤 하드웨어 위에서 얼마나 싸게 내는가'로 옮겨가고 있다.
• 희소 어텐션의 진짜 비용은 계산량이 아니라 무엇을 볼지 고르는 과정에 있고, 그래서 알고리즘 설계가 메모리 접근 패턴까지 함께 고려해야 하는 단계에 들어섰다.
• 파라미터를 계산에 쓰지 않고 기억 장치처럼 쓰는 흐름이 확산되고 있으며, 롱캣의 n그램 임베딩은 이를 트랜스포머 블록이 아닌 임베딩 쪽에 가볍게 붙인 절충안이다.
• 엔비디아 물량이 부족한 후발주자가 최적화로 승부를 보는 딥시크식 패턴이 반복되고 있고, 그 결과 시스템 설계 수준의 논문이 앞으로 더 늘어날 가능성이 크다.

자주 묻는 질문

관련 AI 소식