미국 오픈 웨이트 모델 스타트업의 400B MoE '트리니티 라지' 개발기

핵심 메시지

• 한 미국 스타트업(자막상 'RC')이 4.5B 밀집 모델을 낸 지 6개월 만에 총 400B·활성 13B의 희소 MoE 모델 '트리니티 라지'(프리뷰)를 아파치 2.0으로 공개했다.
• 메타·미스트랄이 오픈 공개에서 발을 빼면서 상위 오픈 모델의 90% 이상이 중국에서 나오자, 미국 기업 고객을 위해 직접 사전학습까지 내려가 스택 전체를 소유하기로 했다.
• 6개월 뒤에 착지할 모델을 지금 설계해야 하는 압박 속에서, 이들은 무온(Muon) 옵티마이저 같은 과감한 베팅을 하되 MTP·FP8은 위험을 줄이려 뺐다.
• 매출을 대부분 접고 자본의 65~70%를 모델 학습에 투입하는 '올인'을 택했고, 팀은 13명 규모로 작게 유지했다.
• 이들은 연말이면 세계 최고 모델이 어떤 형태로든 오픈일 수 있다고 보며, 미국 내 오픈 생태계를 키우는 일이 중요하다고 강조한다.

쉽게 이해하기

네이선 램버트의 인터커넥츠 팟캐스트에 미국에서 오픈 모델을 만드는 스타트업 팀(루카스·마크·베룬)이 출연했다. 이들은 2025년 7월 첫 4.5B 밀집 모델을 낸 뒤 6개월간 오직 대형 모델 하나만 바라보며 달려왔고, 이번에 총 400B·활성 13B, 전문가 256개의 희소 MoE 모델 '트리니티 라지'를 공개했다. 추가 RL이 한 달 더 남아 '프리뷰'로 부르지만, AIME 2025 80점대 중반, GPQA 다이아몬드 75, MMLU 프로 82 수준이라고 밝혔다.

여섯 달 뒤에 경쟁력을 갖춰야 하는 모델을 지금 설계하는 것은 어렵다. 이들은 GLM 4.5 베이스를 목표선으로 삼고, 나노(1B 활성 6B, 약 30일)와 미니(3B 활성 26B, 약 45일)를 먼저 학습해 대형 모델의 위험을 줄였다. 대형 모델은 2,048장의 B300에서 학습했는데, 소프트웨어가 B300을 제대로 지원하지 않아 데이터센터가 며칠씩 오프라인으로 버그를 고치는 등 '최첨단의 불안'을 감수해야 했다.

과감한 베팅도 많았다. 아톰(Adam) 대신 무온 옵티마이저를 택한 것이 대표적인데, 키미가 무온으로 좋은 모델을 낸 사례가 확신을 줬다. 대신 한 번에 새로운 것을 너무 많이 넣지 않으려 멀티토큰 예측과 FP8은 뺐다. 약 1조 토큰 지점에서 전문가가 붕괴하는 불안정이 나타나자 딥시크의 보조손실 없는(aux-loss-free) 균형 기법에 시퀀스 손실을 더해 잡았다.

사업 이야기도 솔직했다. 이 회사는 2023년 라마·미스트랄 기반의 모델 맞춤화(포스트 트레이닝) 사업으로 시작했지만, 미국 기업들이 중국산 아키텍처 사용을 꺼리고 메타·미스트랄이 오픈 공개에서 물러나면서 상위 오픈 모델 대부분이 중국산이 되는 상황을 목격했다. 그래서 스택 아래로 내려가 직접 사전학습을 하기로 하고, 매출을 대부분 접은 채 자본의 65~70%를 쏟아붓는 '올인'을 감행했다.

라이선스는 매출 연동형에서 결국 아파치 2.0으로 돌아섰다. 오픈소스가 최고의 마케팅이며 '만들면 사람들이 온다'는 것이 이들의 믿음이다. 앞으로는 검색·코드가 결합된 도구 사용 RL, 딥시크·GLM·Quen 수준의 포스트 트레이닝 도달, 대형 모델의 능력을 미니·나노로 증류하는 일을 다음 과제로 꼽았다.

주요 인사이트

• 오픈 모델 사업의 근본 동력은 '주권'과 규제다. 프라이버시·보안·컴플라이언스 때문에 중국산 모델을 쓸 수 없는 미국 기업에게는 미국산 오픈 모델이 확실한 선택지가 된다.
• MoE는 RL을 더 어렵게 만들 수 있다. 학습기와 추론 엔진이 같은 토큰에도 서로 다른 전문가를 고르는 KL 불일치가 생기기 때문이며, 이 팀은 RL에 GPU를 절반(1,000장)만 썼다.
• 포스트 트레이닝 철학의 전환: RL이 핵심이 된 지금은 SFT를 단순·견고하게 가져가 디버깅을 쉽게 하고, 정교함은 RL 쪽에 집중하는 편이 낫다고 봤다. 대형 모델 SFT 데이터만 230B 토큰이다.
• 모델 병합(머지)이 실전 도구로 쓰인다. 학습 중 이상이나 좋은 신호가 보이면 유망한 체크포인트들을 병합해 성능을 끌어올리는데, 인터리브 사고 형식 차이 때문에 포스트 트레이닝 병합은 더 까다로워졌다.
• 작게 유지하는 전략: 13명의 똑똑하고 의견 강한 사람들이 한 방에서 선의로 토론하는 방식과 '500M 달러가 없다'는 제약이 오히려 창의성과 속도를 만든다고 봤다.

자주 묻는 질문

관련 AI 소식