싱킹 머신스 잉클링 공개: 9700억 파라미터 오픈 웨이트 전문가 혼합 모델의 전략

핵심 메시지

• 오픈AI 최고기술책임자였던 미라 무라티가 세운 싱킹 머신스가 처음부터 학습시킨 오픈 웨이트 모델 '잉클링'을 공개했다.
• 총 9,700억 개 파라미터의 전문가 혼합 구조지만 토큰마다 410억 개만 작동해, 거대 모델의 성능을 훨씬 적은 연산으로 낸다.
• 벤치마크 1위를 노리지 않았다. 대신 '사고 강도'를 조절해 같은 성능을 더 적은 토큰으로 내는 효율에 집중했다.
• 모르는 것을 모른다고 인정하도록 훈련한 결과, 미래 사건 예측 같은 과제에서 상위 모델을 앞섰다.
• 무료로 평범한 모델을 풀고 미세조정 서비스로 수익을 내는 구조가 이 회사의 진짜 전략이다.

쉽게 이해하기

2년 전 오픈AI의 최고기술책임자였던 미라 무라티는 뚜렷한 계획 없이 회사를 떠났다. 보통 사람이라면 무모한 선택이었겠지만, 그가 세운 싱킹 머신스에는 곧 대형 벤처캐피털의 20억 달러 투자가 들어왔다. 회사는 120억 달러 가치를 인정받으면서도 이렇다 할 제품을 내놓지 않은 곳으로 알려져 있었는데, 이번에 처음부터 학습시킨 오픈 웨이트 모델 '잉클링'을 공개하며 그 평가가 바뀔 계기를 만들었다. 무라티는 퇴사하면서 공동 창업자 존 슐먼과 연구 책임자 배럿 조프를 비롯한 다수의 시니어 연구자를 함께 데려갔고, 이 팀은 1년 뒤 자체 인프라 없이 오픈 웨이트 모델을 미세조정할 수 있는 API '팅커'를 먼저 내놨다. 반응은 나쁘지 않았지만 투자 규모에 비하면 조용한 편이었고, 이번 잉클링이 사실상 첫 정면 승부에 해당한다.

잉클링은 전문가 혼합 구조를 쓴다. 총 9,700억 개의 파라미터를 갖고 있지만 모든 파라미터가 한꺼번에 동작하지 않고, 토큰마다 특화된 소수의 전문가에게만 전달돼 실제로는 410억 개만 활성화된다. 텍스트와 이미지, 오디오를 합쳐 45조 토큰으로 사전학습했고 100만 토큰 맥락 창을 지원하며, 가중치는 아파치 라이선스로 허깅페이스에 공개됐다. 다만 성능 순위는 화려하지 않아 최상위 상용 모델들에 밀리고 공개된 중국 모델들 사이에서 중간 정도에 위치하며, 공개 하루 뒤에는 문샷이 2조 8천억 파라미터 규모의 킴 K3를 발표해 주목도까지 가져갔다.

그런데 발표자는 이 '평범함'이 의도된 결과라고 본다. 잉클링에는 '사고 강도'라는 조절 장치가 있어 낮추면 값싸고 즉각적인 답이, 높이면 더 깊은 추론이 나온다. 이 방식으로 터미널 벤치에서 엔비디아 네모트론 3 울트라와 같은 수준을 3분의 1 토큰으로 달성했는데, 에이전트를 하루에 수백만 번 돌리는 상황이라면 이 차이가 곧 비용이다. 시연에서는 잉클링을 팅커에 연결해 '알파벳 e를 쓰지 못하게 스스로를 바꾸라'고 시켰고, 모델은 직접 학습 스크립트를 짜고 데이터를 만들어 학습을 돌린 뒤 새 가중치를 스스로 불러왔다.

또 하나의 축은 인식론 훈련이다. 자신 있게 추측하는 대신 모르는 것을 모른다고 인정하도록 보상을 준 결과, 미래 사건을 예측하는 과제에서 상위 모델들을 앞섰다고 한다. 이미지와 오디오도 별도의 인코더를 거치지 않고 원본 픽셀과 소리를 직접 처리한다. 다만 강화학습이 오래 이어지면서 모델의 내부 사고 과정이 토큰을 아끼려 단어를 생략한 압축된 문장으로 변하는 부작용도 관찰됐다.

결론적으로 발표자는 이 회사가 최전선 연구소들을 왕좌에서 끌어내리려는 것이 아니라고 정리한다. 평범한 모델을 무료로 풀어놓고, 그것을 특정 문제에 특화된 전문가로 바꾸는 미세조정 서비스에서 값을 받겠다는 구도다. 성능 순위표가 아니라 사용처에 맞춘 조정 가능성에 승부를 건 셈이다.

주요 인사이트

• 전문가 혼합 구조에서 총 파라미터와 활성 파라미터를 구분해 보면, 모델 크기 숫자만으로 연산 비용을 가늠하는 습관이 왜 오해를 낳는지 알 수 있다.
• '사고 강도'라는 조절 장치는 성능과 비용을 사용자가 직접 저울질하게 만든다. 에이전트를 대규모로 돌릴수록 절대 성능보다 토큰당 효율이 중요해진다는 신호다.
• 모르는 것을 인정하도록 보상하는 훈련이 예측 과제 성적으로 이어졌다는 점은, 환각 문제를 사후 필터가 아니라 학습 목표 설계로 다룰 여지가 있음을 보여준다.
• 모델을 팅커에 연결해 스스로 학습 스크립트를 짜고 자기 가중치를 갱신하게 한 시연은, 미세조정이 전문가의 영역에서 모델 자신이 수행하는 절차로 넘어갈 수 있음을 시사한다.
• 강화학습을 오래 돌린 끝에 내부 사고가 축약된 문장으로 변질됐다는 관찰은, 최적화 목표가 의도치 않은 방향으로 모델을 밀어붙일 수 있음을 보여주는 사례다.

자주 묻는 질문

관련 AI 소식