마이크로소프트 MAI-Thinking-1 보고서 분석: 증류 없이 학습한 추론 모델의 대가

핵심 메시지

• 지금 대부분의 연구소는 다른 모델이 만들어 낸 출력을 학습에 쓰는데, 이 보고서는 사전학습 단계에서 그 방식을 쓰지 않았다고 명시한다.
• AI가 만든 글로 의심되는 자료를 수집 단계에서 걸러 내고, 공개된 기성 데이터셋조차 내용을 신뢰할 수 없다는 이유로 배제했다는 점이 특히 이례적이다.
• 데이터 배합은 감으로 정하지 않고 61가지 조합으로 183개 모델을 처음부터 학습시켜 골랐으며, 작은 모델에서 좋아 보이던 조합이 커지면 뒤집힌다는 결과를 얻었다.
• 지름길을 포기한 대가는 학습 불안정으로 돌아왔고, 이를 버티기 위한 추가 장치와 재계산 비용이 보고서에 그대로 적혀 있다.
• 결과적으로 최고 성적은 아니지만, 무엇을 하지 않았는지를 이 정도로 구체적으로 밝힌 보고서 자체가 드물다는 점이 이 발표의 핵심이다.

쉽게 이해하기

강력한 모델이 하나 있으면 그 모델로 학습용 예시를 수백만 개 찍어 내는 일은 싸고 빠르다. 그래서 여러 연구소가 다른 모델의 출력을 학습에 활용해 왔고, 서로 베꼈다는 논란도 끊이지 않았다. 영상은 마이크로소프트가 공개한 추론 모델 보고서가 바로 이 지점에서 정반대 선택을 했다고 짚는다.

보고서가 내건 선은 네 가지다. 사전학습에 언어 모델이 만든 합성 데이터를 쓰지 않았고, 수집한 자료에서 AI가 생성한 것으로 보이는 내용을 걸러 냈으며, 외부 모델로부터의 증류를 하지 않았고, 이미 공개된 기성 데이터셋도 쓰지 않았다는 것이다. 사용자가 동의하지 않은 고객 데이터도 제외했다. 세상에서 가장 큰 공개 모델 저장소조차 안에 무엇이 섞여 있는지 믿을 수 없다는 이유로 수집 대상에서 뺐다는 대목이 눈에 띈다.

다만 주장의 범위는 좁게 읽어야 한다고 영상은 강조한다. 합성 데이터를 전혀 안 썼다는 뜻이 아니라, 사전학습 단계에 한정된 이야기다. 이후 강화학습 과정에서는 자기 체크포인트로부터의 자기 증류와 인공적으로 만든 환경을 활용한다. 즉 기초 능력만은 남의 모델이 아니라 사람이 만든 데이터와 자체 학습 체계에서 나왔다는 것이 실제 주장이다.

데이터를 다루는 방식도 세밀하다. 위키백과는 정리된 형태 대신 원본 마크업을 그대로 학습에 썼는데, 정리 과정에서 인구나 연도 같은 값이 담긴 구조화된 표가 사라지기 때문이다. 토큰 비용을 세 배 더 내고 그 정보를 지킨 셈이다. 배합 비율은 코드가 절반을 넘고 과학·기술 자료가 많으며 수학은 의외로 적지만, 그 적은 수학 토큰만은 다섯 번 반복해 학습했다.

지름길을 포기한 비용은 세 곳에서 드러난다. 베껴 올 사고 과정이 없으니 초반 학습이 훨씬 불안정해 안정화 장치를 더 붙여야 했고, 중간 학습 배합을 과학·기술과 코드 쪽으로 크게 기울여야 했으며, 사전학습 손실 곡선 초반에 눈에 띄는 튐이 남았다. 대규모 가속기를 돌리는 중 재계산에만 여섯 시간 반이 들었다는 기록도 함께 실렸다.

성적표는 정직하다. 보고서 스스로 이 분야를 선도하는 수준은 아니라고 적었고, 실제로 수학 경시 문제 평가에서는 앞섰지만 코드 수정 능력을 보는 평가에서는 경쟁 모델에 뒤졌다. 터미널 환경 평가에서 크게 벌어진 것에 대해서는 애초에 그런 환경으로 학습한 적이 없다는 설명이 붙는다. 사람이 직접 비교한 평가에서는 간결함과 문체에서 앞서고 사실성과 지시 이행에서는 비긴 것으로 나온다.

주요 인사이트

• '합성 데이터를 안 썼다'는 말은 어디까지를 가리키는지에 따라 뜻이 완전히 달라진다. 이 보고서가 의미 있는 이유는 그 범위를 사전학습으로 못 박고 이후 단계에서 무엇을 했는지도 함께 적었기 때문이다.
• 작은 모델로 돌린 데이터 실험 결과가 규모를 키우면 뒤집힌다는 발견은 실무자에게 특히 쓸모가 있다. 장난감 규모에서만 통하는 실험은 모델이 아니라 실험 자체를 조율하고 있을 가능성이 있다.
• 공개된 기성 데이터셋을 통째로 배제한 결정은, 오늘날 인터넷에 떠도는 자료의 출처를 더 이상 신뢰하기 어렵다는 현실을 역으로 보여 준다.
• 모델을 고를 때 그 모델이 무엇으로부터 파생됐는지 묻는 습관이 필요하다. 상위 모델의 편향과 거절 방식, 출력 형식 같은 습관이 함께 따라오기 때문이다.
• 모델이 만든 결과물로 다시 모델을 학습시키는 순환이 품질을 서서히 떨어뜨린다는 우려가 있는 만큼, 기초 단계만이라도 그 순환에서 벗어난 모델이 있다는 사실 자체가 기업 입장에서 의미를 가질 수 있다.

자주 묻는 질문

관련 AI 소식