마이크로소프트 MAI 논문 정리 - 30조 토큰 데이터 엔지니어링과 RL 안정화 비법

핵심 메시지

• MAI Thinking One의 109쪽 기술보고서는 성능 자랑 대신 데이터 엔지니어링 과정을 이례적으로 상세히 공개했다.
• 30조 토큰 사전학습 데이터를 외부 공개 데이터셋 없이 처음부터 끝까지 사내에서 정제했다.
• 벤치마크 오염을 피하려 허깅페이스 등 공개 저장소를 쓰지 않고, AI 생성 텍스트 탐지 모델까지 만들어 걸러냈다.
• 성공한 강화학습 궤적을 재사용 데이터로 저장해, 불안정한 RL 학습을 체크포인트하며 회복하는 전략을 썼다.
• 효율은 연산량뿐 아니라 실제 벽시계 시간으로도 측정해, 이론상 빨라 보이는 설계의 함정을 드러냈다.

쉽게 이해하기

영상은 마이크로소프트가 6월 초 공개한 MAI(마이 씽킹 원) 모델 시리즈를 다룬다. 화제는 모델 성능이 아니라, 이들이 '언덕 오르기 기계를 만든다'고 표현한 109쪽짜리 기술보고서다. 가중치를 공개하지 않는 모델임에도, 보통은 감추는 데이터 준비 과정을 놀라운 수준으로 상세히 공유했다는 점이 핵심이다.

데이터 엔지니어링이 보고서의 중심이다. 30조 토큰 규모의 사전학습 데이터는 웹 HTML, PDF, 공개 깃허브 코드, 도서, 논문, 뉴스, 다국어 텍스트에서 왔지만, 모든 출처를 자체 파이프라인으로 처리했다. 웹 데이터는 자체 크롤러와 Common Crawl에서 시작해 HTML 추출, 콘텐츠 필터, 정확·퍼지·교차출처 중복 제거, 임베딩 생성을 거친다.

오염 방지도 강조된다. 벤치마크 오염을 피하려고 허깅페이스 같은 공개 학습 데이터셋과 저장소를 웹 데이터에 쓰지 않았고, 웹 코퍼스에서 AI가 만든 저품질 텍스트를 걸러내기 위한 전용 탐지 모델까지 구축했다. 손상된 HTML, 깨진 수식, 숨은 표 등을 다루는 정제 과정도 함께 소개된다.

강화학습 파트도 흥미롭다. 연구진은 각 RL 실행을 깨지기 쉬운 일방향 등반으로 두는 대신, 성공한 궤적을 재사용 가능한 학습 데이터로 저장했다. 이를 지도학습 미세조정으로 활용해 불안정한 RL 등반을 체크포인트하고 안정된 모델에서 재시작한다. 추론 능력은 초반 약 1천 스텝에서 대부분 빠르게 향상됐다.

효율성이 논문 전반의 주제다. 이들은 효율성 이득(EG)이라는 지표를 쓰는데, EG가 1.3이면 기준 모델이 같은 성능을 내는 데 30% 더 많은 연산이 필요하다는 뜻이다. 특히 연산량(FLOPs)뿐 아니라 벽시계 시간으로도 측정해, 이론상 효율적으로 보여도 통신·메모리·라우팅 오버헤드 탓에 실제로는 느려지는 설계를 가려낸다.

주요 인사이트

• 대규모 모델의 실력은 화려한 구조보다 데이터 정제 파이프라인의 질에서 크게 갈린다.
• 공개 데이터셋을 배제하고 사내에서 전 과정을 처리하는 것은 벤치마크 오염을 막기 위한 선택이다.
• AI 생성 텍스트가 웹에 늘면서, 이를 걸러내는 전용 탐지 모델이 데이터 정제의 필수 요소가 됐다.
• 성공한 RL 궤적을 재사용 데이터로 저장하면 불안정한 강화학습을 체크포인트하며 회복할 수 있다.
• 효율성을 FLOPs만이 아니라 벽시계 시간으로 재야, 이론과 실제 하드웨어 성능의 괴리를 잡아낼 수 있다.

자주 묻는 질문

관련 AI 소식