Olmo 3 추론 모델 제작기: 사전학습·SFT·DPO·RLVR 강화학습과 평가 전략

핵심 메시지

• 또 하나의 추론 모델이 필요한 이유는 오염되지 않은 깨끗한 베이스 모델이 있어야 강화학습 연구를 신뢰할 수 있기 때문이다. 무작위 보상으로도 점수가 오르는 현상은 베이스 모델과 평가에 문제가 있음을 시사한다.
• 후처리(post-training) 연구자도 아키텍처를 무시하면 안 된다. GQA(그룹 쿼리 어텐션)가 없던 7B 모델은 강화학습 추론에 훨씬 많은 GPU와 비용을 요구했다.
• Olmo 3의 후처리는 소형 모델을 위한 증류 레시피로, SFT → DPO → 강화학습(RLVR) 3단계로 구성된다.
• 저평가된 DPO는 적은 노력으로 큰 성능을 주는 '낮게 달린 열매'였다. 강한 모델을 채택(chosen), 약한 모델을 기각(rejected)으로 두어 대비를 키우는 델타 학습이 핵심이었다.
• 강화학습은 가장 어려운 인프라 문제이며, 유휴 시간을 줄이는 생성 중 가중치 갱신과 활성 샘플링으로 4배 이상 속도를 끌어올렸다.

쉽게 이해하기

이 강연은 Olmo 3 '사고(thinking)' 모델을 만든 이야기와 후처리 평가 방법론을 하나로 합친 것이다. 발표자는 먼저 왜 또 다른 추론 모델이 필요한지를 설명한다. 최신 강화학습·추론 연구가 공개 영역에서 지저분하게 얽혀 있고, 일부 모델은 무작위 보상으로 훈련해도 성능이 오르는 등 베이스 모델과 평가 방식에 문제가 있다는 것이다. 그래서 오염 없는 깨끗한 베이스가 있어야 연구를 신뢰할 수 있다고 본다.

모델은 아키텍처에서 시작한다. 초기 Olmo 7B는 GQA가 없어 강화학습 단계의 추론에 훨씬 많은 GPU와 비용이 들었고, GQA를 갖춘 32B는 파라미터가 네 배 이상 많아도 필요한 GPU가 크게 다르지 않았다. 사전학습 데이터는 수학·코드 등 추론 중심으로 재조정했고, 3천만 파라미터 소형 모델을 여러 하위 데이터에 훈련해 회귀로 최적 배합을 찾는 방법을 썼다. 또 4K에 머물던 문맥 길이를 늘려 긴 추론이 가능하게 했다.

후처리 레시피는 강한 교사 모델에서 증류하는 소형 모델용 방식으로, Tulu 3처럼 SFT·DPO·강화학습 3단계를 밟는다. SFT에서는 고품질 데이터를 쓰되 Open Thoughts 3를 16K에서 32K 길이로 늘려 성능을 끌어올렸고, 비상업 데이터·형식 오류·정체성 오인·반복 붕괴 같은 문제를 걸러내는 필터링에 공을 들였다.

DPO는 흔히 낮게 평가되지만 하루면 끝나고 약 2점의 성능을 주는 효율적 단계였다. 채택·기각 응답의 '품질'보다 둘 사이의 '대비'가 학습 신호를 좌우한다는 델타 학습 가설에 따라, 32B를 채택, 0.6B를 기각으로 삼아 일관된 격차를 만들었다. 반면 강화학습(RLVR)은 가장 흥미롭지만 가장 어려운 인프라 문제로, 여러 엔지니어가 여름 내내 매달렸다.

강화학습 인프라의 핵심은 유휴 시간을 줄이는 것이다. 생성 GPU와 학습 GPU가 번갈아 놀지 않도록 약간 오프폴리시로 연속 생성하고, 긴 응답이 병목이 되지 않게 생성 도중 가중치를 갱신하는 '인플라이트 업데이트'로 4배가량 빨라졌다. 마지막으로 발표자는 평가에 집착하는 문화의 중요성을 강조하며, 추론 모델 평가가 분산이 크고 계산 비용이 막대하며 단순 평균 비교가 오해를 부른다고 지적한다.

주요 인사이트

• '스퓨리어스 리워드' 연구처럼 무작위 보상으로도 성능이 오르는 현상은, 베이스 모델이 평가셋과 지나치게 가깝게 학습돼 강화학습이 그 행동을 끌어낼 뿐 근본적 향상이 아닐 수 있음을 시사한다.
• Olmo는 단계별 중간 체크포인트를 공개하는 '모델 플로'라, 사용자가 원하는 지점에서 갈라져 자신의 용도에 맞게 레시피를 수정할 수 있다.
• 반복 붕괴처럼 만분의 일 수준으로 드문 문제라도, 모델이 같은 문단을 수십 번 되풀이하다 회복하는 불안정성은 제거할 가치가 있는 '낮게 달린 열매'였다.
• 강화학습 손실이 튀지 않고 평평해지도록, 신호가 없는(어드밴티지 0) 샘플을 걸러 배치를 항상 가득 채우는 '활성 샘플링'을 도입했다.
• 평가는 전체 컴퓨트의 약 20%를 차지할 만큼 비싸고, 추론 모델은 분산이 커 반값 차이는 사실상 동전 던지기에 가깝다. 그래서 오해를 부르는 단순 평균 대신 개별 평가를 그대로 제시한다.

자주 묻는 질문

관련 AI 소식