오픈소스 포스트트레이닝 스택 총정리 — 프라임 인텔렉트의 Verifiers·Prime-RL 강연 해설

핵심 메시지

• 포스트트레이닝(사전학습 이후의 추가 훈련)은 이제 대형 연구팀이 없어도 스타트업·기업의 AI 엔지니어가 시도할 수 있는 작업으로 바뀌고 있다.
• 프라임 인텔렉트는 '환경(environment)'을 평가와 훈련의 공통 언어로 삼아, 같은 구조로 평가·강화학습·SFT·증류를 모두 처리한다.
• Verifiers 라이브러리 V1은 태스크셋·하니스·런타임 세 조각으로 분리해 조합하도록 재설계됐다.
• Prime-RL은 처음부터 비동기(async) 강화학습을 전제로 만들어, 느린 롤아웃을 기다리지 않고 학습 속도를 유지한다.
• GLM-5 같은 프런티어급 모델도 28노드로 스텝당 5분 미만, 1,000스텝 약 3일·5만 달러 수준으로 훈련할 수 있음을 실측으로 제시했다.

쉽게 이해하기

발표자 윌 브라운은 프라임 인텔렉트에서 응용 연구를 이끌며 포스트트레이닝, 즉 이미 학습된 모델을 특정 용도에 맞게 더 좋게 만드는 단계를 담당한다. 이번 강연은 그들이 전부 오픈소스로 공개한 두 축, 환경을 만드는 Verifiers 라이브러리와 훈련 인프라인 Prime-RL을 중심으로 진행됐다.

회사의 목표는 '오픈 초지능 스택'이라는 표현대로, 좋은 오픈소스 모델을 그대로 쓰는 데 그치지 않고 각 기업이 자신의 실제 업무·제품 시나리오에 맞춰 모델을 직접 훈련·배포·개선하도록 돕는 것이다. 이를 위해 전 세계 데이터센터를 묶은 컴퓨트 마켓플레이스(1만 개 이상의 GPU 운영), 훈련 프레임워크, 환경 허브, 그리고 이 모두를 묶는 lab 플랫폼을 갖추고 있다.

강연의 핵심 개념은 '환경'이다. 환경은 모델이 무엇을 해야 하는지, 어떤 데이터와 상황에서 어떻게 상호작용하는지, 그리고 무엇이 잘한 것인지 채점하는 방법까지를 담는 그릇이다. 브라운은 평가(eval)가 포스트트레이닝으로 들어가는 문이며, 평가와 환경은 사실상 같은 단위라고 강조한다. 좋은 평가를 만들어 두면 그 자체로 제품 품질 관리에 유용하고, 동시에 강화학습을 돌릴 준비가 끝난다는 것이다.

Verifiers V1에서는 환경을 태스크셋(데이터와 규칙), 하니스(모델이 실제로 도는 방식), 런타임(코드가 실행되는 곳)으로 분해했다. 덕분에 기본 루프뿐 아니라 Codex·Claude Code 같은 실제 CLI 에이전트 하니스를 그대로 꽂아 평가할 수 있고, '인터셉션 서버'가 하니스에 가짜 엔드포인트를 주어 하니스는 자신이 강화학습 중인지 모른 채 평범하게 동작하게 만든다.

Prime-RL은 이 환경을 소비하는 훈련 프레임워크다. 오케스트레이터가 추론 서버와 트레이너를 분리된 프로세스로 두고 롤아웃을 배치로 묶어 넘긴다. 비동기 설계 덕에 30초짜리부터 3시간짜리까지 길이가 제각각인 코딩 에이전트 롤아웃을 겹쳐 실행할 수 있고, 어느 정도의 off-policy(평균 16 수준)를 감수하는 대신 GPU를 놀리지 않는다.

주요 인사이트

• '프런티어 모델이 계속 좋아질 텐데 왜 내 모델을 훈련하나'라는 질문에 대해, 발표자는 목표가 한 번의 훈련이 아니라 현실 피드백을 계속 반영해 모델이 꾸준히 좋아지는 플라이휠을 만드는 것이라고 답한다.
• 여러 능력을 한 모델에 담고 싶을 때는, 각 환경마다 RL 전문가 모델을 따로 훈련한 뒤 그 교사들로부터 하나의 체크포인트로 증류(distillation)하는 방식이 더 안정적이라고 소개한다.
• 그룹 보상(group reward)을 일급 기능으로 유지한 점이 특징이다. 여러 샘플의 분산을 활용해 '정답 중 가장 간결한 답'에 보너스를 주는 식으로, 모델이 사고 사슬을 무한정 늘리는 경향을 억제한다.
• 토크나이저의 미묘한 차이가 대규모 훈련 후반에 수치 문제를 일으키는데, 이를 다루기 위해 메시지와 토큰을 깔끔히 오가는 renderers 라이브러리를 별도 공개했다.
• 연구팀이 10명 미만, 회사 전체가 40명 미만이라는 작은 규모로도, Torch Titan 기반의 해킹 가능한 구조와 모듈화 덕에 새 모델·새 논문 아이디어를 빠르게 반영한다는 점이 눈에 띈다.

자주 묻는 질문

관련 AI 소식