포스트트레이닝 데이터 큐레이션, 오픈소스 추론 데이터셋 OpenThoughts가 남긴 교훈

핵심 메시지

• 포스트트레이닝에서 컴퓨트·모델·학습 인프라는 어느 정도 정리됐지만, 기업과 프런티어 랩 모두 여전히 고품질 데이터와 강화학습 환경을 구하지 못해 막힌다.
• 강화학습 환경도 결국 모양만 다른 데이터이며, 데이터를 만드는 사람이 연구자의 입장에 서 봐야 실제로 모델 지표를 움직이는 데이터가 나온다.
• OpenThoughts 큐레이션에서 얻은 교훈은 반직관적이다. 질문 하나에 답을 여러 번 샘플링하는 편이 낫고, 더 강한 모델이 항상 더 좋은 교사는 아니었다.
• 에이전트용 데이터에서도 SFT가 성능 향상의 큰 몫을 차지했고, 컴퓨트를 많이 먹는 강화학습은 마지막 몇 퍼센트를 끌어올리는 역할에 가까웠다.
• 금융 앱 사례에서는 데이터 불균형이 파인튜닝 후 수치 환각으로 이어졌고, 태그를 붙여 형식에 집중시키는 큐레이션으로 규정 준수·지연·처리량을 함께 개선했다.

쉽게 이해하기

AI 엔지니어 컨퍼런스 무대에 오른 베스포크랩스(Bespoke Labs) 공동창업자 겸 CEO 마헤시 사티아무르티는 구글 딥마인드에서 연구자이자 엔지니어로 일했던 경력을 소개하며 발표를 시작했다. 그의 회사는 기업과 프런티어 랩이 포스트트레이닝에 쓸 고품질 데이터와 강화학습 환경을 확보하도록 돕는 응용 데이터 연구소를 표방한다. 발표 대부분은 이 팀이 오픈소스로 공개한 작업에 할애됐다.

그는 AI를 평가하는 축이 '무엇을 아는가'에서 '무엇을 해내는가'로 옮겨 갔다고 정리했다. 예전에는 STEM과 인문학 지식을 묻는 벤치마크가 인기였다면, 지금은 에이전트가 실제로 작업을 수행하는지 보는 벤치마크가 중심이다. 그리고 사람들이 진짜로 궁금해하는 것은 에이전트가 몇 시간, 며칠 동안 자율적으로 버틸 수 있느냐인데, 그 자율성을 가로막는 것은 결국 신뢰성이라는 진단이다. 어느 시점에서 잘못된 도구를 호출하거나 실수를 하면서 무너진다는 것이다.

신뢰성을 끌어올리는 방법에는 프롬프트를 다듬거나 하네스와 도구를 손보는 길도 있지만, 그는 포스트트레이닝이 특히 강력한 수단이라고 봤다. 문제는 그다음이다. 컴퓨트는 정의가 명확하고 쓸 만한 베이스 모델도 있으며 학습 인프라를 제공하는 업체들도 늘었지만, 정작 기업들이 막히는 지점은 좋은 데이터와 강화학습 환경이 없다는 것이다. 그는 강화학습 환경 역시 '형태가 다른 데이터'라고 못박았다.

발표의 중심은 추론 데이터셋 OpenThoughts였다. 딥시크가 등장한 뒤 커뮤니티에 고품질 추론 데이터가 없다는 문제의식에서 사내 프로젝트로 출발해, 스탠퍼드·UC 버클리·워싱턴대 등과 컨소시엄을 이뤄 논문으로 정리한 결과물이다. 큐레이션 파이프라인은 여러 출처에서 질문을 모으고, 어떤 질문을 어떤 비율로 섞을지 고르고, 교사 모델로 답변을 생성한 뒤 다시 거르는 단계로 구성된다. 각 단계의 선택지는 어블레이션 실험으로 하나씩 확정했고, 데이터셋 규모를 키울수록 지표가 함께 오르는 확장 가능한 레시피임을 보였다.

여기서 나온 교훈들은 직관과 어긋난다. 질문 수를 늘려 한 번씩 답하게 하는 것보다, 질문 하나를 두고 답을 여러 번 샘플링하는 편이 잘 통했다. 파인튜닝에 추론 과정 자체를 쓰기 때문에 추론 방식의 다양성이 도움이 된다는 해석이다. 또한 더 강한 모델이 항상 더 좋은 교사는 아니었고, 합성 질문 생성은 효과가 있었지만 답변 필터링 같은 단계는 기대만큼 작동하지 않았다.

이어진 OpenThoughts Agents는 같은 방법론을 모델이 아니라 에이전트 학습용 데이터와 강화학습 환경으로 확장한 작업이다. 여기서도 더 강한 모델이 최고의 교사는 아니었고, 합성 재작성이나 과제 증강은 기대만큼 성과를 내지 못했다. 특히 눈에 띄는 것은 SFT가 성능 향상의 큰 몫을 담당했다는 점이다. 강화학습은 컴퓨트를 많이 소모하면서 마지막 몇 퍼센트를 끌어올렸고, 기업 환경에서는 SFT만으로도 충분히 통하는 경우가 많다는 것이 그의 관찰이다.

실제 제품 사례로는 신용카드 추천 이유를 설명해 주는 금융 앱 기능이 소개됐다. 프롬프트만으로도 구현할 수 있지만, 규정을 지키게 하려면 규칙 목록이 길어지고 그만큼 지연이 폭증한다. 데이터를 큐레이션해 포스트트레이닝하는 것이 답인데, 여기서도 함정이 있었다. 데이터가 한쪽으로 쏠려 있어 파인튜닝한 모델이 숫자를 지어내는 문제가 생긴 것이다. 팀은 평범한 문답 쌍 대신 태그를 넣어 모델이 구체적인 숫자보다 형식에 집중하게 만들었고, 그 결과 규정 준수 지표와 지연·처리량이 모두 개선됐으며 기업이 자기 모델을 직접 소유할 수 있게 됐다.

마지막으로 그는 이 모든 작업이 수렴하는 스택을 그렸다. 위쪽에는 SFT와 강화학습, 그리고 LLM이 스스로 회고하며 프롬프트와 하네스를 다듬는 프롬프트 최적화 계층이 있고, 가운데에는 강화학습 환경을 만들고 품질을 재고 버전을 추적하는 계층이 있으며, 아래에는 롤아웃을 돌릴 샌드박스와 오케스트레이션이 놓인다. 긴 호흡의 롤아웃에서는 중간에 체크포인트를 남기고 스냅샷으로 되돌리는 기능이 필요하다는 점도 함께 짚었다.

주요 인사이트

• 포스트트레이닝 논의는 알고리즘 중심으로 흐르기 쉽지만, 실제로 병목이 생기는 자리는 데이터와 환경이다. 데이터를 만드는 쪽과 쓰는 쪽이 분리돼 있으면 그 간극이 그대로 성능 손실이 된다.
• '강화학습 환경은 형태가 다른 데이터'라는 관점은 환경 구축을 인프라 문제가 아니라 데이터 큐레이션 문제로 다시 정의한다. 품질 측정과 버전 관리가 필요한 이유도 여기서 나온다.
• 교사 모델을 고를 때 벤치마크 점수만 보고 가장 강한 모델을 쓰는 관행은 재검토할 필요가 있다. 두 차례 작업 모두에서 더 강한 모델이 더 좋은 교사가 아니었다.
• 기업 입장에서 포스트트레이닝의 매력은 성능만이 아니다. 긴 규칙 프롬프트를 모델 안으로 흡수시키면 지연과 비용이 줄고, 프런티어 모델 가격 인상과 무관하게 자기 모델을 유지할 수 있다.
• 파인튜닝 데이터가 특정 값에 쏠려 있으면 모델이 그 값을 외워 엉뚱한 상황에서 되뱉는다. 데이터 균형을 맞추기 어렵다면 태그처럼 형식을 가리키는 신호를 넣어 우회하는 방법이 있다.

자주 묻는 질문

관련 AI 소식