합성 데이터와 대규모 사전학습: poolside 팀이 공개한 파이프라인과 학습 안정화 노하우

핵심 메시지

• poolside는 합성 데이터를 유기적(실제) 데이터를 대체하는 수단이 아니라, 원본에 암묵적으로 숨어 있는 추론·계획·구조를 끄집어내 보완하는 수단으로 본다.
• 모델 규모를 키우자 고품질 데이터의 반복 사용으로 조기 포화가 생겼고, 이를 문장 재작성(rephrasing) 같은 합성 데이터로 토큰의 다양성을 확보해 완화했다.
• 모든 합성 데이터 파이프라인은 시드·주입력·메타데이터·보조 입력·생성기·검증기라는 여섯 부품으로 모듈화할 수 있으며, 값싼 시드 중심 파이프라인부터 복잡한 오케스트레이션까지 같은 틀로 조합된다.
• 대규모 학습에서는 어떤 것도 신뢰하지 않는다는 원칙 아래, 여러 복제본의 가중치 해시를 주기적으로 비교해 조용한 오류를 잡아낸다.
• 고장난 GPU의 무음 데이터 손상, BF16 누적의 정밀도 부족, FP8 커널의 경쟁 조건 같은 문제는 규모가 커져야 드러나며 모델 학습을 조용히 망가뜨린다.

쉽게 이해하기

이 발표는 AI 코딩 모델을 만드는 poolside의 데이터·학습 팀이 오픈 웨이트 모델을 세대별로 키워 온 과정에서 얻은 교훈을 공유한다. 최근 이 팀은 기업용에 머물던 모델을 일반에도 공개했고, 허깅페이스에 오픈 웨이트 모델 두 개와 상세한 기술 보고서를 함께 내놓았다. 발표는 크게 합성 데이터 설계와 사전학습 인프라라는 두 축으로 나뉜다.

합성 데이터 파트의 핵심 질문은 왜 합성 데이터인가이다. 발표자는 합성 데이터가 실제 데이터를 대체하는 것이 아니라, 원본 안에 최적의 형태로 드러나지 않은 채 숨어 있는 암묵적 추론·계획·구조를 새로운 형태로 투영해 모델이 배우기 쉽게 만드는 도구라고 설명한다. 실제로 사전학습 단계 데이터 혼합에서 합성 데이터가 상당한 비중을 차지했고, 이후에도 계속 다양한 방향으로 생성되며 대규모 코퍼스로 커지고 있다.

모델 규모를 키우면서 마주친 대표적 문제는 토큰 유일성이었다. 품질을 지나치게 중시해 작은 규모로 출발했더니, 학습 예산을 키우자 고품질 데이터가 최적이 아닌 방식으로 반복되며 모델이 너무 일찍 포화됐다. 팀은 문장을 다시 쓰는 rephrasing으로 반복 토큰을 다양화해 이 문제를 완화했고, 수식·코드·스캔 문서 같은 영역에는 전용 파이프라인을 따로 만들어 시드를 더 밀어붙였다.

발표자는 어떤 합성 데이터 파이프라인이든 시드, 주 입력, 메타데이터, 보조 입력, 생성기(도구를 쓰는 에이전트나 프롬프트 템플릿), 그리고 필터·검증기 같은 보조 함수라는 여섯 부품으로 이루어진다고 정리한다. 값싸고 확장성 있는 시드 중심 파이프라인부터, 교육용 데이터처럼 공들일 가치가 있는 복잡한 오케스트레이션까지 같은 틀로 조합된다. 다만 작업이 모델에게 너무 어려우면 정확성과 다양성이 무너지므로, 어려운 작업은 여러 단계로 쪼개 단순하게 만드는 것이 원칙이다.

두 번째 발표자는 학습 코드베이스의 정확성도 데이터만큼 중요하다고 강조하며, 수천 개의 GPU에서 수천억 파라미터를 학습할 때 조용히 터지는 문제들을 소개한다. 여러 복제본의 가중치는 항상 같아야 한다는 불변식을 이용해 해시를 주기적으로 비교하고, 어긋나면 학습을 중단시킨다. 이를 통해 고장난 GPU가 일으킨 무음 데이터 손상, 활성값이 커지며 BF16 누적의 정밀도가 부족해 학습이 멈춘 사례(FP32 누적으로 해결), 그리고 FP8 커널의 경쟁 조건으로 그래디언트 일부가 무작위 값으로 조용히 오염된 사례를 잡아냈다고 설명한다.

주요 인사이트

• 합성 데이터의 가치는 새 정보를 지어내는 데 있지 않고, 이미 데이터 안에 있으나 잘 드러나지 않는 추론·계획·구조를 학습하기 좋은 형태로 재배치하는 데 있다.
• 규모를 키울 때 데이터 양보다 데이터의 다양성(토큰 유일성)이 병목이 될 수 있으며, rephrasing은 반복으로 인한 조기 포화를 늦추는 실용적 수단이다.
• 복잡한 생성 작업은 한 번에 시키기보다 설정→인물→줄거리→장(章)처럼 단계로 쪼갤수록 결과 품질이 좋아진다. 티처 모델의 한계에 갇히지 않으려면 작업을 잘게 나눠야 한다.
• 대규모 분산 학습에서는 하드웨어·수치·커널 어디서든 조용한 오류가 생길 수 있으므로, 복제본 간 해시 검증 같은 불변식 기반 관측 장치가 사실상 필수다.
• 포워드·백워드가 복제본마다 같은지까지는 기존 해시 검증의 사각지대이며, 경쟁 조건 같은 문제를 잡으려면 이 부분에 대한 별도의 점검이 필요하다.

자주 묻는 질문

관련 AI 소식