베이스 모델 사전학습 변화: 웹 텍스트 85%에서 15%로, 합성 데이터와 강화학습이 바꾼 LLM 훈련 방식

핵심 메시지

• GPT-3 시절 학습 데이터의 약 85%를 차지하던 웹 텍스트는 최근 공개된 학습 레시피에서 15% 수준까지 줄었고, 그 자리를 코드와 이공계 데이터, 합성 데이터가 채우고 있다.
• 예전에는 사후학습에서만 쓰이던 질문·답변 형태의 데이터가 사전학습 단계로 앞당겨지면서, 모델은 훈련 초반부터 대화와 에이전트 작업의 형태를 익힌다.
• 강화학습이 전체 연산 예산에서 차지하는 비중이 커지면서, 사전학습은 그 자체가 목적이 아니라 강화학습이 조합해 쓸 기초 기술을 심어 두는 준비 단계로 성격이 바뀌었다.
• 합성 데이터는 무분별하게 넣으면 성능이 무너진다는 우려가 있었지만, 같은 정보를 여러 방식으로 다시 쓰는 재작성 기법으로 대규모에서 성공한 사례가 여럿 나왔다.
• 전문가 혼합(MoE) 구조에서는 사전학습과 사후학습의 데이터 분포 차이가 전문가 사용 불균형으로 이어지는데, 사후학습용 데이터를 일찍 섞으면 이 문제를 줄일 수 있다.

쉽게 이해하기

AI 엔지니어 콘퍼런스에서 아씨 AI의 사전학습 총괄 바룬 싱이 '베이스 모델은 죽었다'는 다소 자극적인 제목의 발표를 내놨다. 그가 겨냥한 것은 베이스 모델 자체가 아니라, 베이스 모델을 '인터넷 전체의 지식을 비추는 거울'로 여기던 오래된 관념이다. 발표는 최근 공개된 여러 대형 모델의 학습 레시피를 나란히 놓고, 그 관념이 이미 현실과 맞지 않는다는 점을 보여주는 방식으로 진행됐다.

근거는 데이터 구성비다. GPT-3는 커먼 크롤과 웹텍스트 계열 스크랩, 책, 위키백과로 학습됐고 웹 텍스트만으로 전체의 약 85%를 채웠다. 라마 3에서도 일반 지식 성격의 토큰이 절반가량을 차지했다. 반면 최근 공개된 레시피에서는 웹 텍스트 비중이 15% 안팎까지 내려가고, 대신 코드와 이공계 데이터가 전면에 나선다. GPT-3에는 아예 없던 별도의 코드 데이터셋이 이제는 사전학습 구성에서 가장 큰 덩어리가 됐다.

흥미로운 점은 업계가 한 방향으로만 움직이지 않는다는 것이다. 발표자는 상반된 두 사례를 나란히 제시했다. 한쪽은 다른 언어 모델이 만든 데이터를 일절 쓰지 않겠다고 선언하고 웹 스크랩에서 그런 흔적까지 걸러낸 사례다. 다른 한쪽은 사후학습용 데이터와 대규모 합성 데이터를 오히려 사전학습 단계로 끌어당긴 사례로, 데이터 구성표에 사후학습에서나 보일 법한 지도학습(SFT) 데이터셋이 상위 항목으로 올라와 있다. 다만 합성 데이터를 거부한 쪽조차 웹 텍스트 비중은 이미 크게 낮췄다는 점에서, 두 진영은 겉보기만큼 멀지 않다.

합성 데이터를 쓰는 방식도 구체적으로 소개됐다. 무작정 생성물을 던져 넣는 대신, 원본 데이터 하나를 골라 같은 정보를 여러 표현으로 다시 쓰는 재작성 방식이 널리 쓰인다. 모델이 동일한 지식을 여러 각도에서 반복해 보게 만드는 셈이다. 이 방식은 토큰 수를 늘려줄 뿐 아니라 데이터 품질을 정리하고, 지시 수행이나 에이전트 작업에 가까운 형태로 토큰을 다듬는 효과가 있다는 것이 발표자의 설명이다.

발표는 마지막으로 학습 단계 구분 자체를 다시 볼 것을 제안한다. 사전학습·미드트레이닝·사후학습·강화학습으로 쪼개면 경계가 모호해지니, 다음 토큰 예측 기반의 지도학습과 강화학습이라는 두 축으로 보자는 것이다. 그리고 강화학습이 연산 예산의 큰 몫을 가져가는 지금, 지도학습의 역할은 최종 성능을 직접 만들어내는 것이 아니라 강화학습이 조합해 쓸 기초 기술과 표현을 미리 심어 두는 것이 된다.

주요 인사이트

• 베이스 모델의 정의가 '세상 지식의 사전'에서 '추론과 에이전트 행동의 출발점'으로 이동했다. 발표자는 만약 앞으로 모델을 쓰는 새로운 방식이 등장한다면 베이스 모델은 또 그 방식을 위한 출발점으로 다시 설계될 것이라고 봤다.
• 사후학습 데이터를 사전학습에 미리 섞는 것은 성능뿐 아니라 학습 안정성 문제이기도 하다. 전문가 혼합 구조에서 사전학습과 사후학습의 데이터 분포가 크게 다르면 전문가 사용이 심하게 쏠리고, 이를 뒤늦게 부하 분산 계수로 억누르는 것은 바람직한 해법이 아니다.
• 긴 문맥과 에이전트 실행 기록을 다루는 미드트레이닝이라는 별도 단계가 자리 잡았다. 다만 발표자는 이미 긴 문맥으로 사전학습하는 모델이 많은 만큼, 이런 데이터를 더 앞으로 당겨 오지 못할 이유가 없다고 봤다.
• 지도학습과 강화학습의 관계에 관한 연구는 베이스 모델이 강화학습 도중 조합하게 될 기초 기술에 미리 노출돼 있어야 하며, 환경의 난도가 충분하면 모델이 그 지점에서 스스로 확장해 나간다는 방향을 가리킨다.
• 발표자는 알파고에서 강화학습이 결국 지도학습을 넘어선 그래프를 인용하면서도, 인간 언어처럼 방대한 분포를 강화학습만으로 익히기는 어렵다며 언어 모델에서 같은 일이 벌어질지는 단정하지 않았다.

자주 묻는 질문

관련 AI 소식