LLM 데이터 믹싱 설계 지침: 프록시 모델 크기부터 반복 제약, 혼합비 재사용까지

핵심 메시지

• 좋은 데이터 배합은 하위 과제 성능을 12% 끌어올렸고, 단순한 기준 배합과 같은 성능에 3배 빨리 도달했다.
• 기존 논문들이 프록시 모델 크기나 회귀 모델 선택에 대해 서로 다른 답을 내놓고 근거도 대부분 밝히지 않아, 실무자가 참고할 기준이 없었다.
• 실험 결과 프록시 모델은 1,500만 파라미터 이상이면 충분했고, 필요한 모델 개수는 도메인 수에 비례하는 수준이면 됐다.
• 데이터가 유한하다는 점을 반영해 반복 사용 상한을 최적화 문제에 제약으로 넣으면 제안되는 배합이 크게 달라진다.
• 개발 도중 데이터가 바뀔 때 전체를 다시 계산하는 대신 기존 비율을 재사용하면, 프록시 학습을 약 67% 줄이면서 성능의 95~98%를 지킬 수 있었다.

쉽게 이해하기

언어 모델을 학습시킬 때는 웹, 수학, 코드처럼 성격이 다른 데이터를 여러 갈래로 모은 뒤 어떤 비율로 섞을지 정해야 한다. 발표자 메이 첸은 AI2 인턴 기간에 진행한 연구 Olmix를 소개하며, 데이터가 두 종류 이상만 돼도 배합 문제는 피할 수 없다고 짚는다. 언어별로 섞을 때도, 사전 학습이 아닌 다른 단계에서 섞을 때도 같은 문제가 반복된다.

그 선택이 얼마나 중요한지는 결과로 드러난다. 잘 고른 배합은 하위 과제 성능을 12% 개선했고, 단순히 데이터 크기에 비례해 섞은 기준선과 같은 성능에 3분의 1의 시간으로 도달했다. 그런데도 현장에서 흔한 방법은 비율을 손으로 조정하며 시도해 보는 것이고, 그때마다 학습을 돌려야 하니 비용이 크다.

기존 연구들이 공유하는 골격은 비슷하다. 작은 프록시 모델 여러 개를 서로 다른 배합으로 학습시키고, 그 결과로 배합과 성능 사이의 관계를 학습하는 회귀 모델을 맞춘 뒤, 그 회귀 모델을 대리 지표 삼아 최적 배합을 찾는 세 단계다. 문제는 각 단계를 실제로 어떻게 채울지다. 연구진이 기존 논문들의 설정을 표로 정리해 보니, 근거가 제시된 칸이 드물었고 제시된 항목조차 논문마다 답이 달랐다.

그래서 연구진은 10억 파라미터 모델을 1,000억 토큰으로 처음부터 학습시키고, 웹 코퍼스를 주제별 24개 도메인으로 나눠 52개 과제에서 측정하는 방식으로 선택지를 하나씩 검증했다. 프록시 모델은 1,500만 파라미터를 넘기면 대형 모델과의 성능 순위 상관이 충분히 높았고, 필요한 개수는 절대 수가 아니라 도메인 수에 대한 비율로 결정됐다. 회귀 모델은 스웜 규모에 따라 유리한 쪽이 달라졌는데, 이 사실 자체가 문헌에 합의가 없던 이유를 설명해 준다. 도메인 수의 세 배가량 되는 학습 횟수를 확보하면 로그 선형 모델이 가장 안정적이었고, 여기에 특정 도메인을 보유량보다 지나치게 반복해 쓰지 않도록 상한을 제약으로 걸면 제안되는 배합이 눈에 띄게 달라졌다.

발표의 후반부는 개발 도중 데이터가 계속 바뀌는 상황을 다룬다. 데이터셋이 추가되거나 빠지고, 세분화되거나 필터링을 다시 거치는 일은 실제 개발에서 늘 일어난다. 매번 전부 다시 계산하면 비용이 감당되지 않으므로, 연구진은 영향을 받지 않은 도메인들의 상대 비율을 고정해 하나의 덩어리로 묶고 변경된 부분만 다시 계산하는 방식을 제안했다. 다만 고정한 쪽과 다시 계산하는 쪽이 같은 능력을 겨냥하면 이 방법이 잘 듣지 않았고, 그런 도메인만 골라 재계산 대상으로 옮기는 절충안이 성능을 크게 회복시켰다.

주요 인사이트

• '어떤 방법이 최고인가'가 아니라 '각 설계 선택을 무엇으로 정할 것인가'를 물었다는 점이 이 연구의 성격을 보여 준다. 새 알고리즘 하나보다 실무자가 따라 할 수 있는 기본 설정이 더 아쉬웠다는 진단이다.
• 회귀 모델의 우열이 스웜 규모에 따라 뒤집힌다는 발견은, 논문마다 다른 모델을 권하면서도 각자 좋은 적합도를 보고할 수 있었던 이유를 설명한다. 같은 실험을 다른 규모에서 하면 결론이 달라진다는 뜻이다.
• 반복 사용 상한이 배합을 크게 바꾼다는 결과는 데이터가 넉넉하지 않은 조직일수록 중요하다. 보유량을 무시한 최적 비율은 종이 위에서만 최적일 수 있다.
• 비율 재사용이 통하는 조건이 '고정한 도메인과 재계산하는 도메인이 서로 다른 과제를 겨냥할 때'라는 정리는 실용적이다. 새로 넣는 데이터가 기존 도메인과 성격이 겹치면 그 도메인도 함께 다시 계산해야 한다.
• 발표자는 이 절차가 결국 사람이 머릿속으로 하던 일을 형식화한 것이라고 설명한다. 그래서 사후 학습이나 강화학습 단계에도 지표와 회귀 모델만 바꾸면 같은 틀을 적용할 수 있다고 본다.

자주 묻는 질문

관련 AI 소식