LLM 스케일링 법칙 정리: 카플란과 친칠라가 말하는 파라미터와 데이터 배분, 그리고 오버트레이닝

핵심 메시지

• 테스트 손실은 데이터셋 크기, 모델 파라미터 수, 총 연산량 각각에 대해 로그-로그 축에서 직선으로 나타나는 멱법칙 관계를 보인다.
• 이 법칙 덕분에 작은 모델에서 설정을 탐색한 뒤 큰 모델의 성능을 외삽할 수 있어, 수십억 원이 드는 학습을 시행착오로 반복하지 않아도 된다.
• 모델의 모양(깊이 대 너비, 어텐션 헤드 수, 피드포워드 비율)은 넓은 구간 안에서는 성능을 크게 좌우하지 않고, 규모 자체가 훨씬 중요한 요인이었다.
• 카플란 연구는 제한된 연산에서 파라미터를 더 키우라고 했지만, 2년 뒤 딥마인드의 친칠라는 코사인 러닝레이트 설정 문제를 지적하며 모델과 데이터를 거의 1대1로 늘려야 한다고 정정했다.
• 요즘은 학습 최적점보다 데이터를 더 넣는 오버트레이닝이 흔한데, 서비스 단계의 추론 비용까지 고려하면 작은 모델을 더 오래 학습시키는 쪽이 유리하기 때문이다.

쉽게 이해하기

강의는 아주 현실적인 상황에서 출발한다. 누군가가 H100을 만 시간쯤 쓸 수 있는 클라우드 크레딧을 주면서 오픈소스 대형 언어모델을 만들어 보라고 한다면, 트랜스포머를 쓴다는 것까지는 자명해도 그다음부터가 문제다. 레이어를 더 쌓을지 너비를 넓힐지, 어텐션을 MHA로 갈지 MLA로 갈지, 활성함수와 러닝레이트는 무엇으로 둘지 같은 선택지가 끝없이 남는다. 한 번 돌리는 데 수십억 원이 드는 학습을 하이퍼파라미터 탐색으로 백 번 반복할 수는 없다는 점에서, 스케일링 법칙은 이 막막함에 답을 주는 도구로 소개된다.

첫 번째 축은 데이터다. 카플란 등이 2020년에 정리한 결과에 따르면 테스트 손실은 학습 토큰 수에 대해 멱법칙으로 감소하며, 로그-로그 그래프에서 직선으로 나타난다. 데이터셋을 어떻게 구성하는지는 이 직선의 기울기보다 절편을 주로 바꾼다. 데이터가 무한하지 않아 같은 데이터를 여러 번 보는 경우에는 네 번째 에폭 언저리까지는 새 데이터를 넣는 것과 비슷한 곡선을 그리지만 그 이후로는 이득이 급격히 줄고, 반대로 쓸 수 있는 연산이 커질수록 필터링을 느슨하게 해 품질이 다소 낮은 데이터까지 포함하는 편이 더 나은 결과를 냈다.

두 번째 축은 모델과 하이퍼파라미터다. 같은 법칙을 이용하면 LSTM을 70B까지 키워 보지 않고도 트랜스포머가 더 낫다는 결론을 얻을 수 있고, 실제로 LSTM은 절편이 훨씬 높은 데다 긴 문맥에서 성능이 평평해진다. 트랜스포머의 여러 변종들 역시 대부분 바닐라 트랜스포머를 이기지 못했고, 옵티마이저도 SGD 대비 Adam 계열이 절편을 낮춰 준다는 사실이 같은 방식으로 확인됐다. 깊이 대 너비 비율이나 어텐션 헤드 수는 어느 정도 넓은 구간 안에만 들어오면 성능이 비슷해서, 결국 모양보다 규모가 중요하다는 결론으로 이어진다.

배치 사이즈와 러닝레이트도 같은 렌즈로 다룬다. 배치가 너무 작으면 그래디언트 분산이 커서 방향이 흔들리고, 너무 크면 이미 분산이 낮아진 상태라 중복된 신호만 늘어나 수익이 줄어든다. 그 사이의 지점이 크리티컬 배치 사이즈인데, 이 값이 목표 손실에 따라 달라진다는 점이 실무적으로 중요하다. 손실이 높은 학습 초반에는 작은 배치로 시작해 나중에 키워도 되고, 모델이 클수록 더 큰 배치를 써도 된다는 이론적 명분이 생긴다. 러닝레이트는 모델이 커질수록 최적값이 작아지는 경향이 있어, 작은 모델에서 피팅해 외삽하거나 μP처럼 규모와 무관하게 같은 값을 쓰게 하는 초기화 방식으로 대응한다.

마지막 축은 연산 배분이다. 카플란 논문은 제한된 연산에서 파라미터와 데이터의 지수를 각각 0.73과 0.27로 보고, 큰 모델을 만들어 일찍 멈추는 쪽이 낫다고 했다. 2022년 딥마인드의 친칠라는 세 가지 추정 방식을 모두 동원해 이 비율이 0.5 대 0.5에 가깝다고 결론지었고, 카플란 실험이 코사인 러닝레이트의 T_max를 전체 학습 스텝으로 둔 채 중간에 멈추는 바람에 러닝레이트가 충분히 낮아지지 않은 상태로 끝났다는 점을 원인으로 지목했다. 다만 강의는 이 최적점이 법칙이 아니라 가이드라인이라고 선을 긋는다. 서비스 관점에서는 추론 비용이 계속 나가므로, 모델을 작게 잡고 토큰을 더 부어 넣는 오버트레이닝이 오히려 합리적인 선택이 되기도 한다.

주요 인사이트

• 스케일링 법칙의 실질적 가치는 성능 향상 자체보다 실험을 어디서 멈춰도 되는지를 알려 준다는 데 있다. 전체 예산의 15~20% 정도를 작은 모델 탐색에 쓰고 그 결과로 법칙을 피팅한 뒤 본 학습을 한 번 돌리는 순서가 가능해진다.
• 새 아키텍처나 방법론의 가치는 컴퓨트 멀티플라이어, 즉 로그-로그 직선의 절편을 낮췄는지 기울기를 개선했는지로 환산된다. 기울기 개선이 훨씬 어렵고 값지지만, 절편이 높은 채 기울기만 좋은 방법은 일정 규모 이전까지는 손해처럼 보인다는 함정이 있다.
• 파라미터 수를 셀 때 임베딩 레이어를 빼야 한다는 세부 규칙이 결과를 좌우한다. 임베딩은 어휘 크기와 모델 차원의 곱이라 작은 모델에서 비중이 크고, 포함해 버리면 직선 피팅 자체가 어그러진다.
• MoE에도 같은 법칙이 적용되며, 활성화되는 파라미터 비율이 낮고 전문가를 어느 정도 잘게 쪼갤수록 밀집 모델 대비 효율 레버리지가 커진다. 규모를 키울수록 그 격차가 더 벌어진다는 점에서 MoE를 쓰지 않을 이유가 줄어든다.
• 스케일링 법칙은 손실에 대해서는 잘 맞지만 다운스트림 과제 점수까지 매끄럽게 예측하지는 못한다. 손실은 다음 토큰 예측의 연속적인 척도인 반면 과제 성능은 맞고 틀림이 갈리는 이산적 성격이 있기 때문이다.

자주 묻는 질문

관련 AI 소식