스케일링 법칙 강의 정리: 스탠퍼드 CS336이 설명하는 카플란과 친칠라의 결론 차이

핵심 메시지

• 스케일링 법칙은 작은 규모 실험 결과를 큰 학습으로 외삽하는 규칙이며, 수백만 달러짜리 학습을 한 번만 돌릴 수 있는 상황에서 선택을 정당화하는 도구다.
• 로그-로그 그래프의 직선은 오차가 거듭제곱으로 줄어든다는 뜻이다. 평균 추정 같은 고전 문제의 기울기는 -1인 반면 신경망의 실측 지수는 -0.1에서 -0.3 수준이라, 대략 10차원 비모수 회귀처럼 배운다고 볼 수 있다.
• 데이터 혼합, 옵티마이저 교체, 앙상블 같은 개입은 대부분 기울기가 아니라 절편만 바꾼다. 그래서 작은 규모에서 고른 최적 조합이 큰 규모에서도 대체로 최적이 된다.
• 카플란과 친칠라의 결론 차이는 방법론의 우열이 아니라 세부 설정에서 왔다. 파라미터를 세는 방식, 학습률 워밍업, 고정된 배치 크기를 바로잡으면 카플란 설정에서도 친칠라 결과가 나온다.
• 지금 실제 모델은 친칠라 비율보다 훨씬 많이 학습된다. 학습 비용보다 서빙 비용이 지배적이라 작고 유능한 모델이 필요하기 때문이다.

쉽게 이해하기

강의는 아주 구체적인 상황에서 출발합니다. 후한 친구가 B200 1만 장을 한 달간 빌려주며 좋은 오픈소스 언어모델을 만들어 달라고 했다고 칩시다. 아키텍처도 하이퍼파라미터도 정해야 하는데, 큰 학습을 여러 번 돌려 조정하기에는 비용이 너무 큽니다. 그래서 작은 규모에서 모든 최적화를 끝내고 그 결과를 큰 규모로 외삽할 단순하고 견고한 규칙이 필요합니다. 이것이 스케일링 법칙을 공학의 도구로 보는 관점입니다.

강의는 이 아이디어가 결코 새롭지 않다는 점을 먼저 짚습니다. 1993년 벨연구소의 코르테스와 밥닉 등이 작은 표본으로 분류기를 학습시켜 오차 감소 곡선을 맞춘 뒤 성능을 추정한 연구가 사실상 최초의 데이터 스케일링 법칙입니다. 2012년 콜라치나 등은 기계번역 BLEU 점수로 함수 형태를 따져 오늘날과 같은 거듭제곱 형태에 도달했고, 2017년 헤스트니스 등은 음성인식·기계번역·언어모델 전반에서 같은 규칙성을 보이며 창발 현상, 연산 중심 스케일링, 시스템 최적화가 곧 정확도가 된다는 점까지 예견했습니다. 강연자는 이 논문이 인용에 비해 저평가돼 있다고 말합니다.

왜 거듭제곱인지는 통계로 설명됩니다. 가우시안 표본의 평균을 추정하면 오차가 표본 수에 반비례하므로 로그-로그 평면에서 기울기 -1이 나옵니다. 그런데 신경망의 실측 지수는 -0.1에서 -0.3 수준으로 훨씬 완만합니다. 임의의 매끄러운 함수를 추정하는 비모수 회귀에서는 오차가 차원 D에 대해 표본 수의 -1/D 승으로 줄어드는데, 이 값을 대입해 보면 신경망이 대략 10차원 공간의 비모수 추정기처럼 학습한다는 해석이 나옵니다. 강연자는 이 해석을 흥미롭게 보되 내재 차원 추정에 의존하는 근거라며 온전히 믿지는 않는다고 덧붙입니다.

실무 적용으로 넘어가면 반복해서 나오는 관찰이 하나 있습니다. 개입은 대체로 기울기가 아니라 절편을 바꾼다는 것입니다. 데이터 혼합 비율을 바꿔도, SGD를 아담으로 바꿔도, 앙상블이나 정규화를 더해도 기울기는 놀랄 만큼 비슷하게 유지됩니다. 이 성질 덕분에 작은 규모에서 고른 최적 데이터 혼합을 그대로 키워도 되며, 실제 대규모 실증 연구에서도 법칙을 맞추지 않고 작은 모델에서 가장 좋은 조합을 골라 확대하는 편이 잘 작동했다고 전합니다. 데이터 반복에 대해서는 표준 레시피 기준 4에폭까지는 손해가 거의 없지만 그 이상에서는 실제 곡선이 신선한 데이터 기준선보다 뚜렷하게 나빠집니다.

강의의 절반은 스케일링 법칙이 저절로 생기지 않는다는 경고에 쓰입니다. 카플란 연구진은 임베딩 파라미터를 넣으면 곡선이 이상해지자 임베딩과 마지막 출력층 파라미터를 함께 제외했는데, 이 선택이 결과의 모양을 크게 바꿨습니다. 무엇을 x축에 놓을지, 파라미터를 어떻게 셀지, 하이퍼파라미터를 어떻게 맞출지에 따라 예측이 달라지므로, 예측 가능한 스케일링은 설계의 산물이라는 것입니다. 혼합 전문가 모델처럼 총 파라미터와 활성 파라미터가 분리된 구조에서도 같은 문제가 생기는데, 여기서는 총 파라미터가 커질수록 최적 희소성이 올라가고 활성화되지 않은 파라미터도 손실 감소에 기여한다는 결과가 소개됩니다.

배치 크기와 학습률은 큰 학습마다 다시 정해야 하는 두 값입니다. 임계 배치 크기는 배치를 키울수록 그래디언트 잡음이 줄어 이득이 그대로 돌아오는 분산 제한 구간과, 잡음이 아니라 국소 방향과 전역 최적점의 어긋남이 발목을 잡는 편향 제한 구간이 갈리는 지점입니다. 목표 손실을 정하고 여러 배치 크기로 필요한 스텝 수와 예제 수를 재어, 최소 예제 수를 최소 스텝 수로 나누는 방식으로 추정합니다. 흥미롭게도 목표 손실이 낮아질수록 임계 배치 크기는 거듭제곱으로 커집니다. 학습률 쪽은 폭이 커질수록 낮추는 경험칙과, 초기화와 스텝 크기를 다시 매개화해 최적 학습률을 스케일에 무관하게 고정하는 뮤피 계열 접근이 함께 쓰입니다.

가장 유명한 사례가 카플란과 친칠라의 불일치입니다. 친칠라 저자들은 하한 포락선, 등연산량 스윕, 결합 함수 곡선적합이라는 세 방법으로 각각 67B와 63B 근처의 최적 모델 크기를 얻었고 파라미터당 20토큰이라는 경험칙이 여기서 나왔습니다. 두 논문 모두 합리적인 작업을 했는데도 결론이 갈린 이유를 후속 연구가 하나씩 벗겨 냅니다. 파라미터 세는 방식을 바로잡고, 워밍업이 끝나기도 전에 학습이 끝나 버린 작은 모델들의 학습률을 고치고, 모든 모델에 고정해 두었던 큰 배치 크기를 모델별로 조정하자 카플란 설정에서 친칠라 결과가 그대로 나왔습니다. 다른 연구는 카플란이 훨씬 낮은 연산 규모에서 작업해 작은 변화에 민감했다는 점을 지목합니다.

여담처럼 붙은 결말도 재미있습니다. 친칠라 논문 안에서도 방법 3만 다른 지수를 내놓아 오래 남은 수수께끼였는데, 원 데이터를 구할 수 없던 연구자들이 논문 그래프에서 값을 추출해 다시 적합해 보니 원 논문이 과소적합했던 것으로 나타났고, 다시 맞추자 파라미터당 20토큰이 거의 그대로 재현됐습니다. 저자들이 스스로 아는 것보다 더 옳았던 셈입니다. 다만 강연자는 지금 실제 제품 모델을 만든다면 친칠라 비율을 따르지 말라고 말합니다. 프런티어 연구소의 연산 대부분은 학습이 아니라 연구개발과 서빙에 들어가므로, 학습 비용을 아끼는 대신 작고 유능한 모델을 만들기 위해 훨씬 많이 학습시키는 편이 낫다는 것입니다.

주요 인사이트

• 스케일링 법칙의 값어치는 예측 그 자체보다 "큰 학습을 돌리기 전에 결과의 수치를 대략 알고 있어야 한다"는 규율에 있다. 옵티마이저를 바꿨을 때 얼마나 좋아질지 미리 답할 수 없다면 그 선택은 근거가 없는 것이다.
• 개입이 절편만 바꾸고 기울기는 그대로라는 반복된 관찰은, 작은 규모 실험이 큰 규모 의사결정을 대신할 수 있는 근거인 동시에 한계이기도 하다. 기울기를 바꾸는 개입은 드물지만 그런 것이야말로 진짜 돌파구다.
• 퍼플렉서티에서 실제 과제 성능으로의 전이는 생각보다 불확실하다. 강의는 퍼플렉서티가 훨씬 좋은 모델이 하위 과제에서는 더 나빴던 사례를 들며, 사전학습 쪽에서 시작된 문제를 사후학습에 떠넘기지 말라고 경고한다.
• 좁은 연산 구간만 보면 거듭제곱인지 지수인지 구분할 수 없다. 충분히 확대하면 모든 곡선이 직선으로 보이므로, 짧은 구간의 깔끔한 직선을 근거로 함수 형태를 단정하는 것은 위험하다.
• 데이터 필터링처럼 정적으로 여겨지던 결정도 사실은 스케일 의존적이다. 연산이 적으면 최고 품질만 남기는 것이 맞지만, 연산이 커지면 반복을 피하기 위해 필터를 느슨하게 풀어야 한다.

자주 묻는 질문

관련 AI 소식