스케일링 법칙이란? 파라미터가 많을수록 AI 모델이 똑똑해지는 이유와 과적합의 함정

핵심 메시지

• 파라미터는 모델이 돌릴 수 있는 손잡이일 뿐이며, 손잡이가 두 개인 모델은 아무리 잘 학습해도 직선밖에 그리지 못한다.
• 은닉 뉴런을 늘리면 각각이 하나의 완만한 봉우리를 만들어내고, 이 봉우리들이 촘촘히 겹치며 곡선을 흉내 낸다. 파라미터가 많다는 것은 그릴 수 있는 모양의 종류가 많다는 뜻이다.
• 손잡이가 너무 많으면 잡음까지 통과하도록 곡선을 구부려 버려, 학습 오차는 계속 떨어지는데 처음 보는 데이터의 오차는 다시 올라간다.
• 파라미터와 데이터를 함께 키우면 손실이 로그-로그 축에서 거의 직선으로 떨어지는데, 이것이 스케일링 법칙이다.
• 손실은 무한히 떨어지지 않고 데이터 자체의 불확실성이 정한 하한선으로 수렴하므로, 파라미터와 데이터를 둘 다 늘려야 한다.

쉽게 이해하기

GPT-2가 GPT-3이 되고 다시 GPT-4가 되는 동안, 왜 더 똑똑해졌는지를 묻는 질문에는 늘 같은 답이 돌아온다. 파라미터가 더 많아서. 그런데 파라미터는 모델이 돌릴 수 있는 손잡이일 뿐이다. 손잡이가 늘어나면 답을 틀릴 방법이 늘어나는 것 아닌가. 영상은 이 자연스러운 의심에서 출발한다.

가장 작은 모델부터 시작해 보자. 입력에 가중치를 곱하고 편향을 더하는 손잡이 두 개짜리 모델이다. 여기에 곡선을 그리는 데이터를 주면, 가중치를 돌려 기울기를 바꾸고 편향을 돌려 위아래로 옮겨도 언제나 직선만 나온다. 데이터와 선 사이의 틈은 결코 메워지지 않는다. 학습이 잘못된 것이 아니라 그릴 수 있는 모양이 바닥난 것이다. 이것이 용량(capacity)이라는 벽이다.

그래서 손잡이를 늘린다. 뉴런 하나는 가중치를 곱한 입력을 시그모이드에 통과시켜 완만한 봉우리 하나를 만들어내는데, 이 봉우리는 각자의 파라미터로 좌우로 밀거나 높이를 늘일 수 있다. 몇 개만 있으면 투박하게 맞아떨어지지만, 개수를 늘리면 봉우리들이 곡선을 촘촘히 덮어 거의 완벽하게 감싼다. 파라미터가 많다는 것의 진짜 의미는 여기에 있다.

하지만 곧바로 걱정이 따라붙는다. 무엇이든 구부릴 수 있다면 잡음까지 통과하도록 구부릴 것이기 때문이다. 지저분한 점 몇 개를 유연한 모델에 던져 주면 모든 점을 하나하나 꿰뚫으며 패턴 대신 무작위성을 외운다. 모델 크기에 따라 오차를 그려 보면 학습 오차는 계속 떨어지지만, 처음 보는 데이터에 대한 시험 오차는 잠깐 내려갔다가 다시 올라간다. 고전적으로는 어느 지점을 넘으면 크게 만들수록 오히려 손해다.

그런데 실제 신경망에서는 크게 만드는 쪽이 이긴다. 파라미터와 학습 데이터를 함께 늘리고 손실을 재면 값이 폭발하지 않고, 로그 축에 그렸을 때 놀랄 만큼 곧은 직선을 따라 떨어진다. 여러 자릿수에 걸쳐 예측 가능하게 내려가는 깔끔한 멱법칙이다. 다만 영원히 떨어지지는 않는다. 데이터 자체에 내재한 예측 불가능성이 정해 놓은 하한선이 있고, 손실은 그쪽으로 휘어진다. 전체 식은 이 하한선에 파라미터를 늘리면 줄어드는 항과 데이터를 늘리면 줄어드는 항을 더한 형태이며, 그래서 둘 다 키워야 한다.

주요 인사이트

• 이 설명의 핵심은 '더 크면 더 좋다'가 마법이 아니라 표현할 수 있는 함수의 폭이 넓어지는 문제라는 점이다. 파라미터는 성능을 사는 것이 아니라 그릴 수 있는 모양을 사는 것이다.
• 과적합이라는 고전적 경고와 스케일링 법칙은 서로 모순이 아니다. 파라미터만 늘리면 잡음을 외우지만, 데이터를 함께 늘리면 곡선이 채워야 할 진짜 구조도 함께 늘어난다.
• 스케일링 법칙이 바꾼 것은 성능 자체보다 예측 가능성이다. 더 큰 모델을 만드는 일이 도박에서 예보로 바뀌었고, 학습에 돈을 쓰기 전에 다음 모델이 얼마나 나아질지 추정할 수 있게 됐다.
• 손실에 하한선이 존재한다는 사실은 스케일링에도 끝이 있음을 뜻한다. 그 바닥은 데이터에 내재한 불확실성이 정하며, 어떤 모델도 그 아래로 내려갈 수 없다.
• 영상은 모델이 계속 똑똑해지는 이유를 이렇게 정리한다. 세상이 우리가 아직 다 담아내지 못할 만큼 많은 구조를 품고 있기 때문이다.

자주 묻는 질문

관련 AI 소식