거대 언어모델이 더 똑똑해지는 원리: 과적합과 이중 하강, 로또 티켓 가설로 풀어보는 '규모의 법칙'

핵심 메시지

• 지난 300년간의 통계학습이론은 모델이 커질수록 과적합으로 성능이 나빠진다고 예측했고, 그래서 5년 전만 해도 아무도 초거대 신경망을 학습시키려 하지 않았다.
• 2019년에 발견된 '이중 하강(double descent)' 현상은, 신경망을 학습 데이터를 완전히 외울 만큼 키운 뒤에도 계속 키우면 테스트 오차가 다시 떨어진다는 것을 보여줬다.
• 가지치기 실험은 거대 신경망의 96%에 이르는 가중치가 사실상 쓸모없고, 그 안에 실제 일을 하는 훨씬 작은 하위 신경망이 숨어 있음을 시사했다.
• '로또 티켓 가설'에 따르면 큰 신경망을 학습시키는 것은 무수히 많은 작은 하위망을 서로 다른 초기값으로 동시에 학습시켜 가장 운 좋은 하나만 남기는 것과 같다.
• 모델을 키울수록 실제로 학습되는 하위망은 더 작고 단순해지며, 이것이 '단순한 모델이 잘 일반화한다'는 오컴의 면도날과도 들어맞아 큰 모델이 더 잘 일반화하는 이유가 된다.

쉽게 이해하기

대규모 언어모델(LLM)의 핵심 기술인 자기회귀 트랜스포머는 2017년 이후 거의 그대로다. 그런데도 5년 전만 해도 누구도 이 모델을 지금처럼 크게 키울 생각을 하지 않았다. 지난 300년간 발전해 온 통계학습이론이 '큰 모델은 작은 모델보다 성능이 나빠진다'고 예측했기 때문이다. 그래서 연구자들은 규모를 키우는 대신 더 나은 학습 알고리즘과 신경망 구조를 고민했다.

이 예측의 근거는 '과적합(overfitting)'이다. 예컨대 덧셈을 배우는 신경망은 자릿수별 덧셈 규칙을 익힐 수도 있지만, 학습 예시와 정답을 그대로 나열한 거대한 '조회 표(lookup table)'를 흉내 낼 수도 있다. 조회 표는 학습 데이터에는 완벽하지만 새 입력에는 무작위 답을 내놓는다. 학습 데이터를 맞히는 수많은 가중치 조합 중 대부분이 이 조회 표에 가깝기 때문에, 용량이 너무 큰 모델은 규칙 대신 암기를 택하기 쉽다.

그래서 전통적 처방은 모델을 '데이터를 겨우 맞힐 만큼만' 작게 만드는 것이었다. 규칙은 대개 데이터를 표현하는 가장 짧은 방법이므로, 용량을 딱 맞추면 모델이 암기 대신 규칙을 배우도록 강제할 수 있다. 실제로 크기를 키우면 테스트 오차가 줄다가 어느 지점을 지나면 다시 올라가는 U자 곡선이 나타난다. 그러나 2019년의 한 논문은 그 지점을 넘어 계속 키우자 테스트 오차가 '두 번째로' 내려가기 시작했고, 이전 최적점보다도 낮아졌다고 보고했다. 이것이 이중 하강이다.

비슷한 시기, 거대 신경망에서 값이 0에 가까운 가중치를 반복해 잘라내는 실험은 원래 크기의 4%만 남겨도(최대 96% 제거) 같은 테스트 오차를 낸다는 것을 보였다. 이는 큰 신경망 안에 실제로 일을 하는 훨씬 작은 하위망이 숨어 있음을 뜻한다. 다만 이 작은 하위망은 무작위 초기값에서 새로 학습시킨 같은 크기의 작은 망과 달리, 학습 전에 이미 '좋은 초기값'을 갖고 있다는 점이 결정적으로 다르다.

여기서 '로또 티켓 가설'이 나온다. 큰 신경망 안의 수많은 가중치 부분집합은 저마다 다른 초기값을 가진 작은 신경망으로 볼 수 있다. 큰 망을 한 번 학습시키는 것은 이 작은 망들을 병렬로 모두 학습시켜 가장 운 좋게 초기화된 하나만 남기는 것과 비슷하다. 망이 클수록 '복권'이 많아지므로 더 작은 하위망도 당첨될 수 있고, 따라서 큰 모델일수록 실제 학습되는 모델은 더 작고 단순해진다. 결국 '가장 단순한 모델이 가장 잘 일반화한다'는 오컴의 면도날이 지켜지는 셈이다.

주요 인사이트

• 큰 모델이 잘 되는 이유는 '더 많이 외워서'가 아니라, 규모가 커질수록 그 안에서 실제로 선택되는 유효 하위망이 더 작고 단순해지기 때문이라는 점이 이 설명의 핵심이다.
• 가지치기 논문의 4%라는 수치는 진짜로 일을 하는 최소 하위망 크기의 '상한'일 뿐이며, 실제 최소 크기는 그보다 훨씬 작을 가능성이 크다.
• 왜 큰 망 학습이 '모든 하위망을 병렬 학습해 최선을 고르는 것'처럼 작동하는지는 아직 확실히 규명되지 않았고, 좋은 초기값이 더 빨리 학습돼 다른 하위망보다 먼저 문제를 푼다는 가설이 유력하다.
• 인터넷 텍스트를 생성하는 '가장 짧은 프로그램'은 사실상 인간 뇌의 입자 상호작용을 시뮬레이션하는 물리 엔진에 가깝다는 논리로, 다음 단어 예측만으로도 원리상 세계 모델을 학습할 수 있다는 반론이 제시된다.
• 영상 저자는 신경망 규모 확장만으로 인간 수준 지능에 이르기엔 개선 속도가 너무 느리다고 보면서도, 더 나은 학습 알고리즘·구조라면 언어 모델링만으로도 인간 수준 지능이 가능하다고 본다.

자주 묻는 질문

관련 AI 소식