이중 하강 곡선 정리: 파라미터를 더 늘릴수록 과적합이 사라지는 이유와 보간 임계점

핵심 메시지

• 머신러닝에서 배우는 U자형 편향-분산 곡선은 전체 그림의 왼쪽 절반에 불과하다.
• 파라미터 수가 학습 데이터 개수와 겨우 맞아떨어지는 '보간 임계점'에서 새 데이터에 대한 오차가 가장 나빠진다.
• 임계점을 지나 파라미터를 더 늘리면 오차가 두 번째로 하강하며, 종종 기존의 최적점보다도 낮아진다.
• 두 번째 하강이 일어나는 이유는 해가 여러 개일 때 경사하강법이 가중치가 가장 작고 매끄러운 해로 흘러가기 때문이다.
• 학습 데이터보다 파라미터가 훨씬 많은 현대 딥러닝 모델은 바로 이 두 번째 하강 구간에 자리 잡고 있다.

쉽게 이해하기

머신러닝을 배우면 거의 예외 없이 같은 그림을 그리게 된다. 가로축은 모델의 크기, 즉 파라미터 수이고 세로축은 한 번도 본 적 없는 데이터에서 내는 오차다. 처음에는 모델이 커질수록 오차가 줄어들다가 어느 지점에서 방향을 틀어 다시 올라간다. 그래서 중간 어딘가의 '적정 지점'을 찾아 거기서 멈추라는 것이 오랫동안의 가르침이었다.

영상은 이 곡선을 아홉 개의 데이터 점으로 직접 그려 보인다. 파라미터가 적은 단순한 곡선은 너무 뻣뻣해서 점들을 대부분 비껴가는데, 이것이 과소적합이자 높은 편향의 문제다. 반대로 조절할 손잡이의 개수가 데이터 점의 개수와 정확히 같아지는 순간, 곡선은 모든 점을 하나도 빠짐없이 통과하고 학습 오차는 0으로 떨어진다. 이 지점에 붙은 이름이 보간 임계점(interpolation threshold)이다.

역설은 여기서 시작된다. 학습 데이터를 완벽하게 맞히는 바로 그 순간이 새 데이터에서는 가장 못 맞히는 순간인데, 용량이 딱 맞아떨어지면 모든 점을 통과하는 방법이 사실상 하나뿐이라 여유가 없고 잡음이 섞인 점까지 억지로 관통하느라 곡선이 점들 사이에서 크게 요동치기 때문이다. 이때 모델 내부의 가중치를 그려 보면 임계점에서 뾰족하게 치솟는다. 가중치가 크다는 것은 점 하나만 살짝 건드려도 곡선 전체가 휘청인다는 뜻이고, 그것이 곧 높은 분산이다.

그런데 임계점을 넘겨 데이터 개수보다 훨씬 많은 파라미터를 주면 상황이 뒤집힌다. 필요 이상의 자유도가 생기면 모든 점을 통과하는 곡선이 하나가 아니라 무수히 많아진다. 그중 학습이 실제로 찾아내는 것은 가장 완만하고 매끄러운 해, 즉 가중치가 가장 작은 해인데 경사하강법 자체에 그런 성향이 있기 때문이다. 파라미터를 더 줄수록 매끄러운 해를 찾을 여지가 넓어져 요동은 잦아들고, 가중치가 줄면서 새 데이터에 대한 오차도 함께 내려간다.

곡선 전체를 이어 붙이면 왼쪽은 우리가 배운 편향-분산 트레이드오프의 세계이고 그 끝에 위험한 봉우리가 있다. 오른쪽은 기존 설명이 언급조차 하지 않던 두 번째 하강 구간이다. 학습 예시보다 파라미터가 훨씬 많은 오늘날의 신경망은 이 오른쪽에 있다. 즉 트레이드오프가 틀렸던 것이 아니라, 그것이 더 큰 그림의 왼쪽 절반이었을 뿐이다.

주요 인사이트

• '모델을 키우면 과적합된다'는 경험칙은 파라미터가 데이터 수에 근접하는 구간에서만 성립한다. 그 구간을 통과할 만큼 충분히 키우지 못하고 어정쩡하게 멈추는 것이 오히려 가장 나쁜 선택일 수 있다.
• 성능 저하의 실체는 파라미터 개수가 아니라 가중치의 크기다. 임계점에서 가중치가 급등하고 그 지점을 지나면 다시 줄어드는 흐름이 오차 곡선과 나란히 움직인다.
• 무수히 많은 해 가운데 어떤 해를 고르느냐가 일반화 성능을 좌우한다. 경사하강법이 매끄러운 해 쪽으로 기우는 성질이 거대 모델이 잘 작동하는 숨은 이유다.
• 거대 언어모델이 파라미터를 계속 늘리면서도 무너지지 않는 배경에는 이 두 번째 하강이 있다. 임계점 오른쪽에서는 용량을 더하는 것이 곡선을 거칠게 만드는 대신 매끄럽게 만든다.

자주 묻는 질문

관련 AI 소식