Adam과 Muon의 차이를 만드는 것은 기하다: 딥러닝 옵티마이저 이론을 정리한 TTIC 연구 발표

핵심 메시지

• Adam·Muon·부호 기반 경사하강법은 모두 '어떤 노름에서 가장 가파른 방향으로 내려가는가'라는 하나의 원리로 정리된다.
• 손실 함수를 임의로 회전시키면 Adam의 성능이 크게 떨어진다는 실험은, 회전에 무관한 기존 이론으로는 Adam의 강점을 설명할 수 없음을 보여준다.
• 가중치 감쇠를 곁들인 정규화 경사하강법은 1956년의 프랭크-울프 알고리즘과 사실상 같은 것이며, AdamW는 무한대 노름 제약 문제의 정류점으로 수렴한다.
• 적응형 방법의 이득은 '가장 좋은 기하를 고르는 대가로 가장 큰 반경을 지불하는' 형태라, 선택지를 넓히는 것이 언제나 유리하지는 않다.
• 언어 데이터처럼 등장 빈도가 극단적으로 치우친 상황에서 Adam 계열의 우위가 두드러지며, 이는 구조를 최소화한 모형에서도 재현되고 증명된다.

쉽게 이해하기

발표자는 지난 10여 년 딥러닝 학습의 기본값이었던 AdamW에 새로운 도전자가 등장했다는 관찰에서 출발한다. 모멘텀을 직교화해 행렬의 '부호'만 남기는 방식의 옵티마이저 Muon은 알고리즘 자체가 새롭다기보다 대규모 학습에서 효율적으로 구현할 방법이 발견되면서 확산됐다. 한 중국 스타트업은 대규모 비교 실험에서 AdamW보다 일관되게 빠르다는 결과를 보고 현세대 모델 학습을 층별 조정을 거쳐 이 방식으로 전환했고, 최근 공개된 대형 모델도 같은 계열을 사용했다.

이런 옵티마이저들은 '파라미터 공간에 어떤 노름을 두고, 그 단위 구 안에서 가장 가파른 방향을 고를 것인가'라는 하나의 틀로 통일된다. 노름을 바꾸면 정규화 경사하강법이 되고, 무한대 노름을 쓰면 부호 기반 경사하강법이 되며, 행렬의 스펙트럴 노름을 쓰면 모멘텀을 뺀 Muon이 된다. 발표자는 이 선택을 '기하'라 부르며, 그렇다면 왜 특정 기하가 다른 기하보다 나은지를 손실 함수와 데이터, 구조의 성질에서 찾아야 한다고 문제를 세운다.

첫 번째 질문은 오래된 수수께끼인 'Adam은 왜 SGD보다 빠른가'다. 기존 설명들은 일반화된 매끄러움이나 무거운 꼬리를 가진 경사 잡음에 대한 강건성을 들지만, 이는 적응성 일반의 이점을 말할 뿐 왜 하필 좌표별 적응이어야 하는지는 설명하지 못한다. 메모리를 거의 쓰지 않는 전역 적응 방식으로도 같은 이론적 이점이 증명되기 때문이다. 연구진은 손실 함수를 임의의 직교 행렬로 회전시키는 진단 실험을 설계했다. 회전은 유클리드 관점의 양들을 그대로 보존하지만, 좌표별 적응을 쓰는 Adam의 궤적만은 근본적으로 달라진다. 실험에서 회전된 Adam은 눈에 띄게 나빠졌고, 이는 회전에 무관한 이론으로는 Adam의 실전 우위를 결코 설명할 수 없다는 뜻이 된다.

두 번째 축은 고전 알고리즘과의 연결이다. 오늘날 흔히 쓰는 정규화 경사하강법에 가중치 감쇠를 더한 갱신식은, 반경이 감쇠 계수의 역수인 노름 공 위에서 1956년의 프랭크-울프 알고리즘을 돌리는 것과 형식적으로 같다. 이 관점에서 AdamW를 분석하면, 학습률의 합이 발산하는 비자명한 일정에서 수렴할 경우 그 수렴점이 무한대 노름 제약 문제의 정류점이 된다는 결과가 나온다. Adam은 순간적으로 제약을 크게 벗어나는 걸음을 내딛을 수 있어 증명이 간단하지 않지만, 결국 도달하는 지점은 제약 문제의 해답 쪽이라는 것이다.

세 번째 축은 적응성 자체를 다시 정의하는 작업이다. 연구진은 전처리 행렬의 집합이 양의 정부호 행렬과 어떤 부분대수의 교집합일 때 통일된 수렴 증명이 가능함을 보였고, 대각 AdaGrad·블록별 방식·전행렬 AdaGrad·한쪽만 곱하는 샴푸 변형이 그 틀에 들어간다. 여기서 나온 수렴률은 '집합 안에서 매끄러움을 가장 작게 만드는 기하를 고르되, 집합 전체에서 가장 큰 반경을 지불한다'는 형태다. 그래서 선택지를 넓힐수록 좋다는 통념과 달리, 손실의 실제 기하와 맞지 않는 넓은 집합은 오히려 손해다. 실제로 한쪽만 곱하는 샴푸가 전행렬 AdaGrad를 이기는 간단한 손실 함수도 만들어 보였다.

주요 인사이트

• 옵티마이저 논쟁은 결국 '어떤 사전 지식을 알고리즘에 심을 것인가'의 문제다. 좌표축이나 층·행렬 구조는 신경망이 이미 갖고 있는 구조이며, 이를 존중하는 기하가 이득을 낸다는 것이 실험이 가리키는 방향이다.
• 무한대 노름 매끄러움 가정 아래에서는 가속이 불가능하다는 2015년 결과가 있는 반면, 새로 제시된 적응형 매끄러움 가정에서는 모멘텀을 통해 수렴 속도를 1/T에서 1/T²로 끌어올릴 수 있다. Adam이 모멘텀 없는 AdaGrad보다 훨씬 빠른 실전 관찰과 맞아떨어지는 대목이다.
• 부호 기반 경사하강법은 잡음이 없을 때 AdaGrad보다 빠를 수 있지만, 모멘텀을 얹어도 더 빨라지지 않는다. 단순한 방법이 적응형 방법을 대체할 수 있다는 기대에 선을 긋는 결과다.
• 층 안에서의 회전은 견디지만 층을 가로지르는 회전은 성능을 크게 해친다는 관찰은, 신경망 손실의 좋은 성질이 구조 자체에서 나온다는 가설을 뒷받침한다.
• 널리 쓰이는 샴푸는 실전 성능이 좋지만 원 논문의 수렴률이 AdaGrad보다 나빴고, 그 집합이 덧셈에 닫혀 있지 않아 깔끔한 증명이 어렵다. 이론이 실무를 아직 따라잡지 못한 대표적인 미해결 지점이다.

자주 묻는 질문

관련 AI 소식