경사하강법 원리와 손실 지형 시각화 — 신경망이 지역 최솟값에 갇히지 않는 이유를 그림으로 이해하기

핵심 메시지

• 거의 모든 현대 AI 모델은 경사하강법으로 학습한다. 무작위 지점에서 시작해 손실이 낮은 쪽으로 조금씩 내려가는 과정이다.
• 초창기 연구자들은 이 방식이 지역 최솟값에 갇힐 것이라 보고 외면했지만, 실제로는 놀라울 만큼 잘 작동했다.
• 파라미터들은 서로 독립적이지 않다. 하나씩 순서대로 최적값을 찾는 방식은 통하지 않는다.
• 우리가 보는 손실 지형 그림은 12억 차원 공간의 2차원 그림자일 뿐이며, 학습이 진행되면 그림 자체가 바뀐다.
• 차원이 늘어날수록 모든 방향에서 동시에 막힐 확률은 줄어든다. 이것이 지역 최솟값 문제가 예상만큼 심각하지 않은 이유다.

쉽게 이해하기

영상은 메타의 라마 3.2 모델의 손실 지형을 화면에 띄우는 것으로 시작한다. 손실 지형이란 모델 파라미터 값에 따라 손실이 어떻게 달라지는지를 높낮이로 표현한 그림이다. 경사하강법은 이 지형의 무작위 지점에 떨어져 낮은 쪽으로 걸어 내려가는 과정에 비유되는데, 그렇다면 중간중간 파인 골짜기에 갇히지 않는 이유가 무엇인지가 자연스러운 의문으로 남는다.

이 의문은 초창기 연구자들의 발목을 잡았던 바로 그 문제다. 2024년 노벨상을 받은 제프리 힌턴조차 처음에는 같은 이유로 신경망을 경사하강법으로 학습시키는 접근을 아예 배제했다. 그가 볼츠만 머신 쪽에서 막힌 뒤 뒤늦게 파라미터 50개 정도의 모델에 경사하강법을 적용해 보고는 얼마나 잘 되는지에 놀랐다는 일화도 소개된다.

학습의 기본 구조는 다음 토큰 맞히기다. '프랑스의 수도는 파리'라는 문장을 토큰으로 쪼개 넣으면 모델은 각 위치마다 어휘 전체에 대한 확률 분포를 내놓는다. 이 확률과 실제 정답을 비교해 손실을 계산하는데, 정답 확률에서 1을 빼는 단순한 방식 대신 확률에 로그를 씌워 부호를 뒤집는 교차 엔트로피를 쓴다. 정답에 대한 확신이 낮아질수록 벌점이 급격히 커지기 때문에 학습이 더 효과적으로 진행된다.

그렇다면 파라미터를 하나씩 돌아가며 최적값으로 맞추면 되지 않을까. 영상은 이 아이디어가 왜 실패하는지 두 개의 파라미터로 직접 보여준다. 첫 번째 파라미터를 최적값에 놓고 두 번째를 조정하면, 다시 첫 번째로 돌아왔을 때 곡선의 모양 자체가 달라져 있다. 파라미터들이 서로 영향을 주고받기 때문이다. 게다가 값을 스무 개씩만 시험해도 파라미터 두 개에 400번, 세 개에 8000번이 필요하니, 12억 개를 전부 훑는 것은 불가능하다.

그래서 나온 답이 기울기다. 각 방향의 손실 곡선 기울기를 모아 벡터로 만들면 어느 쪽이 내리막인지 알려주는 나침반이 된다. 흥미로운 대목은 실제 학습 장면이다. 무작위 방향 두 개를 골라 2차원으로 그린 지형 위에서 학습을 돌리면, 점이 이동하는 모습이 아니라 없던 웜홀이 열리듯 지형 자체가 갑자기 꺼지면서 손실이 낮은 골짜기가 나타난다. 12억 차원 공간에서 아주 작은 걸음만 옮겨도 우리가 보던 2차원 단면이 통째로 바뀌기 때문이다.

주요 인사이트

• 손실 지형 그림은 직관을 돕지만 동시에 오해도 만든다. 파라미터가 두 개일 때는 전체를 보여주지만, 수십억 개가 되면 진짜 학습 과정의 희미한 그림자에 가까워진다.
• 교차 엔트로피가 표준이 된 이유는 계산의 편의가 아니라 벌점 구조에 있다. 정답 확률이 떨어질수록 손실이 급격히 치솟아 모델을 더 세게 밀어붙인다.
• 파라미터를 하나씩 최적화하는 접근이 실패하는 근본 원인은 결합이다. 한 값을 바꾸면 다른 값의 손실 곡선 모양 자체가 달라진다.
• 경사하강법이 지역 최솟값에 완전히 갇히려면 모든 차원에서 동시에 막혀야 한다. 파라미터가 늘어날수록 그런 일이 벌어질 확률은 급격히 낮아진다.
• 한 문장만으로 학습시키면 손실 지형이 거칠지만, 여러 예시를 묶어 배치로 학습시키면 지형이 매끄러워진다. 배치 안 토큰들의 손실을 평균 내기 때문이다.

자주 묻는 질문

관련 AI 소식