역전파 알고리즘 쉽게 이해하기: 연쇄법칙부터 거대 언어모델 학습까지

핵심 메시지

• 역전파는 1970년대 초 하버드 대학원생 폴 워보스가 발견했지만, AI의 권위자였던 마빈 민스키는 어려운 문제는 못 배운다며 일축했다.
• 핵심 아이디어는 신경망을 층별로 나눠 각 층의 변화율을 구한 뒤 연쇄법칙으로 곱해 이어 붙이는 것이다. 전체 식을 한 번에 미분하는 것보다 훨씬 효율적이다.
• 크로스 엔트로피 손실과 소프트맥스를 함께 쓰면 미분 과정에서 로그와 지수가 상쇄되어, 출력층 기울기가 '예측 확률 빼기 정답'이라는 단순한 형태로 정리된다.
• 파라미터에 대한 기울기는 입력값에 비례한다. 입력이 작으면 그 뉴런의 파라미터는 덜 고쳐도 되고, 크면 더 크게 고쳐야 한다.
• 민스키가 놓친 것은 이 단순한 알고리즘이 규모를 키웠을 때 얼마나 복잡한 문제까지 풀어내는지였다.

쉽게 이해하기

폴 워보스는 자신이 찾아낸 학습 방법을 뉴턴의 법칙에 비유하며 지능의 근본적인 수학 법칙이라고 여겼다. 그러나 이 발견을 들고 찾아간 마빈 민스키는 역전파로는 어려운 것을 배울 수 없다며 곧바로 거절했다. 그럼에도 역전파는 1980년대에 자동차를 운전하는 모델을, 1990년대에 손글씨 숫자를 읽는 모델을, 2010년대 초에 이미지를 정확히 분류하는 모델을 학습시켰다. 오늘날 사실상 모든 AI 모델이 이 알고리즘으로 훈련된다.

영상은 메타의 라마 3.2를 예로 든다. '프랑스의 수도는'이라는 입력이 들어오면 모델은 다음에 올 토큰을 예측하고, 역전파는 12억 개 파라미터를 각각 어떻게 고쳐야 정답 토큰에 더 확신을 갖게 되는지 계산한다. 중간 층에서는 입력의 두 번째와 네 번째 토큰, 즉 '수도'와 '프랑스'에 주목하도록 만드는 어텐션 패턴의 가중치가 조정되는 모습이 보인다. 거대한 모델의 어느 부분을 손봐야 성능이 좋아지는지 짚어내는 것이 역전파의 능력이다.

설명을 위해 문제가 축소된다. 텍스트 대신 GPS 좌표를 받아 파리, 마드리드, 베를린 중 어느 도시인지 맞히는 모델이다. 뉴런은 도시마다 하나씩 세 개뿐이고, 각 뉴런은 입력에 가중치를 곱하고 편향을 더할 뿐이다. 고등학교에서 배우는 일차함수와 다르지 않다. 마지막에는 소프트맥스가 출력을 0과 1 사이의 확률로 바꾸며 값의 차이를 증폭한다. 세 뉴런 출력이 1, 2, 1이면 가운데 항목에 58%를 주지만 1, 10, 1이면 99.98%를 몰아준다. 성능 지표로는 정답 확률에 로그를 씌우고 부호를 뒤집는 크로스 엔트로피 손실을 쓴다.

학습이란 손실을 낮추는 방향으로 파라미터를 고치는 일이고, 그러려면 각 파라미터를 조금 바꿨을 때 손실이 얼마나 변하는지를 알아야 한다. 값을 조금씩 바꿔가며 재계산해 기울기를 추정할 수도 있지만 계산량이 크고 보폭 선택에 따라 부정확하다. 실제로 1950년대 스탠퍼드의 버나드 위드로 연구팀은 수년간 이 수치적 방법으로 단층 신경망을 학습시켰고, 1959년 말 초기 형태의 역전파에 닿고도 층이 여러 개인 신경망으로 확장하는 길은 보지 못했다.

역전파의 발상은 층을 따로 떼어 각각의 변화율을 구한 뒤 연쇄법칙으로 곱해 잇는 것이다. 이 계산에서 놀라운 일이 벌어진다. 크로스 엔트로피의 로그와 소프트맥스의 지수가 서로 상쇄되면서, 출력층에 대한 기울기가 예측 확률 벡터에서 정답을 1로 표시한 원핫 벡터를 뺀 값으로 정리된다. 파리 예시에서 마드리드 확률이 0.91이고 정답이 아니므로 해당 기울기는 0.91, 파리는 0.09에서 1을 빼 -0.91이 된다. 여기에 파라미터에 대한 뉴런 출력의 변화율인 입력값을 곱하면 최종 기울기가 나온다. 경도 2.35도에 -0.91을 곱해 -2.14라는 값이 나오고, 이는 해당 파라미터를 키우면 손실이 줄어든다는 뜻이다.

주요 인사이트

• 기울기가 입력값에 비례한다는 점에는 직관적인 의미가 있다. 입력이 작은 뉴런은 그 예시에서 결과에 미친 영향이 작으므로 파라미터를 덜 고쳐도 되고, 입력이 큰 뉴런은 책임이 큰 만큼 크게 고쳐야 한다. 이 감각은 층이 깊어져도 그대로 이어진다.
• 학습률을 0.00001처럼 작게 잡는 이유는 기울기가 아주 좁은 이웃에서의 기울기일 뿐이기 때문이다. 손실 지형은 복잡해서 파라미터를 조금만 옮겨도 경사가 금방 달라진다.
• 학습 과정을 지도 위에 그려보면 알고리즘이 무엇을 하는지 보인다. 처음에는 파리 좌표를 마드리드로 오분류하다가 40스텝 남짓이면 마드리드와 베를린 영역이 자리를 맞바꾸고, 다시 40스텝 정도가 지나면 파리 영역이 실제 파리 위로 올라온다. 오차가 줄어들수록 기울기도 작아진다.
• 뉴런 하나는 결국 평면 하나여서 표현력에 한계가 있다. 영상은 벨기에와 네덜란드의 영토가 조각조각 얽힌 바를러헤르토흐 지역을 예로 든다. 평면 하나씩으로는 이렇게 흩어진 영역을 깔끔히 나눌 수 없다.
• 이 한계는 언어모델과 무관한 이야기가 아니다. 라마는 토큰을 2048차원 벡터로 다루는데, 위키텍스트에서 다음 토큰이 '파리'가 되는 여러 문장의 중간 표현을 모아 2차원으로 투영하면 파리 조약 관련 문장들, 거슈윈의 '파리의 아메리카인' 관련 문장들이 각각 따로 뭉친다. 서로 떨어진 여러 덩어리를 같은 토큰으로 이어야 한다는 점에서, 조각난 국경을 나누는 문제와 본질이 같다.

자주 묻는 질문

관련 AI 소식