딥러닝 원리 쉽게 이해하기: 인공신경망 가중치 W를 찾는 경사하강법과 일반화의 수수께끼

핵심 메시지

• 정답을 스무 개 남짓만 알려줘도 신경망이 1600만 가지 색 전체에 대해 잘 맞히는 이유는, 비슷한 입력이 좌표 공간에서 서로 가까이 모여 있기 때문이다.
• 가중치 W를 찾는 방법은 무작위 값에서 출발해 출력이 정답보다 크면 내리고 작으면 올리는 시행착오의 반복이며, 편미분은 이 과정을 빠르게 하려는 도구일 뿐이다.
• 정답 세트를 모두 맞히는 W가 존재한다는 것은 수학적으로 증명돼 있지만, 이렇게 단순한 방법으로 그 W를 잘 찾아낼 수 있다는 것은 증명돼 있지 않다.
• 학습에 쓰지 않은 수억 장의 사진까지 잘 맞히는 이유는 강연자가 여러 전문가에게 물어본 끝에도 '아직 아무도 모른다'는 답만 얻었다.
• '딥'은 규모가 엄청나게 크다는 뜻이고, 2012년에 이르러서야 인공신경망이 개와 고양이 구분에 처음 성공했다.

쉽게 이해하기

카오스재단이 2026년 강연 예습용으로 다시 공개한 '헬로 딥러닝' 강연은 딥러닝을 수식이 아니라 그림 한 장으로 설명하는 데서 출발한다. 배경색을 넣으면 흰 글씨가 좋을지 검은 글씨가 좋을지 답하는 문제를 예로 들면, 색은 빨강·초록·파랑 세 개의 숫자이므로 3차원 공간의 한 점으로 그릴 수 있다. 사람이 여섯 개 남짓만 정답을 찍어 주면, 학습된 함수는 그 공간을 흰색 영역과 검은색 영역으로 갈라 놓는다.

핵심은 그 뒤에 일어나는 일이다. 정답을 찍어 준 여섯 점만 맞는 것이 아니라 그 주변의 색들까지 함께 맞아 들어간다. 바로 옆 좌표의 색은 원래 그 색과 비슷하기 때문이다. 강연자는 음성으로도 같은 설명을 한다. 오늘 말한 '엄마'와 내일 말한 '엄마'는 완전히 같지는 않지만 거의 비슷하고, 다른 사람이 말한 '엄마'조차 같은 사람이 말한 '아빠'보다는 '엄마'에 가깝다. 데이터가 이렇게 뭉쳐서 분포하기 때문에 학습이 가능하다는 것이다.

그렇다면 신경망의 가중치 W는 어떻게 찾을까. 강연자는 이 대목을 '단순 무식하다'는 표현으로 요약한다. 처음에 W들은 정말로 무작위 값으로 채워진다. 입력을 넣어 계산했더니 0이 나와야 할 자리에 3이 나왔다면 값을 낮추고, 1이 나와야 할 자리에 -7이 나왔다면 올린다. 화살표 하나하나에 해당하는 W를 올려 보고 내려 보며 어느 쪽이 목표에 가까운지 확인하는 일을, 사진 천 장에 대해 계속 반복한다.

미분을 몰라도 원리는 같다는 점이 이 설명의 미덕이다. 편미분은 이 시행착오를 빨리 처리하기 위한 수단일 뿐 원리 자체는 올리고 내리는 것과 동일하며, 더 알아보고 싶은 사람은 경사하강법이라는 이름으로 공부하면 된다고 안내한다. 알파고 정도면 조정해야 할 W가 수천만 개, 자율주행이면 수억에서 수십억 개에 이른다.

강연이 가장 흥미로운 지점은 '모른다'고 인정하는 대목이다. 주어진 정답 세트를 전부 맞히는 W가 존재한다는 사실은 수학적으로 증명돼 있지만, 이렇게 무식한 방법으로 그 W를 실제로 잘 찾을 수 있다는 것은 증명된 바가 없다. 그런데도 대단히 잘 찾아진다. 더 나아가 개 사진 천 장만 학습하고도 나머지 수억 장을 맞히는 이유에 대해서는, 강연자가 여러 대가들의 이야기를 찾아본 결론이 '아직 아무도 모른다'였다.

주요 인사이트

• 딥러닝의 학습을 어렵게 느끼게 만드는 것은 원리가 아니라 표기법이다. 편미분과 선형대수는 같은 시행착오를 빠르게 수행하기 위한 도구이므로, 수식을 모른 채로도 학습이 무엇을 하는지는 이해할 수 있다.
• 적은 정답으로 전체를 맞히는 힘은 모델이 아니라 데이터의 성질에서 나온다. 비슷한 입력이 비슷한 좌표에 모여 있지 않다면 스무 개의 정답으로 1600만 가지 색을 덮는 일은 일어나지 않는다.
• '존재 증명'과 '찾을 수 있다는 보장'은 다른 문제다. 좋은 가중치가 있다는 것은 증명돼 있어도, 무작위에서 출발한 조정으로 그것을 찾아낸다는 보장은 없다는 점이 딥러닝의 실용성과 신비를 동시에 만든다.
• 일반화가 왜 되는지 모른다는 사실은 이 분야의 결함이 아니라 현재 상태에 대한 정직한 서술이다. 잘 이해되지 않는 부분이 있다면 자신의 이해력 문제가 아닐 수 있다는 강연자의 말은 입문자에게 특히 유효하다.
• 이세돌을 이기는 바둑 프로그램을 사람이 직접 짜지는 못했지만, 곱하기와 더하기, 그리고 0보다 큰지 따지는 연산을 반복하는 것만으로 그 일이 이뤄졌다는 사실은 딥러닝의 성격을 압축해 보여준다.

자주 묻는 질문

관련 AI 소식