신경망의 진짜 정체 — 가우스의 파라메트릭 회귀에서 ReLU 뉴런까지 수식 없이 이해하기

핵심 메시지

• 신경망은 뇌의 모형이라기보다, 가우스가 창안한 파라메트릭 회귀를 200년에 걸쳐 개량해 온 결과물이다.
• 가우스는 1801년 발견 직후 태양 뒤로 사라진 소행성 세레스의 위치를, 오차 섞인 관측점들에 직선을 맞춰 예측해 다시 찾아냈다.
• 직선 맞추기는 기울기와 절편을 조금씩 바꿔 보고 적합도가 좋아지면 유지하고 나빠지면 되돌리는 단순 반복으로 가능하다. 신경망 학습도 정확히 같은 절차다.
• ReLU에 파라미터를 붙이면 한 번 꺾인 직선이 되고, 이것이 인공 뉴런이다. 뉴런 n개를 더하면 선분 n+1개, 층을 쌓으면 층수의 지수만큼 선분을 표현할 수 있다.
• 층을 아무리 쌓아도 신경망이 하는 일은 근본적으로 같다. 점들에 여러 개의 직선 조각을 맞추는 것이며, 신경망이 잘 작동하는 이유는 뇌를 닮아서가 아니라 데이터를 잘 맞추기 때문이다.

쉽게 이해하기

기계 번역, 바둑, 텍스트로 이미지 생성까지 최근 AI의 성과는 대부분 인공 신경망에서 나왔다. 그런데 신경망은 흔히 '뇌를 본뜬 모형'으로 소개된다. 층층이 쌓인 처리 단위가 입력 신호를 추상적 표현으로 합쳐 사람처럼 경험에서 배운다는 식이다. 영상은 이 설명이 오해를 키운다고 보고, 역사를 거슬러 올라가 신경망의 정체를 다시 정의한다.

이야기는 카를 프리드리히 가우스에서 시작한다. 당시 천문학은 돈이 되는 분야였다. 배들이 별과 행성의 위치로 항해했기 때문에 정확한 천체 지도는 항해를 더 빠르고 안전하게 만들었다. 1801년 한 관측소가 왜소행성 세레스를 발견했지만, 한 달 만에 세레스는 태양 뒤로 숨었다. 다시 반대편으로 나왔을 때 천문학자들은 그것을 찾지 못했다. 당시 망원경의 정밀도가 낮아 관측 위치에 상당한 오차가 섞여 있었기 때문이다.

가우스의 해법은 놀랄 만큼 단순했다. 관측된 점들에 직선을 맞추고, 그 직선의 높이로 앞으로의 위치를 예측하는 것이다. 과거 관측점에 가까운 직선이라면 미래 관측점에도 가까울 것이라는 추론이었다. 직선은 기울기와 절편이라는 두 파라미터로 정해지므로, 각 점에서 직선까지의 거리의 합으로 적합도를 재고, 파라미터를 조금씩 늘리거나 줄이면서 적합도가 좋아지는 방향만 남기면 된다. 이 절차를 반복해 얻은 예측 덕분에 천문학자들은 세레스를 다시 찾았고, 가우스는 괴팅겐 대학의 천문학 교수 자리를 얻었다.

정작 가우스 본인은 이 방법을 대단하게 여기지 않았다. 너무 단순해서 누군가 이미 생각했을 것이라 여겨 발표조차 하지 않았다. 그러나 파라메트릭 회귀는 오늘날까지 경제학·공학·과학 전반에서 쓰이는 가장 유용한 수학적 아이디어 중 하나가 됐다. 단 하나의 약점이 있었다. 점들이 실제로 직선을 따라 놓여 있을 때만 통한다는 것이다. 그리고 우리가 예측하고 싶은 대부분의 것은 직선을 따르지 않는다.

신경망은 바로 이 지점에서 등장한다. 직선 하나를 맞추는 대신 여러 개의 직선 조각을 맞추면 된다는 발상이다. 입력과 0 중 큰 값을 취하는 ReLU 함수는 음수 구간이 평평한, 한 번 꺾인 그래프를 만든다. 여기에 입력과 출력 쪽 파라미터를 붙이면 이 꺾인 선을 마음대로 옮기고 늘이고 뒤집을 수 있는데, 이것이 인공 뉴런이다. 뉴런 두 개를 더하면 꺾임이 두 번 생겨 선분 세 개짜리 그래프가 되고, 일반적으로 뉴런 n개는 선분 n+1개를 표현한다. 학습 방법은 직선을 맞출 때와 완전히 같다. 파라미터를 하나씩 조금 바꿔 보고 전체 적합도가 좋아지면 유지, 아니면 되돌린다.

뉴런을 그냥 늘리는 것은 비효율적이다. 대신 층으로 배열하면 훨씬 많은 선분을 얻는다. 2층 신경망에서 두 번째 층의 뉴런은 첫 층의 출력에 다시 ReLU를 적용하는데, 음수 구간을 0으로 눌러 평평하게 만드는 이 연산이 그래프의 선분 개수를 배로 늘릴 수 있다. 층 l개, 층당 뉴런 n개면 n의 l제곱만큼의 선분을 표현할 수 있다. 그러나 표현력이 커졌을 뿐, 하는 일은 1층짜리와 다르지 않다. 점들에 직선 조각을 맞추는 것이다. 영상의 결론은 단호하다. 신경망이 놀라운 일을 해내는 이유는 추상적 개념의 위계를 다루는 뇌의 정확한 모형이어서가 아니라, 데이터를 잘 맞추기 때문이다.

주요 인사이트

• '뉴런'이라는 이름 때문에 생물학적 유비가 앞서지만, 영상이 정의하는 뉴런은 파라미터가 붙은 꺾인 직선 하나다. 뉴런 개수는 곧 함수 그래프가 꺾일 수 있는 횟수다.
• 깊이의 이점이 수치로 드러난다. 뉴런을 나란히 더하면 선분이 개수만큼 늘지만, 층으로 쌓으면 지수적으로 늘어난다. 같은 예산으로 훨씬 복잡한 함수를 표현할 수 있다는 뜻이다.
• 학습을 미분 없이 설명한 것도 이 영상의 강점이다. 파라미터를 조금 흔들어 보고 좋아지면 유지한다는 절차만으로 회귀와 신경망 학습이 같은 일임이 드러난다.
• 충분한 선분으로 어떤 점 집합이든 통과시킬 수 있다는 말은 표현력에 관한 주장이지 일반화에 관한 주장이 아니다. 주가든 다음에 둘 수를 나타내는 값이든 점으로 표현되면 맞출 수 있다는 뜻일 뿐이다.
• 가우스가 '너무 단순해서' 발표하지 않은 아이디어가 200년 뒤 AI의 토대가 됐다는 대목은, 기술의 핵심이 종종 화려함이 아니라 단순함에 있음을 보여 준다.

자주 묻는 질문

관련 AI 소식