신경망이 거의 무엇이든 학습하는 이유: 함수 근사와 보편 근사 정리 쉽게 이해

핵심 메시지

• 신경망은 본질적으로 '함수 근사기'로, 입력과 출력 데이터만으로 그 데이터를 만든 함수를 역설계한다.
• 뉴런은 가중치와 편향을 가진 단순한 선형 함수이며, 선형 함수만 더하면 결국 하나의 선형 함수가 되어 복잡한 형태를 만들 수 없다.
• ReLU 같은 비선형 활성화 함수를 넣어야 여러 뉴런이 협력해 복잡한 함수를 근사할 수 있다.
• 신경망은 보편 근사기임이 증명돼 있어, 함수로 표현할 수 있는 것이라면 원하는 정밀도로 근사할 수 있다.
• 다만 뉴런은 무한하지 않고 학습에도 제약이 있으며, 무엇보다 그 함수를 설명하는 충분한 데이터가 없으면 근사는 빗나간다.

쉽게 이해하기

영상은 신경망이 무한히 복잡한 만델브로 집합의 모양을 학습하는 장면으로 시작한다. 이를 이해하려면 '함수'라는 개념에서 출발해야 한다. 함수는 입력을 받아 출력을 내는 체계이며, 함수를 알면 어떤 입력에도 올바른 출력을 계산할 수 있다. 반대로 함수는 모른 채 일부 입력·출력 값만 안다면, 그 데이터를 만든 함수를 역설계할 수 있을까? 그렇게 만든 함수는 데이터에 없던 입력에 대해서도 값을 내주고, 약간의 잡음이 있어도 전체 패턴을 포착한다. 이것이 바로 함수 근사이며, 신경망은 함수 근사기다.

신경망 시각화 도구에서 두 입력을 받아 하나의 출력을 내는 망은 파란 점과 주황 점을 가르는 결정 경계를 빠르게 만들어 낸다. 데이터를 설명하는 함수를 근사하는 것이다. 가운데의 뉴런들이 그 일을 하는데, 각 뉴런은 이전 층의 입력을 모두 받아 하나의 출력을 내는 함수다. 각 입력에 가중치를 곱하고 편향과 함께 더하며, 이 가중치와 편향이 학습으로 바뀌는 매개변수다.

뉴런은 큰 망을 짓는 '블록'이다. 그런데 뉴런 자체는 매우 단순한 선형 함수여서, 여러 개를 가중해 더해도 대수적으로 정리하면 결국 하나의 선형 함수, 즉 직선 하나로 합쳐진다. 이래서는 직선보다 복잡한 것을 만들 수 없다. 필요한 것은 비선형성이다. 여기서 ReLU(정류 선형 유닛)를 활성화 함수로 도입한다. 이전의 순진한 뉴런에 ReLU를 적용하면 선형에 아주 가깝되 선형은 아닌 함수를 얻고, 같은 매개변수로 조절할 수 있다.

같은 가중치·편향을 쓰되 ReLU를 활성화 함수로 넣자 근사가 훨씬 좋아졌다. 이제 함수는 하나의 직선으로 단순화되지 않고, 뉴런을 하나씩 더할수록 단순한 ReLU들이 쌓여 복잡한 형태를 만든다. 이 가중치·편향을 자동으로 찾는 대표적 알고리즘이 역전파로, 매개변수를 조금씩 조정해 근사를 개선한다. 더 복잡한 나선형 데이터는 뉴런과 층을 더 늘리면 포착할 수 있다.

어떤 데이터든 학습할 수 있는 이유는 신경망이 '보편 근사기'임이 엄밀히 증명돼 있기 때문이다. 입력과 출력의 체계, 즉 함수로 표현할 수 있는 것이라면 무엇이든 근사할 수 있다. 이미지→라벨(고양이/개), 영어→스페인어 번역처럼 입력과 출력을 숫자로 인코딩할 수만 있으면 된다. 다만 이는 과장이다. 뉴런은 무한하지 않고, 최적 매개변수를 찾는 학습 과정 자체가 제약을 만들며, 무엇보다 그 함수를 설명하는 충분한 데이터가 없으면 아무리 큰 망도 올바른 모양을 알 수 없다.

주요 인사이트

• 딥러닝을 '함수 근사'라는 한 가지 관점으로 보면, 이미지 분류부터 번역까지 다양한 과제가 결국 입력·출력을 잇는 함수를 찾는 문제로 통합된다.
• 선형 함수끼리는 아무리 더해도 선형에 머물기 때문에, 비선형 활성화 함수(ReLU)가 딥러닝의 표현력을 여는 결정적 요소다.
• 신경망의 근사가 날카로운 선형 조각들로 이뤄져 보이는 것은 ReLU라는 활성화 함수의 성질에서 비롯된다.
• 몇 가지 가정 아래 신경망은 튜링 완전해, 어떤 알고리즘이든 사람이 손으로 짜지 않고 함수 근사로 학습시킬 수 있다는 함의를 갖는다.
• 이미 함수를 아는 문제에까지 신경망을 쓰는 것은 비효율이며, 데이터·연산·학습의 현실적 제약이 '무엇이든 학습'을 제한한다.

자주 묻는 질문

관련 AI 소식