신경망 원리 쉽게 이해하기: 공간을 접어 분류하는 방식과 시그모이드

핵심 메시지

• 신경망은 곡선을 그리는 대신 공간 자체를 비선형으로 접어, 접힌 공간에서는 직선(또는 평면) 하나로 데이터를 가를 수 있게 만든다.
• 세라노는 신경망을 두 역할로 비유한다. '이해자'는 데이터 공간을 케이크 반죽처럼 접어 클래스를 한쪽으로 모으고, '화자'는 그 결과를 한 방향에서 바라보며 분류를 읽어낸다.
• 출력은 예/아니오 이분법이 아니라 시그모이드 함수를 통해 0과 1 사이의 스펙트럼(예: '고양이일 확률 75%')으로 나오며, 이 연속값이 있어야 역전파로 조금씩 값을 조정하며 학습할 수 있다.
• 클래스가 여러 개여도 신경망은 케이크를 하나만 잘 접어두고, 각 클래스마다 서로 다른 '방향'을 찾아 동시에 구분한다.
• 같은 원리가 트랜스포머의 다음 단어 예측으로 확장된다. 단어들을 공간에 잘 배치해 두면, 다음에 올 단어는 특정 방향을 가리키는 것으로 예측된다.

쉽게 이해하기

루이스 세라노는 3부작 중 첫 편에서 신경망을 수많은 노드와 간선의 그림이 아니라 '공간을 접는 기계'로 바라보는 관점을 제시한다. 그는 두 사람이 순서대로 하는 작업 비유를 든다. 앞사람이 잘 넘겨줘야 뒷사람이 마무리할 수 있으므로, 결과가 좋다면 두 사람 모두 제 역할을 잘한 것으로 본다.

핵심 아이디어는 분류 경계를 직접 구부리지 말고 공간을 구부리라는 것이다. 고양이와 고양이가 아닌 이미지가 뒤섞여 직선으로 나눌 수 없을 때, 신경망은 데이터가 놓인 고차원 공간을 비선형으로 접는다. 잘 접고 나면 접힌 공간에서는 평평한 칼선 하나로 두 부류를 나눌 수 있고, 다시 공간을 펴면 그 직선이 원래 데이터에서는 복잡하게 휘어진 경계가 된다.

그는 이 과정을 두 캐릭터로 나눈다. '이해자'는 공간을 케이크 반죽처럼 접어 고양이는 한쪽, 아닌 것은 다른 쪽으로 모으고, '화자'는 그 케이크를 한 방향에서 바라본다. 다만 칼로 자르는 이분법 대신, 화자는 방향을 정해 '그쪽에 가까울수록 고양이'라는 식으로 공간을 물들인다.

이 연속적인 정도를 0과 1 사이 숫자로 바꾸는 장치가 시그모이드 함수다. 큰 양수는 1에, 큰 음수는 0에 몰리고 0은 0.5가 된다. 스펙트럼이 있어야 '39%를 40%로 살짝 올려달라'는 식의 미세 조정, 즉 역전파를 통한 학습이 가능해진다.

세라노는 같은 틀을 트랜스포머로 잇는다. 이미지→클래스가 단어→단어(다음 단어 예측)로 바뀔 뿐이다. 이해자가 단어들을 공간에 배치하면, 'store' 같은 다음 단어는 특정 방향으로 표현되고 화자는 그 방향을 가리켜 다음 단어를 고른다. 다음 편에서는 아주 작은 데이터로 만든 트랜스포머와 어텐션을 다룬다고 예고한다.

주요 인사이트

• 복잡한 경계를 단순한 공간에서 찾기보다, 공간을 접어 단순한 경계로 만드는 편이 계산상 더 쉽다는 것이 신경망의 핵심 발상이다.
• '이해자/화자' 비유는 은닉층이 표현(특징 공간)을 만들고 마지막 층이 그 표현에서 결정을 읽어내는 구조를 직관적으로 보여준다.
• 머신러닝이 이분법 대신 확률 스펙트럼을 쓰는 이유는 '미분 가능해야 조금씩 고칠 수 있기' 때문이며, 이것이 역전파 학습의 전제다.
• 다중 클래스 분류에서 마지막 층은 시그모이드가 아니라 소프트맥스를 쓰지만, 이는 시그모이드의 다변수 확장으로 이해할 수 있다.
• 언어 모델의 다음 단어 예측도 결국 '공간에서의 방향 찾기'라는 같은 기하학적 직관으로 설명된다.

자주 묻는 질문

관련 AI 소식