딥러닝 이론의 열린 질문들 — 표현의 수렴, 모듈성, 사고 과정 감독에 대한 MIT 패널 토론

핵심 메시지

• 좌장은 딥러닝의 이론적 위치를 전기의 역사에 빗대, 전지는 발명됐지만 전자기 이론은 아직 나오지 않은 시기에 비유한다.
• 서로 다른 데이터와 방식으로 학습한 모델들이 같은 방식으로 세상을 표현하도록 수렴한다는 가설이 제시되고, 언어 모델과 시각 모델의 정렬도가 성능과 함께 올라가는 관측이 근거로 제시된다.
• 범주는 하나의 고정된 활성 패턴이 아니라 다양체로 표현되며, 그 기하학적 성질이 분류·소수 예시 학습·제로샷 전이 성능을 예측한다.
• 모듈성은 데이터 효율과 견고성을 주지만 학습으로 저절로 발견되지 않으며, 모듈이 이미 있어도 종단간 역전파가 이를 활용하지 못하는 문제가 있다.
• 정답만 감독하는 대신 풀이 과정을 함께 감독하면 필요한 예시 수가 수십만 건에서 수만 건 수준으로 줄어든다.

쉽게 이해하기

MIT 뇌·마음·기계 센터가 연 패널 토론은 '학습 이론의 열린 질문'을 주제로, 이론 신경과학과 딥러닝 이론 연구자들을 한자리에 모았다. 좌장은 왜 이론이 필요한지를 전기의 역사로 설명한다. 1800년경 전지가 만들어진 뒤 발전기·전동기·전신이 20년 안에 쏟아졌지만, 정작 전기가 무엇인지에 대한 이론은 60년 뒤에야 나왔다. 그는 지금 딥러닝이 그 사이 어딘가에 있다고 본다.

첫 발표는 '플라톤적 표현 가설'을 소개한다. 장면 분류를 학습한 신경망에서 개 얼굴이나 새를 골라내는 유닛이 나타난다는 관찰은 오래됐지만, 흑백 사진에 색을 입히는 전혀 다른 과제를 학습한 신경망에서도 같은 종류의 검출기가 나타난다. 연구진은 표현을 커널, 즉 항목 사이의 거리 구조로 특징짓고, 언어 모델의 성능이 좋아질수록 언어를 전혀 학습하지 않은 시각 모델의 커널과 더 잘 정렬된다는 결과를 제시한다. 데이터도 구조도 다른데 정렬이 커진다면, 원인은 데이터가 아니라 그 뒤에 있는 세계 자체일 수 있다는 것이다.

두 번째 발표는 범주가 뇌와 인공망에서 어떻게 표현되는지를 다룬다. 특정 대상에만 반응하는 단일 뉴런도, 대상마다 고유한 하나의 활성 패턴도 답이 아니며, 같은 범주의 수많은 이미지가 만드는 '객체 다양체'가 표현의 단위라는 설명이다. 통계역학으로 다양체의 반지름과 유효 차원 같은 기하학적 양을 계산하면 분류 용량과 소수 예시 학습, 언어에서 시각으로의 제로샷 전이 성능을 잘 예측한다. 다만 발표자는 시각 피질 데이터와 심층망 사이에 유효 차원의 뚜렷한 불일치도 함께 발견됐다고 덧붙인다.

세 번째 발표는 모듈성을 다룬다. 색과 동물을 독립된 축으로 이해하면 한 번도 본 적 없는 '붉은 판다'를 상상할 수 있듯, 세상의 독립적 요인을 분리해 배우면 필요한 데이터가 차원에 지수적으로 늘지 않는다. 문제는 유한한 데이터에서 모듈적 해가 건초더미 속 바늘이라는 점이다. 발표자는 잡음이 있는 환경에서 진화시킨 불리언 네트워크가 결합이 풀린 모듈 구조로 수렴하고 돌연변이에도 더 잘 견딘다는 사례로, 견고성 압력이 모듈성을 만들어낼 가능성을 제시한다.

네 번째 발표는 다음 단어를 예측하는 단순한 학습이 왜 강력한지를 묻는다. 참말·거짓말 추론 퍼즐을 정답만 보고 학습시키면 난도가 오를수록 16만, 30만, 50만 예시로 필요량이 커지지만, 단계별 풀이를 함께 학습시키면 난도와 상관없이 수만 예시 수준에서 해결된다. 답 하나는 입력 전체에 빽빽하게 의존하지만 풀이의 각 단어는 몇 개 변수에만 의존해, 어려운 문제가 쉬운 문제의 연속으로 분해되기 때문이다. 좌장은 여기에 자신의 결과를 더해, 효율적으로 계산 가능한 함수는 희소한 합성 구조를 가지며 그래서 깊은 신경망이 차원의 저주를 피할 수 있다고 설명한다.

주요 인사이트

• 표현이 수렴한다는 주장에 대한 흔한 반박은 '모두 같은 인터넷 데이터로 학습했기 때문'이다. 그러나 비교 대상이 언어 모델과 시각 모델이라면 형식도 양식도 다르므로, 이 설명만으로는 정렬 증가를 설명하기 어렵다는 것이 발표자의 논지다.
• 뇌와 인공망의 유사성은 확인되는 만큼 차이도 드러난다. 같은 기하학적 측정을 적용하면 성능 상관은 높게 나오지만 유효 차원에서는 뚜렷한 불일치가 나타나며, 이 간극 자체가 다음 연구 주제가 된다.
• 모듈성의 두 가지 난제는 성격이 다르다. 하나는 모듈적 해를 어떻게 발견하느냐이고, 다른 하나는 모듈이 이미 주어져 있어도 종단간 역전파가 그것을 제대로 연결하지 못한다는 점이다. 후자는 구조를 심어 넣는 것만으로는 부족함을 보여준다.
• 포유류 시각 시스템은 국소적 순환을 가진 소수의 층으로 이루어져 있는데, 컴퓨터 비전의 매우 깊은 신경망과 대비된다. 왜 자연은 이렇게 적은 수를 택했는가는 아직 열린 질문으로 남는다.
• 과정 감독의 효율성은 학습 규칙 논쟁으로 이어진다. 결과만 주어질 때는 회로 전체를 동기적으로 최적화해야 하지만, 계산 과정이 드러나면 국소적 갱신만으로도 충분할 수 있고 이것이 사람의 학습 효율과 연결될지 모른다는 가설이 제시된다.

자주 묻는 질문

관련 AI 소식