MIT 딥러닝 강의 1강 정리 — 퍼셉트론부터 알렉스넷까지, 신경망 부침의 역사와 오늘의 쟁점

핵심 메시지

• 강의는 딥러닝을 신경망과 미분 가능 프로그래밍이라는 두 축이 만나는 지점으로 정의한다.
• 신경망의 역사는 열광과 침체가 약 28년 주기로 반복돼 왔고, 지금은 열광 구간의 한복판이라는 진단이 나왔다.
• 2012년 알렉스넷의 도약은 알고리즘만이 아니라 GPU 활용과 대규모 라벨 데이터가 함께 갖춰졌기에 가능했다.
• 매개변수가 많으면 과적합한다는 고전 이론과 달리, 현대의 거대 모델은 어느 지점을 넘기면 오히려 일반화가 좋아지는 이중 하강 현상을 보인다.
• 같은 표현력이라도 넓고 얕은 신경망보다 좁고 깊은 신경망이 훨씬 적은 매개변수로 같은 일을 해낸다.

쉽게 이해하기

MIT 오픈코스웨어가 공개한 대학원 딥러닝 과목의 첫 강의는 강의 소개와 신경망 기초를 함께 다룬다. 강연자는 자신이 이 분야를 공부하기 시작한 13년 전만 해도 머신러닝은 '작동하지 않는 기술'이었다고 말문을 열었다. 지금은 텍스트 생성부터 3차원 복원, 이미지 생성, 코드 작성까지 사회 곳곳에 닿아 있다는 것이다.

강의가 내세운 딥러닝의 정의는 두 가지 축으로 이뤄진다. 하나는 선형 변환을 쌓고 그 사이에 원소별 비선형 함수를 끼워 넣는 신경망 구조이고, 다른 하나는 프로그램의 일부를 매개변수로 두고 경사 기반 최적화로 그 값을 맞춰 나가는 미분 가능 프로그래밍이다. 두 축이 만나야 비로소 딥러닝이라는 것이 이 과목의 관점이다.

역사 부분은 신경망을 향한 '열광의 곡선'으로 정리된다. 1958년 로젠블랫의 퍼셉트론이 큰 반향을 일으켰지만, 1972년 민스키와 페퍼트가 퍼셉트론의 한계를 수학적으로 못 박으면서 열기가 식었다. 1986년 병렬 분산 처리 연구가 역전파를 제시해 다층 퍼셉트론 학습의 길을 열었고, XOR처럼 선형 분리가 불가능한 문제를 풀 수 있게 되면서 다시 관심이 몰렸다. 1998년 르쿤의 합성곱 신경망이 나왔지만 2000년 무렵의 대표 학회에서는 논문 제목에 '신경'이나 '망'이 들어가면 오히려 탈락 확률이 높았다는 일화가 겨울의 분위기를 보여 준다.

전환점은 2012년 알렉스넷이었다. 강연자는 알렉스 크리제프스키가 그래픽 처리 장치를 신경망 학습에 쓰는 방법을 알아냈다는 점, 그리고 이미지넷이라는 대규모 데이터가 준비돼 있었다는 점을 함께 강조했다. 이론과 구조는 이미 있었지만 효율적으로 학습시킬 수단과 데이터가 없어 겨울이 길었다는 설명이다. 오늘의 딥러닝을 떠받치는 요소로는 자동 미분 프레임워크, 수십억 건 규모의 데이터, 수천 장의 GPU 병렬 학습, 그리고 남의 가중치를 부품처럼 재사용하는 오픈소스 문화가 꼽혔다.

후반부는 이 과목이 다룰 쟁점을 예고한다. 신경망이 왜 일반화하는지가 대표적이다. 고전 이론은 매개변수가 데이터보다 많으면 과적합한다고 봤지만, 실제로는 보간 임계점을 넘긴 초과 매개변수 구간에서 성능이 다시 좋아지는 이중 하강이 관찰된다. 다만 강연자는 무한한 계산 자원이 없는 현실에서는 곡선 위 어딘가의 적정 지점을 찾는 일이 중요하다고 덧붙였다. 이 밖에 근사 이론, 합성곱·그래프·트랜스포머·순환 신경망, 표현 학습과 생성 모델, 전이 학습, 규모의 법칙이 차례로 예고됐다.

주요 인사이트

• 이 강의의 역사 서술은 '무엇이 막혀 있었는가'에 초점이 있다. 이론이 아니라 학습 수단과 데이터가 병목이었다는 진단은 지금의 병목이 무엇인지 되묻게 한다.
• 강연자는 기말 과제로 논문이 아니라 블로그 형식의 글을 요구한다. 기술적 깊이를 줄이지 않으면서 시각적으로 설명하는 능력이 이미 연구자의 기본기가 됐다는 인식이 담겨 있다.
• 수강생에게 계산 자원을 제공하지 않는다는 안내와 함께, 규모로 승부하지 않고도 의미 있는 연구를 하는 방법을 고민하라는 주문이 나온다. 대규모 학습이 소수에게 집중되는 흐름에 대한 문제의식이다.
• 성능만 좇는 관점에 대한 균형추도 있다. 강연자는 스테이블 디퓨전처럼 비교적 가벼우면서도 큰 영향을 남긴 사례를 들며 항상 커야 좋은 것은 아니라고 지적했고, 학습의 탄소 비용도 언급했다.
• 가중치를 공개하지 않고 API만 여는 흐름이 늘고 있다는 언급은, 재사용 가능한 부품이 학문적 진보를 이끌어 온 이 분야의 성격과 정면으로 부딪친다.

자주 묻는 질문

관련 AI 소식