역전파는 어떻게 태어났나: 인지과학자 제이 맥클렐런드가 회고한 신경망 연구 40년

핵심 메시지

• 1970년대 인지심리학 교과서는 '마음을 연구할 때 뇌는 주변적 관심사'라고 썼지만, 맥클렐런드는 잡음이 있고 연속적인 신경 활동으로 인지를 설명해야 한다고 의심했다.
• 낱글자보다 단어 속 글자를 더 잘 알아본다는 현상을 설명하려 만든 상호작용 활성화 모델이 출발점이었고, 이때는 아직 학습이 아니라 제약 만족이 주제였다.
• 1982년 초 UCSD의 주간 모임에서 힌턴이 '그럴듯한 학습 규칙을 짓지 말고 최적화할 함수를 정한 뒤 미분해 규칙을 유도하라'고 제안했고, 러멜하트가 이를 받아 역전파로 정리했다.
• 계단함수를 부드러운 비선형으로 바꾼 이유는 베이즈적 논거가 아니라 단지 미분이 가능해야 했기 때문이었다.
• 맥클렐런드의 결론: 기호적 표현은 인간이 이해를 외부화하려고 만들어 낸 산물이며, 이해를 가능하게 하는 토대는 아니다.

쉽게 이해하기

스탠퍼드 디지털 이코노미 랩의 대담 시리즈에서 톰 미첼이 제이 맥클렐런드를 만났다. 맥클렐런드는 1960년대 말 학부에서 동물 학습과 정신물리학, 감각생리학을 배우며 세 가지 직관을 얻었다고 말한다. 학습은 연속적인 강화 과정이고, 자극과 지각의 관계에는 딱 떨어지는 문턱이 없으며, 지각 경험은 결국 뉴런들의 상호작용으로 만들어진다는 것이다. 그는 투구게 눈에서 발견된 단순한 신경 회로가 밝은 영역 경계에서 반응이 강해지는 착시를 설명한다는 사실을 예로 든다.

대학원에 들어간 뒤 그가 부딪힌 것은 정반대의 흐름이었는데, 당시 인지심리학은 마음을 이산적인 연산의 순차적 실행으로 보고 뇌는 다른 학과의 문제라고 선을 그었다. 맥클렐런드는 사람이 낱글자보다 단어 속 글자를 더 잘 읽는 현상에 주목했다. 단계적 처리 모델에서는 글자를 먼저 확정해야 단어를 알아볼 수 있으니 모순이지만, 활성화가 부분적으로 번져 나간다면 어떤 글자도 확정되기 전에 조건에 맞는 단어 하나가 앞서 나올 수 있다. 그는 이 직관을 논문으로 냈고, 수학적 이론과 계산 모델이 없다는 이유로 되돌려받았다.

전환점은 제임스 앤더슨의 발표였다. 단순한 한 층 신경망이 헵 규칙으로 학습하고, 유닛의 상태가 조금씩 갱신되며 활성 패턴으로 수렴한다는 구조가 그가 찾던 사고 틀이었다. 1974년부터 UCSD에 있던 그는, 지식을 명시적인 트리 구조로 적어 두는 당시 AI 방식으로는 서로 제약을 주고받게 만들 수 없어 막혔다고 느끼던 데이비드 러멜하트와 1977년 무렵 대화를 시작한다. 두 사람은 시각 특징과 글자, 단어에 해당하는 유닛을 직접 배선한 상호작용 활성화 모델을 만들었고, 이 모델은 존재하지 않는 문자열 'mave'가 주어질 때 유사한 단어들이 함께 부분 활성화되며 일반화가 나타나는 방식까지 설명했다.

1981년 말 연구비와 포스닥이 모이며 연구 그룹이 만들어져, 힌턴·러멜하트·맥클렐런드·데이브 지퍼·폴 스몰렌스키·프랜시스 크릭 등이 1982년 상반기 동안 매주 두 시간씩 모여 PDP 책의 장 구성을 짰다. 맥클렐런드가 기억하는 결정적 장면은 힌턴의 지적으로, 신경과학적 직관에 기대 그럴듯한 학습 규칙을 만드는 대신 최적화하려는 함수를 먼저 쓰고 그것을 미분해 학습 규칙을 얻으라는 것이었다. 부정 연산을 고민하던 러멜하트는 한 층으로는 XOR을 풀 수 없다는 사실에서 출발해, 위드로의 최소평균제곱 규칙을 비선형 은닉 유닛이 있는 네트워크로 일반화했다. 맥클렐런드는 이 작업이 자신이 보스턴에 2년 머무는 동안 이뤄졌다고 덤덤히 덧붙인다.

책이 나온 뒤 신경망은 인지과학과 신경과학, 계산 이론을 잇는 주제가 됐고 맥클렐런드 자신의 관심은 '준규칙적' 구조로 향했다. 영어 과거형이나 철자-발음 대응처럼 대부분을 설명하는 규칙이 있으면서 예외가 군집을 이루고 그 예외마저 규칙의 일부를 공유하는 구조인데, pint의 발음이 규칙대로도 아니고 전혀 무관하지도 않으며 mind 같은 부분 규칙을 공유하는 것이 그 예다. 그는 2026년의 신경망도 1980년대와 같은 주장을 하고 있다고 보는데, 우리의 가장 고차적인 인지 능력조차 연속적인 표현 공간에서 창발한다는 것이다. 근거로는 알파제로의 임베딩을 추적해 찾아낸 구조를 인간 전문가가 명시적 설명 없이 배워 실력이 향상된 연구와, 언어 모델의 발상을 기호적 증명 시스템과 결합해 수학 올림피아드 수준에 이른 방식을 들며 '발견은 직관으로, 증명은 논리로'라는 푸앵카레의 말로 정리한다.

주요 인사이트

• 역전파의 핵심 설계 결정이 이론적 우아함보다 실용적 제약에서 나왔다는 증언은 눈여겨볼 만하다. 부드러운 비선형은 미분이 필요해서 도입됐고, 목적함수에서 학습 규칙을 유도하는 방법론은 신경과학적 그럴듯함을 포기한 대가로 얻어졌다.
• 언어 처리에서 신경망이 규칙 기반 시스템을 앞선 이유를 맥클렐런드는 준규칙성으로 설명한다. 규칙을 명시하면 예외를 어느 한쪽 바구니에 넣어야 하지만, 경사로 학습하면 필요한 만큼만 표현을 겹치거나 분리할 수 있다.
• 기호는 지능의 재료가 아니라 결과라는 관점은 지금의 논쟁에도 그대로 적용된다. 그는 엄밀한 논리 체계가 인간이 직관적 이해를 활용하기 위해 발명한 도구이며, 생물학적 지능의 기본 작동 방식은 아니라고 본다.
• 언어와 숫자의 비교가 흥미롭다. 음소 범주는 연속적인 음성에 억지로 씌운 틀이지만 매우 유용했고, 반대로 세는 일에는 세계에 실제로 이산적인 대상이 있어 십진 자릿값 체계 같은 발명이 필요했다. 다만 그런 체계는 오늘날에도 가르쳐야 익혀진다.
• 신규 연구자에게 준 조언은 그의 경력 자체를 요약한다. 모두가 한 방향을 볼 때 무언가 빠졌다고 느끼면 그 직관을 성급히 접지 말고 각도를 찾으라는 것이다. 그는 자신도 최근 흐름을 따라가지 못하는 부분이 많다고 인정한다.

자주 묻는 질문

관련 AI 소식