리저버 컴퓨팅 원리: 무작위 순환 신경망으로 복잡한 패턴을 만드는 법

핵심 메시지

• 뇌는 외부 자극 없이도 내부적으로 복잡한 신경 활동 패턴(예: 머릿속에서 재생되는 노래, 새의 지저귐, 운동 명령)을 만들어내는데, 이를 ‘자율적 패턴 생성’이라 부른다.
• 순환(recurrence)은 단순한 공학적 보정이 아니라, 뉴런들이 서로의 활동을 되먹임하며 스스로 진동하는 ‘동역학계’의 본질적 성질로 볼 수 있다.
• 순환 신경망은 시간에 따라 상호작용이 얽혀 학습이 매우 어렵다. 리저버 컴퓨팅은 내부 연결을 아예 학습하지 않고 무작위로 둔 채, 마지막 ‘읽기(readout)’ 층만 학습한다.
• 무작위 뉴런들의 활동은 푸리에가 사인파로 임의의 곡선을 합성하듯, 목표 신호를 재구성할 수 있는 풍부한 ‘기저(basis)’를 이룬다.
• 따라서 뇌의 무질서해 보이는 연결은 결함이 아니라, 복잡한 행동을 만들어내는 강력함의 원천일 수 있다.

쉽게 이해하기

영상은 눈을 감고 특정 노래를 떠올리면 귀가 울리지 않아도 그 소리가 머릿속에서 재생되는 경험으로 시작한다. 이는 외부 세계가 밀어 넣는 것이 아니라 뇌가 내부에서 신호를 생성하는 것으로, 뇌가 반드시 풀어야 하는 근본 과제인 ‘자율적 패턴 생성’의 예다.

이전 편에서 다룬 표준 신경망은 시간 감각이 없는 정적인 기계다. 여기에 순환을 도입해 뉴런이 자기 활동을 되먹이게 하면, 마치 수영장에 뛰어든 뒤에도 물결이 벽에 반사되고 서로 간섭하며 계속 춤추듯, 입력이 사라진 뒤에도 시스템이 자체 물리에 따라 움직이는 일종의 기억이 생긴다.

다만 실제 수영장의 물결이 마찰로 잦아들 듯, 신경망도 안정성을 위해 활동이 서서히 사라지는 ‘에코 상태 성질’로 조율된다. 가중치를 너무 키우면 초기 조건에 극도로 민감한 혼돈(chaos)에 빠져, 한 뉴런의 미세한 오차가 폭발적으로 커져 계산이 불가능해진다.

긴 노래를 유지하려면 물을 계속 휘저을 ‘구동 신호’가 필요하다. 뇌의 세타·감마파 같은 리듬 진동이 이런 박자 역할을 한다. 지루한 사인파 같은 구동 신호를 새의 지저귐 같은 흥미로운 목표 신호로 바꾸는 것이 목표인데, 순환 때문에 이 학습은 악명 높게 어렵다.

2000년대 초 연구자들은 발상을 뒤집었다. 뒤엉킨 내부를 길들이려 하지 말고 그대로 받아들이자는 것이다. 무작위 연결은 손대지 않고, 모든 뉴런의 활동을 가중합해 듣기만 하는 ‘읽기 뉴런’의 가중치만 조정한다. 이는 놀랍게도 점들에 직선을 맞추는 선형 회귀와 같은 수학이어서 최적 가중치를 한 번에 계산할 수 있다.

주요 인사이트

• 핵심 전환은 ‘모든 연결을 세밀하게 조율하는 미시 관리’에서 ‘무작위 저수지를 그대로 두고 출력만 학습’하는 것으로의 이동이다. 순환으로 상호작용이 시간축에서 얽히면 특정 가중치를 1% 바꾼 효과가 10초 뒤 예측 불가능하게 나타나 매듭을 풀기 어렵기 때문이다.
• 리저버 컴퓨팅이 작동하는 이유는 푸리에의 통찰과 닮았다. 푸리에는 풀기 어려운 복잡한 열 분포를 여러 개의 단순한 사인파의 합으로 보고 각각을 쉽게 풀어 더했다. 사인·코사인이 ‘보편적 구성 요소(기저)’를 이루듯, 충분히 많은 무작위 시간 패턴도 목표 신호를 합성할 기저가 된다.
• 각 뉴런이 제멋대로 소리치더라도, 마이크의 볼륨(읽기 가중치)만 잘 조절하면 그 합창이 목표 노래처럼 들리게 만들 수 있다. 즉 무작위성 안에 이미 답이 숨어 있고, 우리는 그것을 올바른 각도에서 바라보기만 하면 된다.
• 이는 생물학적 신경 회로가 복잡한 행동을 내기 위해 반드시 정밀 설계될 필요는 없음을 시사한다. 무질서하고 무작위로 보이는 연결의 엉킴이 버그가 아니라, 시스템을 강력하게 만드는 바로 그 특징일 수 있다.

자주 묻는 질문

관련 AI 소식