RNN·LSTM으로 이해하는 AI의 기억 — 순환 신경망이 시간을 다루는 원리

핵심 메시지

• AlexNet 같은 표준 신경망은 시간 개념이 없어, 영상 프레임을 무작위로 섞어도 알아채지 못하는 '기억상실증' 상태다.
• 순환 신경망(RNN)은 각 상태가 이전 상태의 '메아리(echo)'를 함께 받도록 해 시간·순서를 신경망에 심는다.
• 바닐라 RNN은 매 시점마다 신호를 활성화 함수와 가중치로 반복 처리해 압축하기 때문에 장기 의존성을 학습하지 못한다.
• 해법은 정보를 반복 처리하지 않고 거의 그대로 흘려보내는 통로다. 이는 아주 깊은 신경망을 가능케 한 잔차 연결(residual connection)과 같은 발상이다.
• 뉴런마다·시점마다 얼마나 기억할지 스스로 정하는 '망각 게이트'가 GRU·LSTM의 핵심이며, 이 선택적 망각이 장기 기억을 가능케 했다.

쉽게 이해하기

AlexNet은 2012년 등장해 AI 역사의 전환점을 만든 이미지 분류망이다. 사진을 넣으면 1,000개 확률을 뱉어 무엇이 들어 있는지 알려준다. 그러나 영화를 분석하려고 프레임을 한 장씩 넣으면 문제가 드러난다. 각 분석이 서로 완전히 독립적이라 프레임을 무작위로 섞어도 신경망은 눈치채지 못한다. 역행성 기억상실증에 걸린 전문가처럼, 이미지가 사라지는 순간 그것이 존재했다는 사실조차 잊는다. 반면 우리 뇌는 방금 본 장면이 지금 보는 장면의 해석을 좌우하며 맥락을 쌓고 시간의 화살을 이해한다.

신경망의 기본 단위인 뉴런은 들어오는 신호에 가중치를 곱해 합산하며 내부 상태(세포막 전압에 비유)를 쌓고, 활성화 함수로 이를 다음으로 보낼 신호로 바꾼다. 수천 개 뉴런이 층으로 묶이고, 한 층의 상태는 이전 층 신호에 가중치 행렬을 곱해 계산된다. '점화하고 투사하기(fire and project)'를 층층이 반복하는 이 순방향 신경망은 정적이고 일방향이다. 새 상태는 바로 앞 층의 신호에만 의존할 뿐 5분 전에 무슨 일이 있었는지 모른다.

여기에 시간을 넣는다. 층 L의 상태가 지금 들어오는 신호뿐 아니라 '과거 자신의 메아리'도 함께 받도록 방정식을 다시 쓴다. 가장 자연스러운 선택은 순방향 경로의 논리를 그대로 복사해, 시간축 전파도 별도의 순환 가중치로 점화-투사하게 만드는 것이다. 이것이 1980년대에 시도된 바닐라 RNN이다. 그러나 실전에서 심각한 문제가 있다. 정보가 시간축을 따라 흐를 때마다 활성화 함수와 순환 가중치를 거쳐 처리·압축·재해석되므로, 100 시점을 지나면 원 신호는 100번 뭉개진다. 매 단계 내용이 바뀌는 전언 게임과 같다.

핵심 통찰은 이렇다. 순방향 경로는 애초에 정보를 버리도록(다양한 고양이 사진을 같은 출력으로 압축) 설계된 연산인데, 우리는 그것을 정반대인 '시간을 가로질러 정보를 충실히 보존'하는 데 썼으니 실패가 당연하다. 필요한 건 정보가 반복 처리되지 않고 거의 그대로, 선택적이고 통제된 수정만 받으며 흐르는 통로다. 딥러닝 커뮤니티는 이미 다른 맥락에서 이 통찰에 도달했다. 신호가 층의 변환을 통째로 건너뛰게 하는 잔차 연결이 아주 깊은 신경망을 훈련 가능하게 만든 혁신이다. 바닐라 RNN에는 시간축의 이 잔차 연결이 빠져 있었다.

가장 단순한 해법은 이전 상태의 일부 비율 알파를 그대로 유지하는 것이다. 알파가 0이면 기억상실 상태로 돌아가고, 1이면 모든 입력이 쌓이기만 해 찾을 수 없는 '쌓아두기(hoarding)'가 된다. 0과 1 사이면 최근 입력은 강하게 오래된 입력은 지수적으로 희미해지는 '새는 양동이'가 되는데, 이는 뉴런 막전위(누설 적분-발화 뉴런)와 똑같은 자연의 기억 방식이다. 하지만 고정된 단일 알파로는 '영화 첫 장면의 이름은 끝까지 유지하되 각 장면의 세부는 곧 잊는' 두 요구를 동시에 못 채운다. 그래서 뉴런마다·시점마다 다시 계산되는 벡터 게이트, 곧 작은 시그모이드 신경망으로 만든 망각 게이트로 스칼라 알파를 대체한다. 이 학습된 적응형 밸브가 GRU와 LSTM의 핵심이며, 선택적·맥락 의존적 망각이야말로 순환 신경망에 장기 의존성 학습 능력을 준 단 하나의 아이디어다.

주요 인사이트

• 프레임을 섞어도 알아채지 못한다는 점이 표준 신경망에 '시간 개념이 없다'는 사실을 가장 극명하게 보여준다.
• 바닐라 RNN이 장기 기억에 실패하는 근본 원인은 기억 함수를 '정보를 버리도록 설계된' 순방향 연산에서 복사해 왔기 때문이다.
• 잔차 연결(정보를 변환 없이 흘려보내는 지름길)은 깊은 신경망과 순환 신경망의 장기 기억이라는 서로 다른 문제에 대한 같은 해답이다.
• 고정 알파의 '새는 양동이'는 컴퓨팅 신경과학의 누설 적분-발화 뉴런과 수식적으로 동일하다. 공학과 뇌가 같은 메커니즘에 수렴했다.
• GRU와 LSTM의 차이는 배관(업데이트 게이트 유무, 상태 벡터 1개 대 2개)일 뿐, 핵심은 둘 다 '메아리 위의 학습된 적응형 밸브'로 같다.

자주 묻는 질문

관련 AI 소식