구글 Hope 아키텍처: 트랜스포머의 '동결된 LLM' 한계를 넘는 지속 학습 연구

핵심 메시지

• 오늘의 대형언어모델(LLM)은 대규모 학습이 끝나면 사실상 학습을 멈추는 '동결(frozen)' 상태이며, 대화 중의 문맥 내 학습은 문맥이 사라지면 함께 사라진다.
• 파라미터를 계속 갱신하려 하면 새 학습이 기존 지식을 덮어쓰는 '파국적 망각(catastrophic forgetting)'이 발생한다.
• 구글의 논문 'Nested Learning: The Illusion of Deep Learning Architecture'는 뇌의 신경가소성과 뇌파(다중 시간 척도 학습)에서 영감을 받아 'Hope' 아키텍처를 제안한다.
• Hope의 기본 부품인 '신경 학습 모듈(NLM)'은 각기 다른 목표·학습률·갱신 빈도를 갖고 실시간으로 자기 가중치를 갱신하는 작은 학습자처럼 동작한다.
• 서로 다른 빈도로 갱신되는 '연속 메모리 시스템(CMS)'이, 한 모듈이 잃은 정보를 아직 갱신되지 않은 다른 모듈이 보존하는 방식으로 파국적 망각을 완화한다.

쉽게 이해하기

영상은 오늘날 AI의 가장 큰 한계가 지능이 아니라 '기억'일 수 있다는 질문으로 시작한다. 현재의 모델은 방대한 데이터로 한 번 학습된 뒤 고정된 시스템으로 배포되며, 학습이 끝나면 사실상 더 배우지 못한 채 '시간 속에 얼어붙는다'. 대화 안에서의 적응(in-context learning)은 가능하지만 그 학습은 지속되지 않고, 문맥이 사라지면 모델은 원래 상태로 되돌아간다.

2017년 구글의 'Attention Is All You Need' 논문 이후 트랜스포머 구조·최적화·대규모 스케일링이 모델을 크게 발전시켰지만, '학습이 끝나면 학습을 멈춘다'는 근본 제약은 그대로 남았다. 논문은 이 한계를 새로운 기억을 형성하지 못하는 신경학적 질환인 전향성 기억상실증(anterograde amnesia)에 비유하고, 이를 넘어서려는 새 학습 패러다임 'Nested Learning'과 Hope 아키텍처를 제시한다.

Hope의 영감은 인간의 뇌다. 하나는 신경가소성으로, 뇌가 새로운 경험이나 손상에 대응해 영역을 재편성하는 능력이다(심한 뇌전증 치료로 뇌 일부를 제거한 아동이 이후 대체로 정상적 인지 능력을 회복하는 사례가 소개된다). 다른 하나는 뇌파로, 고주파는 빠른 처리·단기 적응을, 저주파는 장기 기억 공고화를 담당한다. 즉 뇌는 여러 시간 척도에서 동시에 학습하지만, 딥러닝 모델은 대개 모든 파라미터를 같은 속도로 갱신하는 '단일 학습 빈도'로 동작한다.

Hope에서 층(layer)은 데이터를 통과시키는 정적인 구조가 아니라, 들어오는 정보를 압축·내재화하도록 스스로 국소 최적화 문제를 푸는 '신경 학습 모듈(NLM)'들의 작은 교실이다. 각 모듈은 고유한 목표, 학습률, 갱신 빈도를 갖는다. 어텐션의 역할은 'Self-Modifying Titans'가 대신하고, 그 뒤를 서로 다른 빈도로 갱신되는 피드포워드 모듈들의 '연속 메모리 시스템(CMS)'이 잇는다. CMS는 지식이 한꺼번에 바뀌지 않게 하여 파국적 망각의 안전망이 된다.

결과 측면에서 Hope는 긴 입력 속 작은 정보를 찾는 'needle in a haystack' 과제에서 트랜스포머를 앞섰고, 7억 6천만·13억 파라미터 규모의 언어모델링·상식 추론 벤치마크에서 평균 최고 성능을 보였으며, 여러 지속 학습 벤치마크에서 기존 기법을 능가했다. 다만 모든 토큰을 압축 없이 보관하는 어텐션이 '완벽한 메모리'로 작동하는 순수 회상 과제에서는, 정보를 가중치로 압축하는 Hope가 어텐션 기반보다 불리하다는 한계도 함께 제시된다.

주요 인사이트

• 트랜스포머의 문맥 내 학습은, 가중치는 갱신 빈도가 0이고 어텐션은 입력 전체에 직접 접근하는 '무한 갱신 빈도'라는 극단적 시간 척도 분리로 해석할 수 있다.
• Hope는 층을 쌓는 것 자체가 아니라 '학습 갱신이 일어나는 순서와 빈도의 위계'가 진짜 깊이를 만든다고 보며, 이것이 논문 제목의 '딥러닝 아키텍처의 착시'라는 표현으로 이어진다.
• Self-Modifying Titans는 메모리를 갱신하는 옵티마이저의 학습률과 감쇠율까지 스스로 생성해, 모델이 '자기 자신을 어떻게 갱신할지'를 학습한다.
• 정보를 가중치에 압축하는 Hope는 순수 회상에서는 어텐션보다 불리하지만, 어텐션의 2차(quadratic) 비용을 피해 긴 시퀀스로 훨씬 잘 확장된다는 장점이 있다.

자주 묻는 질문

관련 AI 소식