인지 아키텍처 Soar 공동 창시자 존 레어드가 짚은 LLM의 약점과 지속 학습이라는 과제

핵심 메시지

• Soar는 인간 인지에서 발견되는 기능을 하나의 시스템에 모두 담으려는 40년짜리 프로젝트로, 문제 해결에서 출발해 학습·일화 기억·심상까지 범위를 넓혀 왔다.
• 레어드는 모든 지식을 배우는 단일 만능 학습 알고리즘은 없다고 보고, 절차·의미·일화 기억마다 서로 다른 학습 방식을 둔다.
• 그는 스스로를 LLM의 열렬한 팬이라고 밝히면서도, LLM에는 일화 기억과 제대로 된 절차 기억이 없고 온라인 지속 학습을 하지 못한다고 지적한다.
• LLM은 문제 해결을 직접 해 본 적 없이 읽기만 했기 때문에, 문헌에 있는 문제를 조금만 변형해도 읽은 방식에 갇혀 버린다.
• 그가 꼽은 지금 AI의 미해결 문제는 지속 학습이며, 신진 연구자에게는 벤치마크를 2% 올리는 목표보다 더 넓은 질문을 잡으라고 조언한다.

쉽게 이해하기

스탠퍼드 디지털 이코노미 랩의 팟캐스트에서 진행자 톰 미첼이 존 레어드를 초대해 나눈 대화다. 레어드는 1980년대에 앨런 뉴얼, 폴 로젠블룸과 함께 인지 아키텍처 Soar를 공동 개발했고, 이후 40년 동안 같은 질문을 붙들어 왔다. 인간의 문제 해결과 학습을 담아내는 에이전트 구조를 만들 수 있는가 하는 물음이다.

Soar의 출발점은 특정 과제 전용 시스템에서 벗어나는 것이었다. 앞선 GPS 시스템이 하나의 방법으로 열두 가지 퍼즐을 풀었다면, Soar는 과제와 보유한 지식에 따라 여러 방법을 골라 쓰는 범용 문제 해결 엔진을 지향했다. 여기에 로젠블룸이 연구하던 청킹, 즉 긴 문제 해결 과정을 하나의 규칙으로 압축하는 절차 합성이 결합되면서 학습이 들어왔다.

레어드는 기억을 종류별로 나눈다. 기술과 방법을 담는 절차 기억, 세상에 대한 사실을 담는 의미 기억, 자신의 경험을 담는 일화 기억이 있고 지각·운동 기억도 있다. 그는 'wow'라는 단어를 머릿속에서 뒤집어 보고 그 인물의 배우자를 마지막으로 본 때를 떠올리는 예를 들며, 지각과 심상, 의미 기억과 일화 기억이 사람에게는 자연스럽게 이어져 작동한다고 설명한다.

인지과학과의 관계에 대해서는 양방향의 영향을 인정한다. 사람의 행동을 반응 시간 수준까지 정밀하게 모델링하는 ACT-R을 인지과학 쪽의 대표 주자로 높이 평가하면서도, 그쪽에는 일화 기억이나 심상, 계획이 거의 없다는 차이를 짚는다. 다만 그는 AI 전체가 인간을 흉내 내야 한다고 보지는 않는다. 신약 개발처럼 사람과 전혀 다른 방식이 더 나은 문제도 있다는 것이다.

LLM에 대한 평가는 분명하다. 트랜스포머 논문을 읽자마자 혁명이 오리라 느꼈고, 초기 모델이 헤매던 일관성 문제를 극복한 것에 놀랐다고 말한다. 그러면서도 LLM은 온라인에서 계속 배우지 못한다는 점을 결정적 공백으로 꼽는다. 외부 기억을 덧붙여 이력을 저장하려는 최근 시도에 대해서는 어딘가 맞지 않는 느낌이라며, 파국적 망각 없이 가중치를 계속 조정하는 방향이 진짜 과제라고 본다.

주요 인사이트

• 기억을 종류별로 나누자는 Soar의 설계는 LLM에 외부 메모리를 붙이려는 최근 흐름과 문제의식이 겹친다. 다만 레어드는 덧붙이기가 아니라 신경망 가중치가 계속 갱신되는 지속 학습이 본질이라고 본다.
• 그는 범용성과 특화 사이에서 비용을 기준으로 판단하라고 조언한다. 이미 수십억 달러가 들어간 모델을 재활용하는 편이 합리적이지만, 특정 도메인 데이터가 충분하다면 처음부터 학습한 더 작은 모델이 결과적으로 나을 수 있다는 것이다.
• LLM이 특정 문제에서 무너지는 이유를 그는 경험의 부재로 설명한다. 문제 해결과 계획을 직접 수행한 적이 없고 그것에 대해 읽었을 뿐이어서, 문헌 속 문제를 살짝 바꾸면 읽은 대로 생각하다 막힌다는 것이다.
• 웨이모의 접근을 그는 분포 문제를 정면으로 미는 사례로 든다. 현실에서 한 번 있을까 말까 한 상황까지 시뮬레이션으로 만들어 학습시킴으로써 분포 밖 상황 자체를 없애려는 시도라는 해석이다.
• 40년을 돌아본 그의 아쉬움 중 하나는 하나의 접근법이 분야 전체를 장악해 버리는 쏠림이다. 특정 문제에는 다른 좋은 기법이 있는데도 관심이 한쪽으로만 몰린다는 지적이다.

자주 묻는 질문

관련 AI 소식