AI 에이전트 메모리 설계 입문: 단기·장기·작업 기억과 망각 메커니즘

핵심 메시지

• 오늘날 대다수 AI 앱은 대화가 끝나면 맥락을 잃는 '무상태(stateless)' 구조이며, 메모리를 더하면 상태를 유지하는 에이전트로 바뀐다.
• 에이전트 메모리는 단기·장기뿐 아니라 페르소나, 대화, 워크플로, 엔티티, 툴박스 등 여러 형태로 나뉜다.
• 메모리 관리는 생성·저장·검색·통합·갱신·삭제(망각)의 체계적 과정이며, 그중 검색이 가장 중요하다.
• 긴 컨텍스트 창은 데이터를 모두 욱여넣는 공간이 아니라, 관련 기억만 골라 구조화해 넣기 위한 도구다.
• 사람의 뇌가 계층적 표현으로 학습하듯, 신경과학의 통찰이 에이전트 메모리 설계에 영감을 준다.

쉽게 이해하기

발표자는 향후 수개월간 유효할 실용적 개념으로 'AI 에이전트 메모리'를 제시한다. 핵심 주장은 단순하다. 지금 우리가 만드는 챗봇과 에이전트는 대부분 대화가 끝나면 맥락을 잊는 무상태 구조인데, 여기에 기억을 더하면 사용자와 관계를 쌓아가는 상태 있는(stateful) 시스템으로 바뀐다는 것이다.

그는 지난 2~3년의 흐름을 LLM 챗봇 → RAG(도메인 지식 추가) → 컴퓨팅·데이터 확장에 따른 추론·도구 사용 능력의 창발 → AI 에이전트 시대로 정리한다. 그러면서 '에이전트란 무엇인가'라는 논쟁 대신, 에이전트성은 자율주행처럼 단계가 있는 스펙트럼이라고 본다. LLM이 루프를 도는 최소 에이전트부터, 도구에 접근해 스스로 판단하는 자율 에이전트까지가 한 축 위에 있다는 것이다.

에이전트는 인식(환경 감지)·인지(LLM)·행동(도구 사용)을 갖춘 계산 주체지만, 가장 중요한 요소는 단기 혹은 장기 '메모리'라고 강조한다. 메모리가 있어야 에이전트가 성찰적·상호작용적·능동적·반응적·자율적으로 동작할 수 있기 때문이다.

메모리에는 단기·장기 외에도 작업(working)·의미(semantic)·일화(episodic)·절차(procedural) 기억 등이 있으며, 이는 인간 뇌의 기억 구조와 닮았다. 발표자는 메모리 관리를 생성·저장·검색·통합·갱신·삭제의 과정으로 정의하되, '삭제' 대신 인간처럼 점진적으로 잊는 '망각 메커니즘'을 구현하는 연구가 진행 중이라고 소개한다.

실무 형태로는 페르소나 기억(시스템에 일관된 성격 부여), 대화 기억(타임스탬프·대화 ID·회상 신호 포함), 워크플로 기억(실패한 실행 단계를 학습 경험으로 저장해 다음 실행에 반영), 툴박스 기억(도구 JSON 스키마를 저장해 두고 필요한 것만 검색) 등을 든다. 발표자는 자신이 만든 실험적 오픈소스 라이브러리 'Memoriz'로 이런 설계 패턴을 구현한다고 밝힌다.

주요 인사이트

• RAG는 벡터 검색만이 전부가 아니다. 텍스트·그래프·지오스페이셜 등 여러 검색 방식이 함께 필요하며, 검색 능력을 도구로 에이전트에 넘기면 '에이전틱 RAG'가 된다.
• OpenAI 가이드에 따르면 컨텍스트 창에는 도구 스키마를 10~20개 정도만 넣는 것이 좋다. 도구가 많으면 데이터베이스를 툴박스로 써서 LLM 호출 직전에 관련 도구만 검색해 넣는 방식으로 확장한다.
• 에이전트의 실패는 버려야 할 오류가 아니라 학습 경험이다. 실패 단계를 저장해 두면 다음 실행에서 같은 경로를 피하거나 다른 길을 탐색하도록 LLM에 알릴 수 있다.
• 허블과 비셀이 고양이 시각피질에서 발견한 '계층적 표현 학습'이 합성곱 신경망(CNN)의 토대가 된 것처럼, 가장 뛰어난 지능 설계자는 자연이며 우리는 뇌를 들여다보며 에이전트를 설계할 수 있다.
• 메모리 관리에는 정답이 하나로 정해져 있지 않다. 특정 도구에 의존하기보다 직접 맞춤형 메모리 시스템을 설계할 수 있어야 한다는 점이 강조된다.

자주 묻는 질문

관련 AI 소식