AI 에이전트 메모리 설계: 작업·일화·의미·절차 4가지 기억을 RAG로 구현하는 법

핵심 메시지

• 언어 모델은 매 추론이 사실상 무상태(stateless)여서, 넘겨준 맥락 밖의 어떤 것도 기억하지 못한다. 이를 보완하려 인지과학의 기억 개념을 에이전트 설계에 옮긴다.
• 발표자는 RAG 기반 에이전트에 작업·일화·의미·절차 4가지 기억을 구현하며, 이는 논문 '언어 에이전트를 위한 인지 아키텍처(CoALA)'에서 영감을 받았다.
• 작업 기억은 현재 대화 전체를 매번 다시 넣어 맥락을 유지하는 것으로, 챗봇에 가장 흔한 기억 형태다.
• 일화 기억은 과거 대화(에피소드)와 그 회고(무엇이 통했고 무엇을 피할지)를 벡터 DB에 저장했다가 유사 상황에서 불러오는 '동적 퓨샷 프롬프팅'으로 구현된다.
• 의미 기억은 사실 지식을 담은 전통적 RAG, 절차 기억은 모델 가중치와 시스템 코드에 해당하며, 여기서는 지속되는 지침 목록(10개)을 시스템 프롬프트에 붙이는 방식으로 근사한다.

쉽게 이해하기

언어 모델을 호출할 때마다 그 추론은 사실상 무상태다. 즉 사용자가 그 순간 넘겨준 맥락 외에는 어떤 사전 지식도 기억도 활용하지 못한다. 반면 사람은 어떤 과제를 마주할 때 세상에 대한 일반 지식, 비슷한 과거 과제, 그 뒤의 회고, 배운 기술을 순식간에 끌어와 접근 방식을 다듬는다. 이 격차를 메우기 위해 발표자는 심리학의 기억 개념을 에이전트 설계로 옮겨, RAG 기반 에이전트에 네 가지 기억을 구현한다.

첫 번째는 작업 기억(working memory)이다. 지금 처리 중인 즉각적 정보를 다루는 단기 기억으로, 챗봇에서는 사용자와 AI가 주고받은 모든 메시지를 목록으로 쌓아 매번 언어 모델에 다시 넣는 방식이다. 발표자는 시스템 프롬프트로 시작해 사용자·AI 메시지를 계속 덧붙이며, '내 이름은 애덤'이라고 알려준 뒤 '내 이름이 뭐냐'고 물으면 전체 대화가 재투입돼 정확히 답하는 과정을 보여준다.

두 번째는 일화 기억(episodic memory)으로, 과거의 작업 기억들을 '에피소드'로 회상하는 것이다. 각 대화가 끝나면 회고 단계를 거쳐 원문 대화와 함께 맥락 태그, 요약, '무엇이 통했는지', '무엇을 피할지'를 추출해 벡터 DB(예: Weaviate)에 저장한다. 새 메시지가 들어오면 의미·BM25 하이브리드 검색으로 가장 유사한 과거 대화를 찾아 시스템 프롬프트에 동적으로 끼워 넣는 '동적 퓨샷 프롬프팅'으로 응답을 안내한다. 이 지점에서 시스템은 개별 상호작용을 넘어 여러 대화의 패턴에서 배우기 시작한다.

세 번째는 의미 기억(semantic memory)으로, 특정 경험과 무관한 사실·개념의 구조적 지식이다. 언어 모델에는 지식이 가중치에 내장돼 있지만, 의미 기억은 질의 가능한 명시적 사실을 벡터 DB에서 검색해 응답을 사실에 근거시키는 전통적 RAG로 구현된다. 발표자는 CoALA 논문을 800자 단위로 청킹·임베딩해 저장하고, '네 가지 기억이 무엇이냐' 같은 질문에 검색된 청크를 별도 메시지로 끼워 넣어 답하게 한다. 이 메시지는 매 사용자 메시지마다 새로 만들어졌다가 교체돼 맥락 과부하를 막는다.

네 번째는 절차 기억(procedural memory)으로, 자전거 타기처럼 '어떻게 하는지'에 대한 기억이다. 언어 모델 시스템에서 이는 본질적으로 모델의 가중치와 오케스트레이션 코드에 해당하므로, 진짜 절차 기억을 바꾸려면 파인튜닝이나 코드 수정이 필요하다(레트로포머·보이저 논문 사례). 발표자는 이를 간소화해, 대화가 끝날 때마다 '무엇이 통했고 무엇을 피할지'를 회고해 10개의 지속되는 지침·요령 목록을 텍스트 파일로 유지·갱신하고 이를 시스템 프롬프트에 항상 붙인다. 네 기억이 함께 작동하면 무상태 모델이 지속적 맥락과 학습을 갖춘 에이전트로 올라선다.

주요 인사이트

• 언어 모델의 무상태성을 정면으로 보완하는 것이 작업 기억이며, 챗봇 경험 대부분에 이미 내장된 가장 흔한 기억 형태다. 나머지 세 기억은 이 위에 지속성과 학습을 얹는다.
• 일화 기억의 핵심은 원문 대화만 저장하는 게 아니라, 회고를 통해 '무엇이 통했고 무엇을 피할지'라는 학습을 함께 뽑아내 유사 상황에 적용한다는 점이다.
• 전통적 RAG를 '기억 시스템'으로 보는 관점, 즉 사실 지식을 벡터 DB에 두고 관련 부분을 검색해 응답을 근거화하는 것이 의미 기억이다.
• 절차 기억은 다른 세 기억과 달리 바꾸면 에이전트의 작동 방식 자체가 시스템 수준에서 달라진다. 진정한 구현은 모델 파인튜닝이나 코드 생성·수정(보이저의 마인크래프트 함수 생성 등)이다.
• 의미 기억 메시지는 매 사용자 메시지마다 새로 만들어 붙였다가 제거·교체하는데, 이는 한꺼번에 너무 많은 맥락이 검색돼 시스템이 무거워지는 것을 막기 위한 설계다.

자주 묻는 질문

관련 AI 소식