AI 에이전트 메모리 정리: 작업 메모리·단기 메모리·장기 메모리의 차이와 구현

핵심 메시지

• AI 에이전트의 메모리는 앱에서 상태(state)를 다루는 것과 매우 비슷하며, 용도에 따라 여러 종류로 나뉜다.
• 작업 메모리는 계산 과정을 적어 두는 "메모지", 단기 메모리는 현재 세션의 맥락, 장기 메모리는 세션이 끝난 뒤에도 기억할 속성이다.
• 잘못된 RAG 결과처럼 틀린 정보는 단기 메모리에서 삭제해 에이전트가 그쪽으로 치우치지 않도록 해야 한다.
• 장기 메모리는 긴 세션 데이터를 그대로 저장하는 대신 요약해 핵심만 남겨 두는 "브레인 덤프"에 가깝다.

쉽게 이해하기

영상은 AI 에이전트의 메모리를 앱 개발에서의 상태 관리에 비유하며 시작한다. 사람처럼 에이전트도 용도에 따라 여러 종류의 메모리를 서로 다른 구성 요소와 짝지어 사용한다는 것이 핵심이다.

첫 번째는 작업 메모리(working memory)다. 여러 작업을 함께 수행할 때 다음 단계 계산을 위해 중간 상태를 적어 두는 "메모지"에 비유된다. 긴 수학 문제를 풀 때 중간 식을 한 줄씩 적어 답을 찾아가는 것과 같다. 구현은 응답이나 출력을 변수나 메모리에 잠깐 담아 두는 정도로 간단할 수 있다.

두 번째는 단기 메모리(short-term memory)로, 현재 세션이나 대화의 맥락이다. 빠르게 다시 불러와 이후 단계로 계속 넘겨 가장 정확한 답을 만들기 위한 정보다. 예를 들어 RAG 결과를 단기 메모리에 저장해 이후 작업에 쓸 수 있다. 다만 잘못된 답이 들어 있다면 에이전트가 그 정보에 과도하게 의존하지 않도록 삭제하는 것도 고려해야 한다.

세 번째는 장기 메모리(long-term memory)다. 세션이 끝난 뒤에도 남겨야 할, 사용자나 세션에 대한 속성에 가깝다. 작업·단기 메모리를 모은 뒤 요약해 핵심만 저장하는 방식으로, 긴 세션 데이터를 통째로 저장하지는 않는다. 예컨대 코딩 에이전트가 늘 고치는 부분이 있다면 이를 장기 속성으로 저장해 매번 다시 계산(비용 발생)하지 않고 작업 시작 시 상기시킬 수 있다.

마지막으로 여러 에이전트가 있는 시스템에서는 공통 세션으로 서로 통신하면서도, 작업 성격에 따라 각자 고유한 세션 정보를 가질 수 있다. 신용카드 번호처럼 민감한 데이터는 특정 에이전트 안에만 두고, 비식별화한 정보만 다음 작업·에이전트로 넘기는 데이터 프라이버시 규칙도 적용할 수 있다.

주요 인사이트

• 에이전트 메모리 설계는 새로운 개념이 아니라, 앱 개발에서 이미 하던 상태 관리 패턴으로 대부분 대응된다.
• 단기 메모리에서 틀린 정보를 적극적으로 삭제하는 것은, 에이전트가 오답에 과도하게 가중치를 두는 것을 막는 실용적 안전장치다.
• 장기 메모리는 데이터를 통째로 쌓는 것이 아니라 요약·압축해 핵심 속성만 남기는 것이 비용과 효율 측면에서 유리하다.
• 반복되는 교정 사항을 장기 속성으로 저장해 두면 매 작업마다 다시 계산하는 비용을 줄일 수 있다.
• 멀티 에이전트에서는 공통 세션 공유와 에이전트별 비공개 세션, 그리고 민감정보 비식별화를 함께 설계해야 한다.

자주 묻는 질문

관련 AI 소식