AI 에이전트 메모리 이해하기: 단기·장기 기억과 핫패스·백그라운드

핵심 메시지

• 에이전트 메모리는 크게 대화 범위의 단기 기억과 여러 대화(스레드)를 넘나드는 장기 기억으로 나뉜다.
• 랭그래프에서 체크포인트는 한 스레드 안의 단기 기억을, 스토어(store) 추상화는 스레드를 가로지르는 장기 기억을 담당한다.
• 단기 기억은 메시지 필터링(최근 N개·토큰 수·메시지 유형 기준)이나 LLM 요약으로 관리한다.
• 장기 기억 갱신은 애플리케이션 로직이 직접 하는 핫패스와, 별도 프로세스가 처리하는 백그라운드 방식이 있으며 각각 장단점이 갈린다.
• 기억의 형태는 지시(문자열), 프로필(키-값 딕셔너리), 객체 목록으로 나뉘며 무엇을 저장할지는 애플리케이션마다 달라야 한다.

쉽게 이해하기

랭체인은 메모리가 에이전트 세계에서 가장 흥미로운 주제 중 하나라며, 랭그래프에 메모리 기능을 대거 추가하고 있다고 말한다. 이 영상은 코드 없이 개념을 다루는데, 핵심 전제는 메모리가 매우 애플리케이션 특화적이어야 한다는 점이다. 그래서 만능 메모리 추상화나 서비스보다는, 각자 자신에게 맞는 메모리를 구현할 수 있는 저수준 구성 요소를 제공하는 쪽을 지향한다.

메모리는 크게 두 종류다. 단기 기억은 주로 대화 기억으로, 랭그래프의 체크포인트가 특정 스레드(하나의 대화)에 대한 기억을 유지한다. 장기 기억은 최근 새로 다루기 시작한 개념으로, 스토어(store)라는 새 추상화가 여러 스레드에서 얻은 정보를 가로질러 저장하고 새 대화를 처리할 때 그 정보를 끌어와 쓰게 한다.

단기 기억의 흔한 기법은 메시지 필터링이다. AI와 주고받는 대화가 길어질수록 메시지 목록이 늘어나므로, 최근 10개만 남기는 단순한 방식부터 토큰 수 기준, 혹은 도구 메시지보다 사람·AI 메시지를 우선 남기는 유형 기준까지 쓸 수 있다. 필터링만으로 부족하면 이전 메시지를 LLM으로 요약해 그 요약을 그래프 상태에 저장해 넘긴다.

장기 기억을 애플리케이션에 넣는 방식은 두 가지다. '핫패스'는 애플리케이션 로직이 직접 메모리를 갱신하는 방식으로, 갱신이 투명해 사용자에게 보여 줄 수 있고 실시간이지만 지연이 늘고 로직이 복잡해진다. '백그라운드'는 별도 프로세스가 실시간 혹은 30분·1시간 뒤에 갱신하는 방식으로, 지연이 없고 로직을 깔끔히 분리할 수 있으나, 사용자에게 드러내기 어렵고 새 대화 시점에 갱신이 안 돼 있을 수 있으며 언제 갱신을 트리거할지 추가로 고민해야 한다.

장기 기억에서는 무엇을 어떤 형태로 저장할지가 중요하다. 첫째 지시(instructions)는 시스템 프롬프트에 넣는 문자열로, 사용자 상호작용·피드백에 따라 갱신된다. 예컨대 트윗 작성 앱에서 사용자가 이모지를 계속 지우면 LLM이 그 상호작용을 종합해 '이모지를 쓰지 말라'고 프롬프트를 고친다. 둘째 프로필(profile)은 이름·나이·친구처럼 사용자에 관해 기억할 키-값 딕셔너리다. 셋째는 이런 객체들의 목록으로, 예를 들어 좋아하는 식당의 이름·위치·종류를 모으는 경우인데, 추가뿐 아니라 갱신·삭제까지 다뤄야 해 프롬프트 설계가 더 복잡하다. 랭체인은 메모리에 만능 해법은 없으며 애플리케이션에 맞춰 직접 만들 수 있도록 도구를 제공하려 한다고 강조한다.

주요 인사이트

• 메모리에는 만능 해법이 없다는 것이 랭체인의 관점이며, 그래서 범용 추상화 대신 저수준 구성 요소를 제공한다.
• 단기 기억은 '무엇을 버릴까'의 문제(필터링·요약)이고, 장기 기억은 '무엇을 언제 남길까'의 문제로 성격이 다르다.
• 핫패스와 백그라운드의 선택은 투명성·실시간성과 지연·복잡성 사이의 상충으로, 애플리케이션 요구에 따라 갈린다.
• 기억의 형태를 지시·프로필·목록으로 구분하면, 저장·갱신·삭제에 필요한 프롬프트 설계 난도가 각각 달라진다.
• 백그라운드 갱신의 진짜 난제는 성능이 아니라 '언제 갱신을 트리거할지' 결정하는 로직에 있다.

자주 묻는 질문

관련 AI 소식