AI 에이전트 메모리 패턴: 컨텍스트 트렁케이션·요약·서브에이전트·장기기억 총정리

핵심 메시지

• 현대 LLM의 성능은 모델 품질만이 아니라 어떤 컨텍스트를 주느냐로 결정된다. 목표는 '원하는 결과의 확률을 최대로 높이는 가장 작고 신호가 강한 컨텍스트'다.
• 컨텍스트가 무너지는 실패는 폭증(burst)·충돌(conflict)·오염(poisoning)·잡음(noise) 네 가지로 나뉜다.
• 핵심 전략은 세 가지다. 컨텍스트 창에 맞게 재구성하기, 적절한 컨텍스트를 알맞은 에이전트로 격리·라우팅하기, 고품질 기억을 추출해 필요할 때 다시 불러오기.
• 단기 기억(세션 내)은 잘라내기·압축·요약으로, 장기 기억(세션 간)은 추출·저장·검색으로 다룬다.
• 메모리는 오래되거나 불완전할 수 있으므로 우선순위 규칙과 가드레일을 두고, 시간 태그·가중 감쇠·통합으로 낡은 기억을 정리해야 한다.

쉽게 이해하기

OpenAI 솔루션 아키텍트가 진행한 이 빌드아워는 '컨텍스트 엔지니어링'을 예술이자 과학으로 규정하며 시작한다. 어느 단계에서 무엇이 가장 중요한지 판단하는 예술적 측면과, 반복 가능한 패턴·측정 가능한 효과라는 과학적 측면이 함께 있다는 것이다. 프롬프트 엔지니어링이나 검색은 그 안의 한 조각일 뿐이다.

먼저 컨텍스트가 왜 무너지는지를 네 가지 실패 유형으로 설명한다. 한 턴에서 토큰이 급증하는 폭증, 시스템 지시와 도구 결과가 서로 어긋나는 충돌, 잘못된 정보가 요약·상태 객체를 타고 번지는 오염, 비슷비슷한 도구 정의가 쌓여 생기는 잡음이다. 데모에서는 환불 정책을 통째로 집어넣자 토큰이 300에서 3천 이상으로 튀는 폭증을 실제로 보여준다.

해법으로는 '재구성·격리·추출' 세 전략을 제시한다. 재구성에는 오래된 턴을 버리는 트리밍, 오래된 도구 호출 결과만 걷어내는 컴팩션, 이전 대화를 구조화된 요약으로 압축하는 요약이 있다. 트리밍은 빠르지만 정보를 잃고, 요약은 정보를 지키지만 비용·지연이 늘어 작업 간 의존성에 따라 골라 써야 한다.

장기 기억은 이전 요약을 새 세션의 시스템 프롬프트에 주입해 개인화된 응답을 만드는 방식으로 시연한다. 다만 메모리는 낡았을 수 있다고 전제해 과신하지 않게 하고, 비밀 저장 금지·주입 공격 방어 같은 가드레일을 둔다. 메모리 범위는 사용자 전역과 세션 단위로 나누고, 반복되는 세션 기억은 전역으로 승격한다.

발표자는 프롬프트를 명확·구조적으로 쓰고 도구는 적고 겹치지 않게 유지하며 도구 출력은 신호가 강한 필드만 반환하라고 권한다. 마무리로는 무엇을 기억하고 잊을지 정하고, 안정적 사실은 승격하고 낡은 정보는 잊으며, 메모리 온·오프 평가로 개선을 확인하라고 정리한다.

주요 인사이트

• 컨텍스트는 정적인 것과 동적인 것으로 나뉜다. 시스템 지시·도구 정의·예시는 대체로 고정이고, 도구 결과·검색 지식·메모리·대화 이력은 동적이다. 통제 가능한 대상은 동적 컨텍스트다.
• 트리밍·컴팩션은 컨텍스트 한도에 닿기 전에 40~80% 같은 임계값을 정해 미리 발동시키고, 턴 중간을 끊지 말아야 추적을 잃지 않는다. 절약한 토큰을 추적하면 비용 절감 효과도 확인할 수 있다.
• 좋은 요약 프롬프트는 모순 방지·시간 순서·환각 통제를 명시하고, 식별자·타임라인·시도한 것과 실패한 것 같은 구조화된 사실을 담게 한다.
• 메모리는 처음엔 한두 문장의 구조화된 노트로 단순하게 시작해 필요에 따라 문단 형태로 진화시키는 것이 좋다. 검색은 벡터 DB에 저장해 RAG처럼 검색·필터·랭킹하는 방식으로 확장한다.
• 낡은 기억은 시간 태그로 신구를 구분하거나 가중 감쇠로 최근 것을 우선하고, 상충하는 기억은 통합·덮어쓰기로 정리한다. 많은 사용자로 확장할 때는 검색 시스템 확장과 저장 효율 두 축으로 접근한다.

자주 묻는 질문

관련 AI 소식