AI 에이전트 메모리 쉽게 이해하기: 컨텍스트 창과 장기 기억은 무엇이 어떻게 다른가

핵심 메시지

• 모델은 어제 있었던 일이나 이전 세션을 저절로 기억하지 않는다. 애플리케이션이 그 정보를 다시 넣어 주거나 꺼내 올 도구를 줘야 한다.
• 컨텍스트는 지금 이 순간 모델이 보고 있는 활성 정보이고, 메모리는 모델 바깥에 저장돼 나중에 쓰일 수도 있는 정보다.
• RAG, 요약, 프로필은 컨텍스트 한계를 우회하는 초기 방식이었지만 각각 잘못된 검색, 정보 손실, 낡은 정보라는 한계를 안고 있다.
• 컨텍스트 창이 커진다고 문제가 풀리지 않는다. 본질은 토큰을 더 담는 것이 아니라 메모리를 관리하는 일이기 때문이다.
• 에이전트 메모리는 한 번의 동작이 아니라 저장과 활용이 이어지는 순환이며, 오래 이어지는 작업에서는 사실뿐 아니라 경험도 기억해야 한다.

쉽게 이해하기

에이전트가 주목받기 전까지 대부분의 LLM 애플리케이션은 컨텍스트 창에 거의 전적으로 기대고 있었다. 시스템 프롬프트와 현재 사용자 메시지, 그리고 최근 대화 기록 정도가 모델이 기억할 수 있는 전부였다. 여기서 가장 중요한 사실은 모델이 어제 일어난 일이나 열 번의 도구 호출 이전 상황, 지난 세션의 내용을 저절로 기억하지 않는다는 점이다. 그 정보를 프롬프트에 다시 넣어 주는 것도, 꺼내 올 도구를 쥐여 주는 것도 애플리케이션의 몫이다.

그래서 먼저 구분해야 할 것이 컨텍스트와 메모리다. 컨텍스트는 활성 상태로, 모델이 지금 한 번의 연산을 수행하는 동안 보고 있는 내용이다. 반면 메모리는 모델 바깥에 저장돼 나중에 쓰일 수도, 쓰이지 않을 수도 있는 정보다. 컴퓨터에 비유하면 이해하기 쉽다. 작업 중인 문서는 램에 올라가 빠르게 접근되지만 영구적이지 않아 전원이 꺼지면 사라지고, 오래 남기려면 디스크 같은 곳에 써야 한다. 에이전트에게 컨텍스트 창은 램에, 장기 기억은 디스크에 가깝다.

전용 메모리 체계가 등장하기 전에는 크게 세 가지 방식으로 컨텍스트 한계를 우회했다. RAG는 지식 베이스 전체를 프롬프트에 밀어 넣는 대신 관련 있는 조각만 검색해 왔고, 요약은 모든 메시지를 남기는 대신 지금까지의 흐름을 압축했으며, 프로필은 사용자의 선호나 문체, 진행 중인 프로젝트 같은 사실을 표 형태로 저장해 개인화를 도왔다.

다만 세 방식 모두 한계가 뚜렷하다. RAG는 엉뚱한 정보를 가져올 수 있고, 데이터를 나누고 임베딩하고 색인하고 알맞은 조각을 순위까지 매겨 뽑아 와야 해서 겉보기보다 설정 부담이 크다. 요약은 어떤 세부 사항이 중요한지를 모델의 판단에 맡기기 때문에 손실이 생기고, 나중에 필요해진 정보가 이미 잘려 나갔다면 되살리기 어렵다. 프로필은 사용자의 행동이 변해도 저장된 사실을 계속 유효한 것처럼 다루다 보니 낡거나 서로 모순될 수 있다.

결국 컨텍스트 창이 커지는 것만으로는 문제가 해결되지 않는다. 메모리는 더 많은 토큰을 담는 문제가 아니라 관리의 문제이기 때문이다. 그래서 메모리는 에이전트 스택 안에서 하나의 독립된 계층으로 다뤄져야 하고, 한 번의 동작이 아니라 순환 구조로 이해해야 한다. 앞쪽 절반은 쓰기다. 에이전트가 무슨 일이 있었는지 관찰하고, 무엇이 중요한지 판단해 어딘가에 남긴다. 뒤쪽 절반은 활용이다. 필요한 정보를 꺼내 컨텍스트에 되돌리고, 달라진 것이 있으면 갱신한다.

주요 인사이트

• 메모리의 어려움은 저장 공간이 아니라 판단에 있다. 에이전트가 보는 것 대부분은 영원히 기억할 가치가 없기 때문에, 무엇을 남길지 고르는 일 자체가 까다로운 문제다.
• 컨텍스트를 램에, 장기 기억을 디스크에 빗대는 비유는 왜 무엇을 저장하고 언제 다시 불러올지 결정하는 별도의 체계가 필요한지를 직관적으로 보여 준다.
• 오래 이어지는 작업에서 에이전트는 사실만이 아니라 경험도 기억해야 한다. 지난번에 어떤 접근이 통했는지, 어떤 실수를 피해야 하는지가 여기에 해당한다.
• 긴 호흡의 작업을 평가하는 벤치마크에서 메모리가 중요해지는 이유가 여기 있다. 여러 단계에 걸쳐 일관성을 유지하는 능력이 오늘의 어시스턴트와 다음 세대 에이전트를 가르는 큰 차이가 될 수 있다.

자주 묻는 질문

관련 AI 소식