AI 에이전트 메모리 하네스 실험: 랭킹 기반 회상 정책이 정확도와 비용을 동시에 잡았다

핵심 메시지

• 메모리는 데이터베이스가 아니라 쓰기·관리·읽기가 도는 제어 루프로 봐야 한다.
• 자료가 전부 컨텍스트 안에 들어가는 작업에서는 메모리 하네스가 정확도를 올리지 못하고 비용만 늘렸다.
• 답이 124번째 단계에 있고 질문이 500번째 단계에서 나오는 긴 작업에서는 회상 방식이 성패를 갈랐다.
• 정답 메모리를 그대로 넣어 주는 조건조차 최고 점수를 내지 못했다. 모델이 그것을 쓰도록 강제되지 않기 때문이다.
• 나쁜 메모리는 비싸다. 토큰을 더 쓰면서 에이전트를 엉뚱한 방향으로 밀어낸다.

쉽게 이해하기

사카나 AI의 연구원 스테파니아 드루가가 AI 엔지니어 행사에서 긴 시간 돌아가는 연구용 에이전트의 메모리 문제를 다뤘다. 오래 도는 작업에서 모델은 앞뒤가 맞지 않는 말을 하고, 이미 끝낸 일을 잊고 다시 하고, 처음 질문에서 서서히 멀어진다. 발표자는 이 현상을 '컨텍스트 로트'라 부르며, 풀어야 할 작업의 시간 지평은 계속 길어지는 반면 새 모델 출시는 뜸해지고 있어 이 문제가 곧 더 중요해진다고 봤다.

실험은 전부 손안의 기계에서 이뤄졌다. 96GB 메모리에 28코어를 단 맥 한 대 위에서 소형 모델 두 종을 돌렸고, 발표자는 도쿄 책상에 선풍기를 둘러 놓은 그 기계를 휴대폰으로 원격 조종하며 평가를 이어갔다. 로컬 모델을 고른 이유는 데이터부터 연산 기록까지 모든 단계를 통제할 수 있어서였다. 실제로 한 대형 거래소 경영진이 로컬 모델 전환과 라우팅·캐싱·컨텍스트 관리 개선으로 AI 사용량은 늘리면서 지출은 줄였다고 밝힌 사례도 근거로 들었다.

하네스 구조는 단순하다. 늘 모델에게 보여 주는 핵심 기록, 그때그때 꺼내 오는 회상 블록, 세션을 넘어 쌓이는 보관 블록으로 나뉜다. 모델은 고정해 두고 회상 블록만 바꿔 가며 비교했다. 메모리를 아예 쓰지 않는 기준선, 벡터 검색, 매 턴의 결정을 기록해 순위를 매기는 결정 원장, 그리고 정답 메모리를 알려 주는 오라클까지 네 단계다.

첫 실험은 문헌 검토였다. 큰 주장을 담았다가 나중에 철회된 논문을 포함한 자료 더미에서 정확한 답을 찾게 했는데, 자료가 전부 컨텍스트에 들어가는 조건이어서 메모리를 붙이든 떼든 성능이 같았고 비용만 늘었다. 반면 답이 나온 시점과 질문이 오는 시점이 수백 단계 떨어진 긴 작업으로 옮기자 결과가 갈렸다. 68개 질문을 여러 조건으로 돌린 결과 순위를 매기는 결정 원장 방식이 가장 좋았고, 이는 두 모델과 다른 벤치마크에서도 재현됐다.

흥미로운 대목은 오라클이 만점을 내지 못했다는 점이다. 정답 메모리를 건네줘도 모델이 그것을 무시하거나 엉뚱하게 해석할 수 있기 때문이다. 발표자는 여기서 회상 정책을 시스템의 부수 기능이 아니라 일급 설계 요소로 다루자고 제안한다. 무엇을 저장할지, 어떻게 순위를 매길지, 여러 세션을 지나며 무엇이 살아남는지를 직접 설계하라는 것이다.

주요 인사이트

• 메모리를 붙이는 판단의 기준은 '작업이 컨텍스트에 들어가는가'다. 들어간다면 하네스는 비용만 늘리는 장치가 된다.
• 회상 성능은 저장 용량이 아니라 순위 매기기에서 나왔다. 무엇을 위에 올릴지 정하는 규칙이 검색 방식보다 결과를 크게 좌우했다.
• 좋은 회상 정책은 정확도와 비용을 동시에 개선했다. 불필요한 기록을 밀어내면 토큰 소모도 함께 줄기 때문이다.
• 정답을 쥐여 주는 것과 그것을 쓰게 만드는 것은 다른 문제다. 오라클 조건의 미달성 점수가 이 간극을 그대로 보여 준다.
• 로컬 모델 실험은 통제력을 주는 대신 속도를 가져간다. 배치 질의가 안 되는 모델은 평가를 직렬로 돌려야 해 며칠이 걸린다.

자주 묻는 질문

관련 AI 소식