AI 에이전트 메모리 한계 정리: 벡터 검색 대신 그래프 메모리가 필요한 이유와 실제 비교 데모 결과

핵심 메시지

• 세션이 바뀔 때마다 에이전트가 기억을 잃는 문제는 컨텍스트 창을 키우는 것만으로는 해결되지 않는다.
• 벡터 검색은 '비슷한 것'을 찾아줄 뿐 실제 관계를 알려주지 못해, 여러 단계를 거쳐야 답이 나오는 질문에서 무너진다.
• 그래프 메모리는 사실을 노드와 관계로 저장해 다단계 추론을 정확하고, 설명 가능하고, 감사 가능하게 만든다.
• 같은 원본 문서를 벡터 저장소와 그래프 저장소로 각각 구축해 비교한 데모에서 구체적인 답을 낸 쪽은 그래프였다.
• 그래프 전문가가 아니어도 요즘 모델이 쿼리 작성과 엔티티 추출기 구현을 대신 해줄 수 있다.

쉽게 이해하기

이 영상은 AI Engineer 컨퍼런스의 그래프 트랙 첫 발표로, Neo4j에서 개발자 관계 팀을 이끄는 스티븐 친이 무대에 올랐다. 그는 게를 닮은 가상의 비서 캐릭터를 앞세워, 우리가 매일 쓰는 에이전트가 왜 기대만큼 똑똑하게 굴지 못하는지를 풀어놓는다. 발표의 결론은 단순하다. 더 많은 토큰을 밀어 넣는 대신 기억을 저장하는 구조 자체를 바꿔야 한다는 것이다.

발표자가 지목한 증상은 세 가지다. 하루가 지나 새 세션이 열리면 메모리 파일이 갈아엎어지며 어제 한 일을 통째로 잊고, 도구는 잔뜩 쥐여줬는데 정작 상황에 맞는 도구를 고르지 못하며, 이미 가르친 작업을 매번 다시 가르쳐야 한다. 결과적으로 사람이 같은 맥락을 반복해서 떠먹여야 하는 구조가 굳어진다.

가장 흔한 해법인 벡터 검색에 대해서는 분명한 한계를 짚는다. 임베딩만 있으면 바로 쓸 수 있을 만큼 접근성은 좋지만, 벡터 공간에서 가깝다는 것이 실제로 관계가 있다는 뜻은 아니다. 그래서 비슷해 보이지만 다른 사실을 끌어와 환각을 만들고, 여러 단계를 건너뛰며 연결해야 하는 질문에서는 아예 답에 도달하지 못한다. 이런 연결 추적을 전통적인 관계형 데이터베이스로 흉내 내려면 비용도 크게 늘어난다.

대안으로 제시된 그래프는 개체를 노드로, 개체 사이의 연결을 엣지로 두고 그 위에 속성을 얹는 구조다. 임베딩까지 그래프 안에 저장할 수 있어 두 방식을 함께 쓸 수 있다는 점이 핵심이다. 데모에 쓰인 구성도 하이브리드였다. 먼저 벡터 검색으로 출발점이 될 시드 노드를 찾고, 거기서 이웃 노드로 한 단계씩 뻗어 나가며 관련도로 순위를 매겨 맥락에 넣는 식이다.

실제 비교는 발표자의 홈랩을 통째로 디지털 트윈으로 만든 환경에서 진행됐다. 인터넷에 노출된 채 지원이 끝난 소프트웨어를 찾아달라는 질문에 벡터 쪽은 구체적인 정보를 찾지 못했다는 취지의 답을 내놓은 반면, 그래프 쪽은 문제가 된 서버 이름과 낡은 OS 버전을 정확히 지목했다. 관리 포트가 외부에 열려 있는지 묻는 질문에서도 그래프 쪽은 라우터 노드를 찾아 거기서 연결된 결과를 따라가며 답을 좁혔다. 발표자는 데모 이후 실제로 그 구멍들을 막았다고 덧붙였다.

주요 인사이트

• 컨텍스트 창이 100만 토큰까지 늘어도, 대규모 조직의 데이터를 마크다운 파일에 쌓아두는 방식으로는 감당이 안 된다는 것이 발표의 출발점이다.
• 그래프 기반 답변은 어떤 경로를 타고 나왔는지 눈으로 확인할 수 있어, 결과가 틀렸을 때 추출 방식이나 중복 노드 같은 손볼 지점이 분명해진다.
• 벡터와 그래프는 양자택일이 아니다. 벡터로 진입점을 잡고 그래프로 확장하는 조합이 실전에서 쓰이고 있다.
• 정확성·설명 가능성·감사 가능성이라는 세 가지 요구는 금융처럼 근거를 남겨야 하는 분야일수록 무게가 커진다.
• 발표자는 그래프 검색을 다룬 책의 사전 공개판과 무료 온라인 교육 과정을 마지막에 소개했다.

자주 묻는 질문

관련 AI 소식