LLM 지식 그래프의 출처 추적(프로버넌스): AI 에이전트 메모리 설계법

핵심 메시지

• LLM은 여러 출처를 비결정적으로 해석·종합해 사실을 만들어 내기 때문에, 결과물이 원문에 그대로 들어 있지 않고 '어디서 왔는지'의 흔적이 사라지기 쉽다.
• 프로버넌스(provenance)는 어떤 결과물이 어떻게·왜 만들어졌는지를 추적하는 것으로, 법적 규제 대응뿐 아니라 디버깅·신뢰 판단·삭제 결정에도 필요하다.
• 사실에 '출처 ID'를 붙이는 방식은 정형 데이터 창고에서는 통하지만, 엔티티 병합·사실 무효화가 계속 일어나는 LLM 파이프라인에서는 무너진다.
• 출처와 사실의 관계를 그래프의 연결로 모델링하면, 사실 추적은 단순한 '그래프 탐색'이 되고 병합·수정·삭제에도 계보(lineage)가 살아남는다.
• 계보는 사후에 로그로 남기는 것이 아니라 데이터 구조 자체에 설계로 내장해야 한다.

쉽게 이해하기

AI 엔지니어 콘퍼런스에서 Zep AI의 대니얼 챌레프가 발표한 이 강연은, 대규모 언어 모델(LLM)이 만들어 내는 '사실'의 출처를 어떻게 추적할 것인가라는 문제를 다룬다. LLM은 여러 문서를 한꺼번에 읽고 요약·추출·구조화하지만 그 과정이 비결정적이어서, 출력된 문장이 원문 어디에도 그대로 존재하지 않는 경우가 많다. 종합하는 순간 '누가·어디서 이 정보를 제공했는가'의 자취가 지워진다는 것이 핵심 문제다.

강연은 의료 시나리오를 예로 든다. 에이전트가 '환자에게 페니실린 알레르기가 있다'는 깔끔한 사실을 되돌려 주지만, 이 문장은 전자건강기록(EHR)·PDF 검사 결과·환자가 AI 접수 챗봇에 직접 입력한 내용이라는 세 출처가 합쳐진 결과다. 만약 '환자 본인이 입력한 정보'라는 사실을 표시하지 않고 의사에게 제시하면, 신뢰도가 전혀 다른 정보가 같은 무게로 다뤄져 잘못된 판단으로 이어질 수 있다.

단순히 사실마다 출처 ID를 저장하면 되지 않느냐는 반론에 대해, 발표자는 LLM 맥락 파이프라인에서는 이것이 여러 방식으로 깨진다고 설명한다. 하나의 사실이 여러 출처에서 종합되고, 'J. Smith'와 'John Smith' 같은 엔티티가 하나로 병합되며, 새 데이터가 옛 사실을 무효화한다. 그래서 계보는 고정된 포인터가 아니라 변화를 견디며 진화하는 '집합'이어야 한다.

해법으로 제시하는 것이 그의 팀이 만든 오픈소스 시간 그래프 프레임워크 Graffiti다. 출처 데이터는 에피소드로, 추출된 개념은 엔티티(노드)로, 둘 사이의 관계는 엣지(=사실)로 표현한다. 이렇게 하면 사실을 출처까지 되짚는 일이 그래프 탐색으로 단순해진다. 두 엔티티가 병합되면 양쪽의 출처 링크를 모두 보존해야 하고, 새 데이터가 기존 사실과 모순되면 해당 엣지에 무효 날짜를 붙이고 원인이 된 출처를 기록한다.

발표자는 태그를 활용한 메타데이터 투영, 다중 출처 검증 정책, 삭제 규칙까지 다룬다. 수집 시점에 'EHR' 같은 태그를 붙이면 그로부터 파생된 모든 사실이 태그를 물려받아 '검증된 임상 출처만' 걸러 낼 수 있다. 알레르기처럼 생명이 걸린 정보는 출처 하나라도 미검증이면 차단하고, 동의서처럼 모든 출처가 검증돼야 하는 정보는 정책이 정반대다. 삭제(잊힐 권리) 역시 '남은 출처가 하나도 이 사실을 지지하지 않을 때만 삭제'라는 규칙으로 깔끔하게 처리된다.

주요 인사이트

• 맥락을 만들어 내는 과정은 '손실이 있고 생성적'이다. 따라서 계보 추적은 나중에 로그로 붙이는 기능이 아니라 데이터 구조(그래프)에 처음부터 설계돼야 한다.
• 출처를 그래프 관계로 모델링하면 규제 준수, 사실의 진위 판단, 디버깅('왜 이 사실이 있지?'), 삭제 결정이 모두 같은 구조 위에서 자연스럽게 풀린다.
• 그래프는 '어느 출처가 특정 태그를 가졌는가'를 노출할 뿐, 그것을 근거로 처방을 막을지 말지 같은 비즈니스 규칙은 상황에 따라 에이전트가 적용해야 한다.
• 계보·출처 추적과 그래프 구축은 비용이 크기 때문에, 가능한 곳에서는 LLM 대신 엔트로피·심해시(SimHash) 같은 전통적 정보검색·NLP 기법을 써서 더 싸고 빠르고 결정적으로 처리한다.
• 마크다운·파일 기반 메모리는 단일 사용자 데스크톱에서는 잘 작동하지만, 다중 에이전트·다중 사용자·다중 출처의 기업 환경에서는 출처 추적이 특히 취약해진다.

자주 묻는 질문

관련 AI 소식