AI 세컨드 브레인 지식 부패 해결법: 상태와 사건을 분리해 낡은 기억을 걸러내는 정리 절차

핵심 메시지

• AI에 붙이는 개인 지식 저장소는 대부분 비슷한 구조를 갖고, 그래서 같은 약점을 공유한다. 시간이 지나면 정보가 낡고 서로 모순되기 시작한다는 것이다.
• 핵심 원인은 대부분의 시스템이 기본적으로 덧붙이기만 한다는 데 있다. 새 정보가 들어와도 기존 정보를 덮어써야 하는지 되돌아보지 않는다.
• 해법은 들어오는 정보를 '상태'와 '사건' 두 갈래로 나누는 것이다. 사건은 그대로 쌓고, 상태는 낡은 값을 교체한다.
• "모든 정보에 날짜를 적어라"처럼 구조 없는 지시는 거의 통하지 않았다. 한 테스트 기준으로 규칙을 지킨 비율이 8%에 그쳤다.
• 정리 작업을 자동화하더라도 무엇을 지울지는 사람이 확인해야 한다. 실제로 낡은 정보만 걸러내고 유효한 정보는 남기도록 사람이 개입하는 지점을 남겨두는 편이 안전하다.

쉽게 이해하기

AI에 개인·업무 지식을 축적해 쓰는 이른바 '제2의 뇌'는 요즘 가장 널리 쓰이는 활용법 중 하나다. 몇 시간이면 설치할 수 있는 오픈소스 저장소도 여럿 나와 있다. 그런데 어떤 방식으로 만들든 구조는 비슷해진다. 에이전트의 행동 방식과 핵심 기억을 담은 문서, 매일 쌓이는 일일 기록, 그리고 개념과 대상을 정리한 위키 형태의 지식 그래프다. 구조가 같으니 약점도 같다.

그 약점이 정보의 부패다. 사람의 기억처럼 AI의 지식 저장소도 낡는다. 반년 넘게 직접 운영해 온 콜 메딘은 몇 달만 써도 에이전트가 더 이상 사실이 아닌 정보를 꺼내는 상황을 겪게 된다고 말한다. 문제는 단순히 오래된 정보가 남아 있는 것이 아니라, 에이전트를 돕는 대신 방해한다는 데 있다.

구조를 뜯어보면 이유가 보인다. 대화 시작 시점에 항상 불러오는 핵심 문서가 있고, 필요할 때 검색해서 읽는 지식 그래프가 있으며, 조사 과정에서 외부에서 끌어온 자료가 또 따로 쌓인다. 같은 사실을 서로 다른 곳에 다른 방식으로 적어 둘 수밖에 없는 구조다. 그래서 처음에 불러온 내용과 나중에 검색해 읽은 내용이 어긋나는 일이 생기고, 에이전트는 둘 중 어느 쪽을 택할지 알 수 없게 된다.

영상에서는 가상의 사례로 이 문제를 보여준다. 자동화 대행사를 운영하는 인물이 한 고객사와의 월 계약금을 4,000달러에서 6,000달러로, 다시 9,500달러로 올렸다고 하자. 핵심 기억 문서에는 4,000달러가 그대로 남아 있고, 일일 기록에는 6,000달러가 적혀 있으며, 가장 최근 금액은 또 다른 기록에 있다. 실제로 계약금을 묻자 에이전트는 시간 순서를 어느 정도 파악해 6,000달러라고 답했지만, 정작 최신 값은 놓쳤다.

해법으로 제시된 기준은 단순하다. 저장소로 들어오는 모든 정보는 상태이거나 사건이다. 계약을 이행했다거나 어떤 기능을 만들기로 했다는 것은 사건이므로 그대로 덧붙이면 된다. 반면 현재 요율이나 로드맵처럼 '지금 어떠한가'를 나타내는 정보는 상태이므로, 들어오는 순간 기존의 낡은 값을 찾아 교체해야 한다. 정리된 문서는 언제든 바뀔 수 있는 상태 영역과 시각이 찍힌 사건 기록으로 나뉘고, 에이전트는 무엇이 현재 값이고 무엇이 지나간 일인지 구분할 수 있게 된다.

주요 인사이트

• 지시보다 절차가 강하다. 날짜를 적어 두고 알아서 낡은 정보를 판단하라는 요청은 거의 지켜지지 않았지만, 정보가 들어올 때마다 두 갈래 중 하나를 고르게 하는 구조를 만들자 동작했다. 높은 수준의 당부 대신 매번 거쳐야 하는 판단 과정을 심는 것이 요령이다.
• 덧붙이기 전용 설계는 편리하지만 대가가 있다. 기록을 잃지 않는다는 장점이 있는 대신, 무엇이 현재 유효한 값인지를 아무도 관리하지 않게 된다.
• 이 방식은 강력한 모델에만 통하는 기법이 아니다. 상태와 사건을 가르는 판단은 언어 모델에게 비교적 쉬운 축에 속하기 때문에, 로컬에서 작은 모델로 돌리는 환경에서도 무리 없이 적용할 수 있다는 것이 그의 견해다.
• 핵심 기억 문서와 지식 그래프 사이의 중복은 없애야 할 결함이 아니라 감당해야 할 구조다. 항상 불러오는 요약본과 필요할 때 찾아보는 상세본은 역할이 다르므로, 중복을 없애기보다 어긋나지 않게 유지하는 쪽이 현실적인 목표다.
• 자동 정리 도구를 돌릴 때는 삭제 전에 멈춰 서는 지점을 두는 편이 낫다. 무엇이 낡았는지 찾아주는 것까지는 맡기되, 실제로 지울지는 사람이 확인하는 방식이다.

자주 묻는 질문

관련 AI 소식