카파시의 LLM 위키 만들기: RAG 한계를 넘는 AI 지식 베이스 구축 실전 가이드 완전 정리

핵심 메시지

• RAG는 질문마다 원본 문서를 처음부터 다시 검색하므로 기억이 쌓이지 않고 매번 제로에서 시작하는 한계가 있다.
• 안드레이 카파시의 'LLM 위키'는 AI가 자료를 한 번 읽고 핵심을 추출해 서로 연결된 마크다운 위키로 만들어 지식을 누적시킨다.
• 시스템은 세 층으로 단순하다: 읽기 전용 원본 자료(raw), AI가 만들고 관리하는 위키(wiki), 작동 규칙을 담은 스키마(claude.md).
• 옵시디언(뷰어)과 클로드 코드 같은 AI 코딩 에이전트만 있으면 폴더를 만들 줄 아는 비개발자도 따라 만들 수 있다.
• 코드 린터처럼 위키도 주기적으로 '린트'해 모순·오래된 주장·고아 페이지·누락 개념을 점검하며 건강하게 키운다.

쉽게 이해하기

영상은 우리가 AI로 문서를 다루는 방식의 근본 문제를 지적하며 시작한다. ChatGPT나 NotebookLM에 문서를 올리고 질문하면 AI가 파일을 뒤져 관련 조각을 꺼내 답을 준다. 잘 작동하지만, 내일 비슷한 질문을 하면 AI는 그 모든 작업을 처음부터 다시 한다. 아무것도 저장되지 않고 쌓이지 않으며 모든 질문이 제로에서 출발한다. 이 방식이 바로 RAG(검색 증강 생성)이며, 단순한 질문엔 괜찮지만 다섯 개 문서에 걸친 아이디어를 연결해야 하는 질문에선 매번 조각을 찾아 꿰매야 하는 병목이 된다.

OpenAI 공동창업자이자 전 테슬라 AI 디렉터인 안드레이 카파시가 제안한 'LLM 위키'는 이를 뒤집는다. 질문할 때마다 원본 문서를 검색하는 대신, AI가 자료를 한 번 읽고 그것으로 구조화된 위키 — 서로 링크된 마크다운 파일로 된 지속적 지식 베이스 — 를 만든다. 새 자료(PDF나 기사)를 추가하면 AI는 그냥 저장하는 게 아니라 읽고 핵심을 뽑아 위키에 통합한다. 기존 페이지를 갱신하고 새 개념엔 새 페이지를 만들며 관련 아이디어를 연결하고, 기존 내용과 모순되면 표시까지 한다. 카파시는 옵시디언을 IDE, LLM을 프로그래머, 위키를 코드베이스에 비유한다.

시스템 구조는 세 층으로 단순하다. 1층은 원본 자료(raw)로 PDF·기사·회의록 등 진실의 원천이며 AI가 읽되 절대 바꾸지 않는 읽기 전용이다. 2층은 위키(wiki)로 AI가 만들고 유지하는 마크다운 파일 폴더이며 인덱스·개념 페이지·요약 비교 등이 모두 링크된다. 3층은 스키마로, AI가 위키를 어떻게 구조화하고 새 자료를 어떻게 처리하며 어떻게 포맷할지 알려주는 규칙 문서다. 클로드 코드를 쓴다면 이는 vault 루트의 claude.md 파일이 된다.

실전 구축은 무료 노트 앱 옵시디언을 뷰어로 쓰고, 클로드 코드(또는 코덱스·커서 등 파일을 읽고 쓰는 AI 에이전트)를 엔진으로 쓴다. 옵시디언에서 vault(폴더)를 만들고 raw·wiki·templates 세 폴더를 둔 뒤, 루트에 claude.md를 둔다. 스키마에는 위키의 목적(영상에선 '일본 여행 계획' 예시), 폴더 구조, 자료 수집 워크플로(읽기→핵심 추출→페이지 생성·갱신→인덱스 갱신→변경 기록), 페이지 포맷 규칙(상단 요약·출처 표기·관련 개념 링크), 질문 답변 동작(위키 우선 참조·출처 인용·불확실성 명시)을 담는다.

데모에서 도쿄 여행 블로그를 raw에 넣고 클로드에게 '새 자료를 읽고 위키를 갱신하라'고 하자 약 3분 만에 동네별·요약 페이지가 생기고 그래프 뷰에 연결이 형성된다. 음식 가이드를 두 번째 자료로 넣자 새 페이지 생성에 그치지 않고 기존 동네 페이지까지 갱신한다. 이후 '최고의 음식과 주요 사찰에 가까운 동네는?'처럼 두 자료를 모두 요구하는 질문에 AI는 원본을 검색하지 않고 위키 페이지들에서 점을 연결해 출처를 인용하며 답한다. 다만 영상은 한계도 분명히 한다 — 개인 규모(약 100편 기사)에 최적이고, 자료가 나쁘면 결과도 나쁘며(쓰레기 입력=쓰레기 출력), AI 에이전트가 반드시 필요하고, AI도 실수할 수 있어 린트 기능과 검토가 필요하다.

주요 인사이트

• RAG의 핵심 병목은 '기억의 부재'다. 매 질문이 원본 검색을 반복하므로 며칠간 자료를 읽어온 연구자에게도 AI는 매번 '처음 읽는' 것처럼 행동한다.
• LLM 위키의 발상 전환은 '검색을 질문 시점이 아니라 자료 수집 시점에 미리 끝내 둔다'는 데 있다. 합성과 연결이 미리 되어 있으니 답할 때 제로에서 시작하지 않는다.
• 카파시의 비유 — 옵시디언=IDE, LLM=프로그래머, 위키=코드베이스 — 는 사용자가 위키를 직접 쓰지 않고 '무엇을 넣고 무엇을 물을지'에만 집중하면 된다는 역할 분담을 명확히 한다.
• '위키 린트'는 소프트웨어 린터를 지식 관리에 옮긴 아이디어로, 페이지 간 모순·낡은 주장·고아 페이지·페이지 없는 개념을 자동 점검해 지식 베이스를 건강하게 유지한다.
• 데이터가 평문 마크다운으로 내 컴퓨터에 남아 내가 소유한다는 점, 그리고 무료로 구축 가능하다는 점이 이 워크플로의 실용성을 크게 높인다.

자주 묻는 질문

관련 AI 소식