GraphRAG 실전 정리: 레이크하우스 데이터를 그래프로 묶어 AI 에이전트 맥락 만들기

핵심 메시지

• 레이크하우스에서 데이터에 '접근'하는 건 이제 어렵지 않다. 진짜 문제는 에이전트에게 질문에 맞는 '올바른 맥락'을 어떤 모양으로 넘겨주느냐다.
• 벡터 검색과 텍스트투SQL은 표 몇 개·문서 몇 건에는 잘 통하지만, 표가 수백 개·문서가 수백만 건으로 커지면 정보가 사이로 새어 나가고 '자신 있게 틀린' 답을 낸다.
• 그래프가 빛을 발하는 건 개별 질문이 아니라 '전체를 훑는' 질문이다. 무엇이 빠졌는지(부정 증명), 데이터 전반의 패턴, 비슷한 표들을 어떻게 조인할지 같은 물음이다.
• 속성 그래프는 노드(사람·장소·사물), 관계(그 사이의 동사), 속성(문자열·숫자·날짜·벡터)으로 이뤄져 '미리 조인된 표'처럼 노드 사이를 값싸게 오갈 수 있다.
• 워크숍은 맥락을 세 가지 모양—연결(데이터 웨어하우스 위의 의미 계층), 목차(링크가 달린 트리 구조), 테마(숨은 전역 패턴·군집)—으로 나눠 정형·비정형 데이터에 각각 적용한다.

쉽게 이해하기

네오포지(Neo4j)의 AI 리서치 엔지니어 잭 블루멘펠드는 레이크하우스에 정형 데이터를 담는 웨어하우스와 비정형 문서를 담는 데이터 레이크라는 두 축이 있다고 짚는다. 오늘날 텍스트투SQL과 벡터 검색 덕에 데이터에 닿는 것 자체는 쉬워졌지만, 에이전트가 필요한 만큼의 데이터를 올바른 방식으로 '보게' 만드는 일은 여전히 까다롭다.

그는 BigQuery 위에 그대로 코파일럿을 올리면 데이터를 끌어오긴 해도 '자신 있게 틀릴' 수 있다고 경고한다. 벡터 검색은 문서에서 비슷한 것을 찾고 텍스트투SQL은 표 몇 개를 다루지만, 표가 수백 개로 늘거나 문서가 수십만·수백만 건이 되면 필요한 정보가 누락되기 쉽다는 것이다.

그래프가 특히 유용한 지점은 '단지(estate) 수준'의 질문이다. 예컨대 '우리가 다루지 못한 문서는 무엇인가' 같은 부정 증명은 유사도만 맞추는 의미 검색으로는 답하기 어렵다. 또 데이터 전반을 순회해 반복되는 실패 패턴이나 리콜의 군집을 찾거나, 서로 닮은 표들을 어떻게 조인해야 하는지 파악하는 데도 그래프가 힘을 발휘한다.

그래프의 기본은 속성 그래프 모델이다. 노드는 사람·장소·사물을, 관계(엣지)는 '사람이 차를 소유한다' 같은 동사를 나타내고, 노드와 관계 모두에 문자열·숫자·날짜·벡터 같은 속성을 붙일 수 있다. 데이터를 넣을수록 '미리 조인된 표'처럼 서로 얽혀, 노드 사이를 값싸게 건너뛸 수 있다는 게 핵심 이점이다.

워크숍은 가상의 전국 자동차 정비 체인 '오토픽스'를 예로 든다. 차량 매뉴얼과 안전 공지·리콜 문서, 그리고 정비 이력이 쌓인 웨어하우스를 두고, 현장 기술자를 돕는 코파일럿을 만드는 상황이다. 여기에 맥락의 세 모양—연결(웨어하우스 위 의미 계층), 목차(다양한 링크가 달린 트리), 테마(미리 알기 어려운 전역 패턴과 군집)—을 정형·비정형 데이터에 각각 얹어, 작은 질문의 정확도와 효율은 물론 전체를 훑는 질문까지 답하게 만든다.

주요 인사이트

• '데이터 접근'과 '올바른 맥락 제공'은 다른 문제다. 검색 도구가 데이터를 가져와도, 질문에 맞게 데이터의 한 조각을 잘라 주는 일은 별개의 설계 과제다.
• 의미(벡터) 검색은 비슷한 것을 찾는 데는 강하지만 '없는 것'을 찾는 부정 증명에는 약하다. 무엇이 누락됐는지 같은 물음엔 전체를 순회할 수 있는 그래프 구조가 더 맞다.
• 그래프를 '미리 조인된 표'로 보는 관점이 유용하다. 표가 수백 개인 비슷비슷한 스키마에서 어떻게 조인할지 헷갈릴 때, 관계가 이미 이어져 있으면 탐색이 쉬워진다.
• 비정형 데이터를 트리(목차) 모양으로 접지시키면, 엉뚱한 부품을 잘못 매칭하는 환각을 줄이고 답을 원래 표로 다시 이어 붙일 수 있어 작은 질문의 효율도 올라간다.
• 세 가지 모양은 상호 보완적이다. 연결은 정형 데이터의 조인·의미 계층을, 목차는 문서 접지를, 테마는 사전에 몰랐던 전역 패턴 발견을 담당한다.

자주 묻는 질문

관련 AI 소식