지식 그래프 추출 with GPT-4o: 텍스트를 노드·관계 그래프로 변환하기

핵심 메시지

• 지식 그래프는 개체(엔티티)와 그 관계를 노드·엣지로 표현한 구조로, 복잡한 정보 속 숨은 연결을 한눈에 보여 준다.
• 표·스프레드시트 같은 평면적 저장과 달리 그래프 구조는 복잡한 관계를 효율적으로 표현하고, 최단 경로·중심성·커뮤니티 탐지 같은 수학적 연산도 가능하다.
• 과거에는 지식 그래프 구축에 많은 수작업과 전문성이 필요했지만, 다국어를 이해하는 현대 LLM 덕분에 개체와 관계 추출을 훨씬 자동화할 수 있게 됐다.
• LLM으로 그래프를 만드는 방법은 프롬프트 기반과 구조화 출력(structured output) 기반이 있으며, 후자가 더 일관되고 신뢰할 만하다.
• LangChain의 LLM Graph Transformer를 쓰면 모델에 맞춰 구조화 출력 또는 프롬프트 방식을 자동으로 처리해 주어 구현이 쉬워진다.

쉽게 이해하기

영상은 책·뉴스 기사·블로그·위키백과 같은 방대한 텍스트를 모든 요소가 어떻게 연결되는지 보여 주는 시각적 지도로 바꾸는 아이디어에서 출발한다. 이것이 바로 지식 그래프의 핵심으로, 사람·사물·개념 사이의 관계를 명확히 정의된 연결로 묶어 거대한 마인드맵처럼 전체를 조망하게 해 준다.

발표자는 지식 그래프가 전통적 데이터베이스나 스프레드시트와 어떻게 다른지 설명한다. 표는 행과 열에 정보를 담지만 복잡한 관계를 다룰 때 금세 비효율적이 된다. 반면 그래프는 개체를 노드로, '함께 일한다'·'~에 산다'·'~의 한 종류다' 같은 관계를 엣지로 표현해 더 시각적이고, 최단 경로 계산·중심 노드 식별·커뮤니티 탐지 같은 연산을 적용할 수 있다.

활용 사례도 폭넓다. 구글은 10~15년 전부터 키워드 매칭만으로는 한계가 있던 검색 결과를, 인물·장소·사물에 관한 수백만 개 사실로 이뤄진 거대한 지식 그래프로 크게 개선했다. 검색 시 인물 옆에 뜨는 정보 패널이 그 예다. 이 밖에 사기 탐지, 신약 연구, 그리고 발표자가 가장 좋아하는 학습·공부 정리에도 쓰인다.

지식 그래프는 검색 증강 생성(RAG)의 정확도를 높이는 데도 쓰인다. 전통적 RAG는 질의와 유사한 텍스트 구절을 가져와 단순 질문에는 잘 맞지만, 여러 문서를 가로지르는 복잡한 질문에는 약하다. 이때 소스 문서로 지식 그래프를 만들고 의미적 군집으로 계층화하는 GraphRAG 방식이 더 전체적인 이해를 가능하게 한다.

구현 측면에서, 코드를 모르는 사람은 Neo4j의 LLM 지식 그래프 빌더 같은 웹 도구로 텍스트 파일을 올려 그래프를 만들어 볼 수 있다. 발표자는 위키백과의 '왕좌의 게임' 텍스트를 넣어 등장 요소들이 연결된 그래프를 즉석에서 생성해 보인다.

코드로 직접 만들려면 LangChain의 LLM Graph Transformer를 GPT-4o 같은 모델과 함께 쓴다. 텍스트를 문서 객체로 만들고 그래프 문서로 변환하면 노드와 관계가 추출된다. 허용할 노드 유형(person·organization·location 등)과 관계 유형을 제약 조건으로 지정하면 더 단순하고 쓸모 있는 그래프를 얻을 수 있다. 마지막으로 Pyvis로 시각화하고 Streamlit으로 사용자가 직접 텍스트를 넣어 그래프를 생성하는 웹 앱까지 만든다.

주요 인사이트

• 프롬프트만으로 개체·관계를 뽑으면 출력 형식이 보장되지 않고 실행마다 결과가 크게 달라질 수 있다. OpenAI나 Gemini가 지원하는 구조화 출력을 쓰면 일관되고 신뢰할 만한 결과를 얻는다.
• 허용 노드·관계 유형을 명시하면 그래프가 훨씬 작고 단순해져 실제 분석에 쓰기 좋아진다. 무엇을 남길지 정하는 것이 곧 그래프의 품질을 좌우한다.
• 지식 그래프가 오래도록 널리 쓰이지 못한 이유는 과거 구축에 막대한 수작업과 도메인 전문성이 필요했기 때문이다. 규칙 기반은 유연하지 않고 확장도 어려웠으며, 초기 NLP·ML 모델은 주로 영어에 한정되고 맥락·중의성에 약했다.
• 여러 문서를 처리할 때는 비동기로 그래프 변환을 실행해 병렬 처리하면 대기 시간을 크게 줄일 수 있다.

자주 묻는 질문

관련 AI 소식