LLM 지식 그래프 추출 실전 정리: 비정형 문서 개체·관계 뽑는 프롬프트 3단계 개선과 환각 검증

핵심 메시지

• 기업이 가진 데이터의 대부분은 회의록·보고서·손글씨 같은 비정형 문서라, 이를 지식 그래프로 바꾸려면 결국 '개체'와 '관계'라는 두 축으로 압축해야 한다.
• 전통적인 자연어 처리 파이프라인이 여러 단계로 나눠 하던 일을 LLM은 한 번의 프롬프트로 처리할 수 있지만, 그 대가로 환각을 반드시 통제해야 한다.
• 발표자는 같은 자료에 프롬프트를 세 번 고쳐 적용했고, 버전을 올릴 때마다 분류가 흔들리던 관계 이름이 하나로 모이는 과정을 그대로 보여 줬다.
• 모델이 계속 바뀌어도 변하지 않는 원칙은 분류 이름을 안정적으로 짓기, 대표 예시를 충분히 주기, 정밀도·재현율·F1로 정량 평가하기다.
• LLM 출력은 완성된 지식이 아니라 후보일 뿐이며, 정량 평가와 환각 검증이라는 관문을 통과해야 지식 그래프에 올릴 수 있다.

쉽게 이해하기

이 영상은 「지식 그래프와 LLM 실전」 책의 5장을 다루는 국내 스터디 녹화본이다. 주제는 흩어져 있는 비정형 문서에서 도메인 지식을 캐내 그래프로 바꾸는 일이다. 발표자는 기업이 보유한 데이터의 80~90%가 정형화되지 않은 텍스트라는 점을 출발점으로 삼는다.

실습 재료는 록펠러 아카이브 센터(RAC)의 프로그램 담당자 일지다. 이 일지에는 연구 과제와 관련된 미팅, 방문, 대화 기록이 뒤섞여 있고 약자와 이니셜이 많아 그냥 읽어서는 구조를 잡기 어렵다. 발표자는 이런 거친 텍스트를 개체(점)와 관계(선)로 압축하는 것이 지식 그래프의 본질이라고 정리한다.

전통적인 접근은 OCR로 문서를 텍스트로 바꾼 뒤 개체명 인식, 분류, 관계 추출을 단계별로 밟는 방식이다. 반면 LLM은 이 과정을 한 번에 처리할 수 있다. 다만 발표자는 사람 이름이나 조직과 달리 연구 '주제'는 단어가 계속 새로 조합되어 생기기 때문에 기존 사전 기반 개체명 인식으로는 잡히지 않는다는 점을 강조한다. 바로 이 지점이 LLM의 힘을 빌려야 하는 대목이다.

발표의 중심은 프롬프트를 세 번 고쳐 가는 과정이다. 첫 버전은 '모든 관계를 찾아라'는 두루뭉술한 지시였고, 결과도 같은 개념이 네 갈래로 쪼개지고 여러 번 돌릴 때마다 답이 달라질 만큼 안정성이 낮았다. 두 번째 버전에서는 개체·관계 분류 목록과 약어 설명을 프롬프트에 명시했고, 세 번째 버전에서는 대표 예시를 확장해 복잡한 문장까지 담았다. 그제야 흩어져 있던 관계 이름이 하나로 통일되고 소속·측정법 같은 항목까지 포착됐다.

마지막으로 발표자는 LLM 출력을 곧바로 신뢰하지 말라고 못 박는다. 관찰과 후보 생성, 개체·관계 추출을 거친 뒤 정밀도·재현율·F1 같은 정량 평가와 예측 안정성 확인, 환각 통제라는 검증 관문을 통과해야 비로소 지식 그래프에 넣을 수 있다는 것이다. 참가자 토론에서는 LLM으로 만든 그래프로 다시 LLM의 환각을 억제한다는 구조가 순환 참조 아니냐는 문제 제기와, 로컬 소형 모델과 상용 API 사이의 비용·속도 딜레마가 함께 나왔다.

주요 인사이트

• 프롬프트 개선은 한 번에 끝나지 않는다. 발표자는 세 번의 버전업을 거치고도 복잡한 원자료를 다루려면 더 많은 반복이 필요할 것이라고 봤고, 전문가가 개입할수록 환각이 줄어든다고 평가했다.
• 환각을 줄이는 실무적 장치는 거창한 기법이 아니라 온도(temperature)를 0으로 두고, 분류 이름을 고정하고, 예시를 충분히 주는 기본기였다.
• 토론에서 나온 '순환 참조' 지적은 이 분야의 근본 긴장을 짚는다. LLM의 환각을 잡으려고 지식 그래프를 쓰는데 그 그래프를 다시 LLM으로 만든다면, 검증 절차 없이는 논리가 무너진다.
• 한 참가자는 회사 비용 데이터에서 키워드를 뽑는 실험을 소개하며, 로컬 소형 모델은 하루치 처리에 4시간이 걸렸고 상용 API는 빠르지만 비용이 감당되지 않았다고 전했다. 성능·비용·속도의 삼각 균형이 현장의 실제 제약임을 보여 준다.
• 그 참가자는 그래서 전통적인 머신러닝 공부를 놓으면 안 되겠다는 결론에 도달했다. LLM이 만능이 아니라 비용·속도 면에서 기존 기법과 보완 관계라는 인식이다.

자주 묻는 질문

관련 AI 소식