지식 그래프 LLM 추출 실전: 비정형 문서에서 개체와 관계 뽑는 프롬프트 3단계 개선법

핵심 메시지

• 기업이 가진 데이터의 80~90%는 비정형 텍스트이며, 이를 지식 그래프로 바꾸는 작업은 결국 '개체(점)'와 '관계(선)'라는 두 기둥으로 압축된다.
• 약어와 이니셜이 많고 연구 주제가 계속 새로 생겨나는 문서는, 미리 만들어 둔 사전에 기대는 개체명 인식으로는 주제를 잡아내지 못한다.
• 대규모 언어 모델은 인식·표기 해소·관계 추출을 한 번에 처리해 주지만, 환각이 섞이기 때문에 그 출력은 확정된 지식이 아니라 '후보'로 다뤄야 한다.
• 프롬프트는 한 번에 완성되지 않았다. 모든 관계 찾기 → 개체·관계 분류 목록과 약어 규칙 명시 → 대표 예시 확장의 세 단계를 거치며 출력이 일관돼졌다.
• 정밀도·재현율·F1 같은 정량 평가와 환각 검증을 통과한 출력만 지식 그래프에 반영해야 한다는 것이 발표의 결론이다.

쉽게 이해하기

이 영상은 책 『지식 그래프와 LLM 실전』을 함께 읽는 스터디의 네 번째 녹화로, 5장 '비정형 데이터에서 도메인 특화 지식 추출'을 다룬다. 발표자는 록펠러 아카이브 센터의 프로그램 담당자 일지를 예제로 삼아, 흩어진 글을 어떻게 그래프로 바꿀 것인지 설명한다. 이 일지에는 연구 과제와 회의, 약속, 내부 논의 흐름이 거친 문장으로 기록돼 있어 실제 현장 문서에 가깝다.

전통적인 처리 흐름은 단계가 길다. 회의록이나 손글씨 보고서 같은 비정형 문서를 OCR로 스캔해 텍스트로 바꾸고, 개체명을 인식해 분류한 뒤, 관계를 추출해 마지막에 그래프를 만든다. 반면 언어 모델을 쓰면 텍스트를 넣는 것만으로 인식과 추출이 한 번에 처리되고, 그 결과로 개체와 관계가 함께 나온다.

문제는 사전에 기대는 방식이 '주제'에서 무너진다는 점이다. 사람과 조직은 비교적 잘 잡히지만, 연구 주제는 단어가 계속 조합되고 새로 생성되기 때문에 기존 사전에 없는 표현이 끊임없이 등장한다. 관계 쪽에도 일관성 문제가 있다. 같은 사실을 두고 어떤 문서는 '고용됐다'로, 어떤 문서는 방향을 뒤집어 쓰면 그래프가 뒤죽박죽이 된다.

발표의 핵심은 프롬프트를 세 번 고친 기록이다. 1차 프롬프트는 과제 설명·예시 입력·예시 출력 세 조각으로 구성해 '모든 관계를 찾아라'라고 지시했는데, 하나여야 할 개념이 네 갈래로 쪼개지고 여러 번 돌렸을 때 예측 안정성이 낮았다. 2차에서는 관심 있는 개체와 관계 목록, 약어와 축약 규칙을 프롬프트에 명시해 표기가 줄었지만 여전히 잔여 분류가 남았다. 3차에서 대표 예시를 확장하자 소속 관계가 하나로 통일되고 세부 측정법까지 포착됐다.

마지막 토론은 전통적인 자연어 처리와 언어 모델의 역할 분담으로 이어졌다. 한 참석자는 회사에서 법인카드 사용 내역의 키워드를 뽑아 본 경험을 공유하며, 로컬 소형 모델은 그래픽카드 한 장으로 하루치를 돌리는 데 네 시간이 걸렸고 상용 API는 병렬로 빠르지만 비용이 감당되지 않았다고 말했다. 속도와 비용, 온프레미스 보안 요건을 생각하면 전통적인 방식도 여전히 설 자리가 있다는 것이다.

주요 인사이트

• 프롬프트 개선은 버튼 한 번으로 끝나지 않고 사람 손이 많이 타는 작업이며, 전문가의 개입이 늘어날수록 환각이 줄어든다는 것이 발표자의 관찰이다.
• 참석자들은 이 반복 과정을 코딩 에이전트에게 맡기는 방식을 대안으로 제시했다. 방향과 목적, 모범 사례만 정해 주고 결과를 보며 프롬프트를 스스로 고치게 하는 식이다.
• 정확한 답을 원할 때는 생성 온도를 0으로 두고 응답 후보 가운데 첫 번째의 내용만 받아 쓰는 식으로 예측 안정성을 확보했다.
• 반복해도 품질이 오르지 않으면 과하게 붙잡고 있지 말고 파인튜닝으로 넘어가라는 것이 책의 지침으로 소개됐다.
• 언어 모델은 사전 학습된 지식과 생성 능력이라는 강점을 주지만, 그 강점과 환각은 같은 성질에서 나오기 때문에 통제 장치 없이는 그래프 품질을 보장할 수 없다.

자주 묻는 질문

관련 AI 소식