AI VIDEO BRIEFING
AI 법률 검색 도구 환각 논란: RAG가 줄여도 없애지 못하는 이유와 검색 품질의 문제
스탠퍼드·예일 연구진이 주요 AI 법률 검색 도구의 환각률을 측정한 논문을, 리걸테크 업계 실무자이기도 한 해설자가 검색 증강 생성(RAG)의 작동 구조와 한계, 업체 홍보 문구의 함정까지 짚으며 비판적으로 검토한다.
핵심 메시지
- 법률 검색 도구에 검색 증강 생성(RAG)을 붙이면 환각이 크게 줄지만 완전히 사라지지는 않으며, 측정된 오답 비율은 여전히 무시하기 어려운 수준이었다.
- 업체들의 ‘100% 환각 없음’ 광고는 답변 전체가 아니라 인용 링크만을 가리키는 문장 구조라, 읽는 사람이 오해하도록 설계된 표현에 가깝다.
- RAG의 성능을 좌우하는 것은 언어모델이 아니라 무엇을 검색해 프롬프트에 넣느냐이며, 법률 영역에서는 무엇을 검색해야 하는지 판단하는 일 자체가 전문 지식을 요구한다.
- 언어모델은 프롬프트에 담긴 내용만을 세상의 전부로 인식하기 때문에, 검색 결과가 어긋나면 오히려 답변 품질이 더 나빠질 수 있다.
- 논문의 평가 대상 선정과 지표 설계에도 허점이 있어, ‘환각한다’는 결론만 떼어내 읽으면 실제 제품의 쓸모를 잘못 판단하게 된다.
쉽게 이해하기
영상은 스탠퍼드와 예일 연구진이 발표한 논문 「Hallucination-Free?」를 다룬다. 이 논문은 미국 법률 검색 도구들이 대규모 언어모델을 붙인 뒤 얼마나 자주 사실과 다른 답을 내놓는지를 데이터셋으로 측정했다. 해설자는 자신이 리걸테크 회사의 최고기술책임자로서 법률 문서 검색엔진을 만들고 있다고 밝히며, 연구 대상 산업을 아는 사람의 시각에서 논문을 읽어 나간다.
법률 검색 도구란 판례·법령·조약·전문가 논평 같은 공개 자료를 근거로 법적 질문에 답하는 도구를 말한다. 기존에는 이용자가 방대한 데이터베이스를 직접 파고들어 답을 찾았지만, 최근에는 질문을 자연어로 입력하면 도구가 알아서 근거를 모아 답변과 인용을 제시하는 방식으로 바뀌고 있다. 논문이 측정한 것은 바로 이 자동 답변의 정확성이다.
결과를 보면 아무 근거 없이 답하는 GPT-4보다 검색 증강 생성을 쓰는 상용 제품들이 확실히 낫지만, 가장 성적이 좋은 제품도 다섯 번에 한 번꼴로 사실과 다르거나 근거를 잘못 붙인 답을 내놓았다. 해설자는 이 개선폭 자체는 RAG의 효과를 보여 준다고 인정하면서도, 업체들이 내건 ‘환각 없음’ 문구와의 간극을 문제 삼는다.
특히 한 업체의 홍보 문구는 “100% 환각 없는 인용 링크를 제공한다”고 적혀 있는데, 문장을 뜯어보면 환각이 없다고 말한 대상은 답변이 아니라 인용 링크뿐이다. 자사 데이터베이스에 실제로 존재하는 문서만 링크로 보여 주면 기술적으로는 참인 문장이 되지만, 읽는 사람은 답변 전체가 검증되었다고 받아들이게 된다. 해설자는 이런 문구를 만든 쪽이 그 효과를 정확히 알고 있었을 것이라고 지적한다.
동시에 그는 논문 쪽의 문제도 짚는다. 연구진은 한 회사의 주력 법률 검색 제품 대신 성격이 다른 계약서 템플릿 중심 제품을 평가 대상에 넣었고, 그 결과가 언론에 그대로 인용됐다. 지표 설계상 답변을 길고 자세하게 쓰는 시스템일수록 검증 가능한 문장이 많아져 환각으로 집계될 확률이 높아진다는 점도 결과 해석을 어렵게 만든다.
주요 인사이트
- RAG는 “어딘가에 답이 있다는 걸 아는데 그걸 찾아 달라”는 작업에는 강하지만, 무엇을 찾아야 할지 정하는 데 추론이 필요한 작업에는 약하다. 법률 질문은 후자에 가깝다.
- 검색 결과가 어긋났을 때 언어모델이 그것을 무시하지 못하는 이유는 학습 데이터의 성격에 있다. 참고자료가 함께 주어지는 상황은 대개 그 자료가 실제로 관련 있는 경우였기 때문에, 모델은 주어진 자료를 과하게 신뢰하도록 길들여져 있다.
- 법률 문서의 관련성은 본문 텍스트만으로 정해지지 않는다. 어떤 판례가 이미 뒤집혔는지, 관할과 시점이 맞는지 같은 판단은 문서 밖의 지식에 달려 있어 임베딩 유사도만으로는 잡히지 않는다.
- 해설자는 사람을 배제한 자동화 대신, 검색어 선정·근거 선별·최종 추론 단계마다 사람이 개입하는 구조를 대안으로 제시한다. 성능은 더 낫지만 ‘텍스트 상자 하나로 다 해결되는 마법’처럼 팔리지 않는다는 것이 걸림돌이다.
- 논문의 결론은 결국 “이용자가 인용이 실제로 주장을 뒷받침하는지 계속 검증해야 한다”는 것으로, 이는 AI 고유의 문제라기보다 도구의 용도와 한계를 알고 써야 한다는 소프트웨어의 일반 원칙에 가깝다.
자주 묻는 질문
검색 증강 생성(RAG)은 정확히 무엇을 하는 기술인가?
이용자의 질문으로 검색엔진을 돌려 관련 문서를 찾아낸 뒤, 그 문서들을 질문과 함께 프롬프트에 붙여 넣어 “위 자료를 근거로 답하라”고 지시하는 방식이다. 영상에서는 프롬프트에 참고자료를 복사해 붙여 넣는 것이 사실상 전부이며, 나머지는 프롬프트 기법의 변형일 뿐이라고 설명한다.
논문은 환각을 어떻게 정의했나?
정확성과 근거성 두 축으로 나눠, 사실관계가 틀린 답변과 인용은 달았지만 그 출처를 잘못 해석했거나 해당 사안에 적용할 수 없는 자료를 붙인 답변을 환각으로 집계했다. 아예 답변을 거부하거나 인용을 달지 않은 경우는 환각이 아니라 불완전한 답변으로 분류했다.
측정된 제품들의 성적은 어느 정도였나?
근거 없이 답하는 GPT-4가 가장 나빴고, 상용 법률 검색 제품 중 성적이 가장 좋은 것도 다섯 번에 한 번꼴로 환각을 냈다. 다만 평가에 쓰인 데이터셋 자체가 환각을 끌어내도록 설계된 질문들이어서, 실제 사용 환경에서의 비율과는 다를 수 있다.
그렇다면 이런 도구를 쓰지 말아야 하나?
영상은 도구 자체를 부정하지 않는다. 다만 사람이 검색어를 정하고 근거를 골라 최종 판단을 내리는 보조 도구로 쓸 때 가장 생산적이며, 질문을 던지면 끝까지 알아서 결론을 내주는 방식으로 기대하는 것이 잘못이라고 본다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗