AI 환각(할루시네이션)이란? LLM이 헛소리하는 이유와 RAG 완화법

핵심 메시지

• AI 환각은 모델이 사실이 아닌 정보를 그럴듯하게 만들어내는 현상으로, 흔히 'AI가 헛소리한다'고 표현된다.
• 거대 언어 모델은 확률적·추계적이어서 이전 토큰을 바탕으로 다음 토큰을 예측할 뿐, 정확성에 대한 개념 자체가 없다.
• 모델은 학습 데이터에서 본 분포를 흉내 내려 할 뿐이므로, 특정한 출력을 보장할 수 없고 매번 다른 토큰을 내놓을 수 있다.
• RAG(검색 증강 생성)는 외부 정보를 맥락에 넣어 환각을 줄이지만 완전히 없애지는 못한다.
• 환각은 LLM의 근본적 한계 중 하나이며, 사용자는 이를 전제로 결과를 다뤄야 한다.

쉽게 이해하기

마이크로소프트 개발자 채널은 많은 사람이 들어본 'AI 환각(hallucination)'을 다시 짚는다. 환각이란 AI가 마치 사실인 것처럼 정보를 지어내는 현상으로, 영상에서는 더 구어적으로 'AI가 헛소리한다'고도 표현한다. 핵심 질문은 이것이 고쳐질 수 있는가, 그리고 고치려면 무엇이 필요한가다.

영상은 환각의 원인을 모델의 작동 방식에서 찾는다. 거대 언어 모델은 본질적으로 확률적이고 추계적이어서, 앞선 토큰들을 근거로 다음 토큰을 예측한다. 매번 다른 토큰을 예측할 수 있기 때문에 특정한 말을 하도록 보장할 수 없다.

더 중요한 점은 모델에 '정확성'이라는 감각이 없다는 것이다. 모델은 학습 데이터에서 관찰한 분포를 모방하려 할 뿐이며, 그러다 궤도를 벗어나 부정확한 내용을 생성하면 우리는 그것을 환각이라 부른다.

이를 완화하는 한 방법이 RAG, 즉 검색 증강 생성이다. 관련 정보를 모델의 맥락에 넣어 두면, 모델이 학습 가중치에서 익힌 것 대신 그 정보를 참조할 수 있다. 다만 영상은 RAG가 환각을 최소화할 뿐 제거하지는 못한다고 분명히 한다.

맥락 처리 과정에서도 실수가 나올 수 있고, 제공된 맥락 자체에 무관하거나 틀린 정보가 섞여 있으면 그 또한 겉보기 환각으로 이어진다. 결국 환각은 LLM이 안고 있는 근본적 한계임을 알아둘 필요가 있다는 결론이다.

주요 인사이트

• 환각은 버그가 아니라 다음 토큰을 예측하는 확률 모델의 구조에서 비롯된 부수 효과에 가깝다.
• RAG는 만능 해결책이 아니라 완화책이다. 넣어 준 맥락이 부정확하면 오히려 잘못된 답을 부추길 수 있다.
• 모델에 정확성 개념이 없다는 사실은, AI 출력에 대한 사실 검증을 사용자나 시스템 쪽에서 책임져야 함을 뜻한다.

자주 묻는 질문

관련 AI 소식