LLM 환각이란? AI가 거짓 정보를 만드는 이유와 줄이는 방법

핵심 메시지

• LLM 환각은 사실이나 맥락 논리에서 벗어난 출력으로, 사소한 모순부터 완전히 지어낸 진술까지 범위가 넓다.
• 환각은 문장 간 모순, 프롬프트와의 모순, 사실 오류, 무의미·무관한 정보 삽입 등으로 분류할 수 있다.
• 주요 원인은 학습 데이터의 품질, 텍스트 생성 방식(빔 서치·샘플링 등), 그리고 입력 맥락의 모호함이다.
• 사용자가 직접 줄일 수 있는 방법은 명확하고 구체적인 프롬프트 작성, 온도(temperature) 같은 설정 조절, 그리고 멀티샷 프롬프트다.
• 원인을 이해하고 완화 전략을 쓰면 LLM의 잠재력을 더 안전하게 끌어낼 수 있다.

쉽게 이해하기

발표자는 '지구에서 달까지 거리가 5,400만 km', '나는 호주 대형 항공사에서 일했다', '제임스 웹 망원경이 외계행성을 처음 촬영했다'는 세 가지 '사실'을 제시한 뒤, 이들의 공통점이 모두 LLM의 환각 사례라는 점을 짚는다. 5,400만 km는 달이 아니라 화성까지의 거리이고, 항공사에서 일한 것은 발표자가 아니라 그의 형제이며, 외계행성 최초 촬영은 2004년에 이뤄졌다. 구글의 LLM 바드(Bard) 발표 당시 실제로 나온 환각이다.

LLM 환각이란 사실이나 맥락 논리에서 벗어난 출력을 말한다. 가장 단순한 수준은 문장 간 모순으로, 앞 문장과 충돌하는 문장을 만드는 경우다('하늘이 파랗다' 다음에 '하늘이 초록색이다'). 프롬프트와의 모순은 긍정적 리뷰를 요청했는데 '음식이 형편없고 서비스가 무례했다'처럼 지시와 반대되는 답을 내는 경우다. 여기에 명백한 사실을 틀리는 사실 오류, 맥락과 무관한 정보를 끼워 넣는 무의미한 환각이 더해진다.

왜 이런 일이 생길까. LLM이 출력을 도출하는 방식은 개발자에게조차 일종의 블랙박스라 답하기 쉽지 않지만, 공통 원인은 몇 가지로 정리된다. 첫째는 데이터 품질이다. LLM은 위키피디아와 레딧 전체를 긁어모은 것 같은 방대한 말뭉치로 학습하는데, 그 안에는 잡음·오류·편향·불일치가 섞여 있다. 설령 데이터가 완벽하더라도 모든 주제를 다 담지는 못하므로, 모델은 정확성을 검증하지 못한 채 일반화하다 틀리기도 한다. 다만 추론 능력이 향상될수록 환각은 줄어드는 경향이 있다.

둘째 원인은 생성 방식이다. 빔 서치, 샘플링, 최대우도추정, 강화학습 같은 방법과 목표는 유창성과 다양성, 일관성과 창의성, 정확성과 참신성 사이에서 절충을 만든다. 예컨대 빔 서치는 확률이 높지만 일반적인 단어를, 확률이 낮지만 구체적인 단어보다 선호할 수 있다. 셋째 원인은 입력 맥락으로, 이는 사용자가 직접 다룰 수 있는 부분이다. 맥락이 불명확하거나 모순되면 모델이 혼란에 빠진다. '고양이가 영어를 할 수 있나'라는 질문도, 대화가 만화 가필드에 관한 것이라는 맥락을 빠뜨리면 엉뚱한 답이 나올 수 있다.

주요 인사이트

• 환각은 단일한 현상이 아니라 문장 간 모순, 프롬프트 모순, 사실 오류, 무의미한 정보 삽입 등 여러 층위로 나뉜다. 유형을 구분하면 어떤 오류인지 진단하기 쉬워진다.
• 학습 데이터가 아무리 신뢰할 만해도 모든 주제를 망라할 수는 없기 때문에, 모델은 검증 없이 일반화하다 틀릴 수 있다. 데이터의 양만으로 환각이 사라지지는 않는다.
• 맥락은 양날의 검이다. 적절한 맥락은 정확한 답을 이끌지만, 불명확하거나 모순된 맥락은 오히려 모델을 오도한다. 그래서 입력 맥락은 사용자가 환각을 줄일 수 있는 핵심 지점이다.
• 온도(temperature) 설정은 출력의 무작위성을 조절한다. 낮은 온도는 보수적이고 집중된 답을, 높은 온도는 다양하고 창의적인 답을 내지만 온도가 높을수록 환각 가능성도 커진다.
• 멀티샷 프롬프트는 원하는 출력 형식이나 맥락의 예시를 여러 개 보여줘 모델이 패턴을 더 잘 인식하게 한다. 코드 생성, 시 쓰기, 특정 문체의 답변처럼 형식이 중요한 작업에 특히 유용하다.

자주 묻는 질문

관련 AI 소식