AI 환각 되먹임 실험으로 이해하는 확산모델·VAE·LLM의 세 가지 환각

핵심 메시지

• 이미지를 텍스트로 옮길 때 정보가 소실되며, 이는 눈에 보이지 않는 '숨은 환각'의 한 형태다.
• 이미지→LLM 설명→확산모델 편집을 반복하면 작은 오해가 매 반복마다 누적돼 그림이 완전히 다른 것으로 변한다.
• 무한한 변화는 세 가지 환각의 상호작용에서 나온다: LLM 설명의 편향, VAE의 인코딩·디코딩 표류, 확산 U-Net의 학습데이터 편향.
• 대부분의 모델은 잠재(latent) 확산모델로, 이미지 자체가 아니라 VAE가 압축한 잠재 표현을 노이즈 제거한다.
• 코드는 MIT 라이선스로 공개돼 상업적 이용까지 자유롭게 시도할 수 있다.

쉽게 이해하기

실험의 발상은 단순하다. 이미지 하나와 LLM을 준비해 LLM에게 그림을 설명하게 하고, 그 이미지와 설명을 확산모델에 넣어 설명에 맞게 그림을 아주 조금 바꾼다. 바뀐 이미지를 다시 설명하고 또 바꾸는 과정을 반복하면, 설명 속의 작은 오해와 환각이 매 반복마다 그림을 조금씩 밀어붙여 수천 번 뒤에는 전혀 다른 것으로 변한다.

구현은 순탄치 않았다. 최신 flux 모델과 Gemma 3로 파이프라인을 빠르게 짜자 다섯 번 만에 이미지가 이상한 노이즈로 붕괴했는데, 원인은 최신 flux가 쓴 현대적 학습 기법 때문이었다. 그래서 2023년의 구형 SDXL로 바꾸자 동작했지만 이번엔 환각률이 너무 낮아 그림이 거의 변하지 않았다. 결국 Gemma 3의 온도(temperature)를 1.5로 올려 설명을 더 '창의적'으로 만들자 흥미로운 결과가 나오기 시작했다.

저자는 관찰 결과 이 끊임없는 변화에 세 가지 힘, 즉 세 유형의 환각이 작용한다고 결론짓는다. 첫째는 언어모델의 환각이다. 있지도 않은 것을 보거나 있는 것을 과장하는데, 특히 Gemma 3는 빛이나 전구 비슷한 것이 조금이라도 있으면 늘 언급해 반복할수록 화면 전체가 전구 세 개로 변해 버렸다. 어떤 개념들은 마치 '끌개'처럼 모델의 설명을 그쪽으로 끌어당긴다.

나머지 두 환각을 이해하려면 확산모델의 구조를 알아야 한다. 대부분은 잠재 확산모델로, 이미지 자체가 아니라 잠재 표현을 노이즈 제거한다. 여기엔 보통 따로 학습된 두 신경망이 쓰인다. 하나는 변분 오토인코더(VAE)로, 이미지를 작은 차원의 잠재로 압축하는 인코더와 이를 다시 이미지로 복원하는 디코더를 갖는다. 다른 하나는 확산 U-Net으로, 노이즈가 낀 잠재를 원하는 설명 방향으로 서서히 노이즈 제거한다.

매 반복마다 이미지를 잠재로 인코딩하고 약간의 노이즈를 더한 뒤 LLM의 설명 방향으로 U-Net이 노이즈를 제거하고 다시 이미지로 디코딩한다. 여기서 둘째·셋째 환각이 나온다. VAE는 완벽하지 않아 아무것도 바꾸지 않아도 인코딩·디코딩을 반복하면 이미지가 무작위 방향으로 서서히 표류한다. 셋째로 U-Net은 완벽한 설명을 줘도 학습 데이터에 더 가까운 이미지 쪽으로 편향된다. 이 세 힘의 상호작용이 무한한 변화를 만든다.

주요 인사이트

• 이미지를 텍스트로 요약하는 순간 정보가 소실되며, 이 소실이 곧 '숨은 환각'이라는 관점은 멀티모달 AI의 한계를 직관적으로 보여 준다.
• 잠재 확산모델은 이미지가 아니라 VAE가 압축한 잠재를 노이즈 제거한다는 점이 핵심이며, VAE와 U-Net은 대개 별도로 학습된다.
• 모델 설명에는 특정 개념(예: 전구·빛)으로 쏠리는 '끌개' 성향이 있어, 온도를 높이면 환각과 창의성이 함께 증가한다.
• 무엇도 바꾸지 않아도 인코딩·디코딩만 반복하면 이미지가 표류한다는 사실은 VAE의 손실적 특성을 드러낸다.
• 실험 코드가 MIT 라이선스로 공개돼 누구나 재현하고 응용할 수 있다는 점에서 학습·탐구 자료로서 가치가 있다.

자주 묻는 질문

관련 AI 소식