OViP 논문 리뷰: 비전 언어 모델의 환각을 온라인 선호 학습으로 줄이는 방법과 한계

핵심 메시지

• 비전 언어 모델은 이미지에 없는 사물을 설명에 넣는 환각을 자주 일으켜, 신뢰성이 필요한 분야에서 사용이 제한된다
• OViP는 학습 중 모델이 스스로 만든 응답에서 선호·비선호 쌍을 뽑고, 비선호 응답에 맞는 부정 이미지를 그때그때 생성해 쓴다
• 기존 방식은 무작위 자르기나 객체 제거 같은 이미지 편집으로 부정 샘플을 만들어 모델이 실제로 저지른 오류와 어긋났다
• 환각 지표만 좋아지고 일반 성능은 떨어지는 기존 기법과 달리, OViP는 두 축을 함께 유지했다는 것이 발표의 핵심이다
• 발표자는 학습 에폭 수가 적어 온라인 학습의 장기 안정성을 판단하기엔 근거가 부족하다는 아쉬움도 함께 남겼다

쉽게 이해하기

딥러닝논문읽기모임 발표에서 다룬 논문은 비전 언어 모델(LVLM)의 환각을 완화하기 위한 OViP(Online Vision-language Preference learning)다. 발표자는 중국 푸단대학교와 바이트댄스에서 나온 2025년 논문이라고 소개했다. LVLM은 이미지 인코더가 뽑은 정보를 언어 모델과 결합해 시각 질의응답이나 이미지 설명 같은 작업을 수행하며 멀티모달 영역에서 뛰어난 성능을 보이지만, 언어 모델의 고질적 문제인 환각을 그대로 물려받는다. 발표 예시에서는 이미지에 없는 버스나 트럭이 설명에 등장하고, 가운데에 없는 대상을 있다고 서술한다. 이런 오류는 입력에 대한 추론 성능을 해쳐 응용 단계의 신뢰성을 크게 제한한다.

환각 완화의 흐름은 DPO(직접 선호 최적화)의 성공에서 크게 갈라졌다. 사람의 선호를 반영하려면 과거에는 강화학습으로 정책을 평가해 보상을 최대화했는데, 정책 모델과 보상 모델을 함께 학습해야 하고 PPO를 쓰면 크리틱 모델까지 붙어 비용이 컸으며 학습 안정성도 떨어졌다. DPO는 보상 모델과 강화학습 없이 정책 모델만 학습해, 선호되는 응답과 그렇지 않은 응답을 쌍으로 묶고 전자의 확률은 올리고 후자의 확률은 내리는 방향으로 최적화한다.

문제는 이를 비전 언어 모델에 옮기는 방식이었다. 초기 연구는 텍스트 응답만으로 학습해 언어 모델 쪽만 갱신되니 효과가 제한적이었다. 이후에는 같은 응답에서 부정 이미지를 만들어 쌍을 구성했는데, 무작위 자르기나 노이즈 주입, 객체 제거 같은 이미지 편집을 썼다. 이런 전략은 모델이 실제로 만들어낸 환각과 이미지 샘플 사이에 어긋남이 생겨 개선 효과가 제한되고, 지속적인 온라인 학습을 지원하지 못한다는 한계가 있었다.

OViP의 방식은 순서가 다르다. 학습 단계마다 이미지와 지시문이 주어지면 모델이 확률적 샘플링으로 후보 응답 여러 개를 만든다(논문에서는 16개). 각 응답은 정답 응답과 얼마나 비슷한지를 기준으로 보상 점수를 받는데, 이 채점에는 7B급 지시 조정 모델을 썼다. 예시에서 오리 부리가 흰색인 사진을 두고 '오렌지색'이라고 쓴 응답은 낮은 점수를 받는다. 그다음 배치 안에서 점수 차가 충분히 큰 쌍을 골라 선호 쌍을 동적으로 구성한다. 표준편차와 최소 마진을 조건으로 쓰고, 선호 샘플은 일정 기준보다 높을 때만, 비선호 샘플은 다른 기준보다 낮을 때만 쓰이도록 임계값을 뒀다. 후보가 전반적으로 부실하면 정답을 선호 응답으로 삼는다.

핵심은 그렇게 고른 비선호 응답에 대응하는 이미지를 직접 합성한다는 점이다. 짧은 문장을 그대로 확산 모델에 넣으면 품질이 떨어지므로, 언어 모델에 선호·비선호 응답의 차이를 깊이 분석하도록 요청해 이미지 생성용 프롬프트를 먼저 만든다. 그러면 '부리가 오렌지색'이라는 오류에 정확히 대응하는 이미지가 만들어진다. 학습에서는 텍스트 쪽 손실과 이미지 쪽 손실을 함께 쓰는데, 이미지 쪽에는 대칭적 시각 대조 최적화가 들어간다. A 이미지와 A 텍스트는 선호, B 이미지와 A 텍스트는 비선호로 두는 기존 대조 학습에 더해 B 이미지와 B 텍스트도 선호라는 관계를 추가하는 방식이다. 이렇게 하면 'A 이미지는 항상 선호'라는 지름길 학습을 막고 이미지와 텍스트 사이 맥락을 정확히 보게 된다. 필터링 때문에 배치 크기가 유동적이어서, 남는 샘플은 경험 버퍼에 저장해 배치 학습의 안정성을 유지한다.

실험은 LLaVA-1.5 계열 7B·13B 모델에 LoRA를 적용해 진행했고, 비전 인코더로는 CLIP ViT-L을 썼다. 결과에서 발표자가 강조한 지점은 균형이다. 환각을 없애려던 기존 방법들은 환각 지표에서는 성과를 냈지만 일반 성능 지표에서는 크게 떨어졌고, 특히 오프라인 방식에서 이 하락이 치명적으로 나타났다. OViP는 환각을 줄이면서 오히려 일반 성능이 조금 오르는 모습을 보였다. 논문 저자들은 성능이 떨어져 객체 설명이 생략되는 것도 모델이 객체가 없다고 판단한 셈이니 환각의 일종으로 볼 수 있지 않겠냐는 의견을 덧붙였다.

발표는 손실 항을 바꿔가며 확인한 절제 실험과 발표팀 자체 토론도 함께 소개했다. 이미지 쪽 손실만 남기면 객체 수준 지표는 오히려 좋아지지만 시퀀스 수준 지표는 크게 떨어져, 이미지를 해석하는 능력을 이미지 손실만으로 유지하기는 어렵다는 해석이 가능했다. 발표팀은 모든 후보 응답이 비선호 임계값보다 높으면 학습을 아예 건너뛰는 것으로 보이는데, 이는 환각이 거의 없는 상황이라 학습할 필요가 없기 때문이라고 정리했다. 부정 이미지를 만드는 생성 모델 자체가 환각을 일으킬 가능성에 대해서는 논문에 언급이 없었지만, 부록의 프롬프트를 보면 프롬프트 충실도를 최대한 높이려 한 흔적이 보이며, 부정 샘플이라는 용도상 입력 이미지와 완전히 같지 않아도 되는 자유도가 허용될 것이라고 봤다.

주요 인사이트

• 부정 샘플을 이미지 편집으로 만들면 모델이 실제로 저지르는 오류와 무관해진다. OViP의 차별점은 모델이 방금 만들어낸 잘못된 서술을 근거로 부정 이미지를 생성해, 학습 신호가 현재 모델의 약점을 겨냥하게 만든 점이다
• 환각 감소와 일반 성능은 트레이드오프 관계여서, 환각 벤치마크만 좋아지고 다른 지표가 무너지는 결과가 흔하다. 두 축을 함께 보고해야 실제 개선을 판단할 수 있다
• 대칭적 대조 최적화는 모델이 '특정 이미지는 늘 정답'이라는 지름길을 잡는 것을 막는 장치다. 붉은 셔츠와 파란 셔츠를 구분하려면 색 차이를 실제로 봐야 하는 것과 같은 이치다
• 필터링으로 배치 크기가 흔들리는 온라인 학습에서는 경험 버퍼처럼 남는 샘플을 모아두는 장치가 학습 안정성을 좌우한다
• 발표자는 적은 에폭 결과로 '학습할수록 좋아진다'고 말하기 어렵다며 에폭별 추이를 더 보여줬으면 좋았겠다고 지적했다. 논문을 읽을 때 결론보다 실험 범위를 먼저 확인해야 하는 이유다

자주 묻는 질문

관련 AI 소식