멀티모달 AI의 지각 결함 정리 — 사람은 90%, 최신 모델은 50% 이하에 그친 과제들

핵심 메시지

• 오늘날의 멀티모달 모델은 텍스트 언어 모델에 인코더를 덧붙인 구조라, 이미지와 음성이 텍스트를 다루던 방식에 끼워 맞춰져 있다는 문제 제기에서 세션이 출발했다.
• 지식이 필요 없는 단순한 시각 지각 과제에서 사람은 90% 이상을 맞히지만 최신 모델들은 50% 안팎에 머물렀고, 생각의 사슬 프롬프트는 오히려 성능을 떨어뜨렸다.
• 관련 없는 이미지나 빈 회색 이미지를 넣어도 모델이 무작위보다 잘 맞히는 현상은, 모델이 그림을 보지 않고 텍스트 사전지식으로 답한다는 근거로 제시됐다.
• 강화학습 미세조정은 점수를 올리지만 추론 근거의 일관성을 무너뜨려, 근거와 이미지의 정합성을 함께 보상하는 방식이 대안으로 제시됐다.
• 대형 모델이 맞히고 소형 모델이 틀리는 구간만 골라 학습시키면, 사람이 만든 라벨 없이도 소형 시각 언어 모델의 성능을 끌어올릴 수 있다는 결과가 발표됐다.

쉽게 이해하기

마이크로소프트 리서치 인도가 연 학술 서밋의 오후 세션은 멀티모달과 체화 지능을 주제로 여섯 명 남짓의 연구자가 차례로 발표하는 형식이었다. 첫 발표는 근본적인 물음으로 시작했다. 최근 몇 년 사이 거의 모든 파운데이션 모델이 멀티모달이 됐지만, 텍스트 이외의 모달리티는 하나같이 '텍스트를 다루던 방식'에 맞춰 인코더를 덧붙이는 식으로 처리된다는 것이다. 텍스트 과제에서는 모델이 사람을 앞질렀지만 멀티모달 과제에서는 여전히 사람보다 뒤처지는 격차가 이를 뒷받침한다.

이어진 발표에서는 그 격차의 원인을 추론이 아니라 지각에서 찾았다. 연구진은 도형의 개수를 세거나 겹쳐진 형태가 어떤 조합인지 고르는, 배경지식이 전혀 필요 없는 과제만 모아 진단용 벤치마크를 만들었다. 보통의 사람은 90% 이상을 맞히는 이 과제에서 최신 모델들은 50% 안팎에 그쳤다. 더 흥미로운 것은 단계적으로 생각하게 하는 프롬프트를 붙였을 때 성능이 오히려 떨어졌고, 이미지를 말로 옮길 수 있는 과제에서만 도움이 됐다는 점이다.

모델이 그림을 실제로 보고 있는지 확인하는 실험도 소개됐다. 원래 이미지 대신 전혀 관계없는 이미지를 넣어도 모델은 무작위 추측보다 잘 맞혔고, 아무것도 없는 회색 이미지를 주면 없는 장면을 지어내 답했다. 종이접기나 3차원 도형 회전처럼 지각과 추론에 재구성까지 필요한 과제에서는 사람이 80% 수준인 데 반해 모델은 30~50%로, 사실상 찍는 것과 다르지 않은 경우도 있었다. 강화학습으로 미세조정하면 점수는 오르지만 추론 과정이 이미지와 어긋나기 시작해, 연구진은 근거의 일관성과 시각적 정합성을 함께 보상하는 학습 방식을 제안했다.

다른 발표들은 응용 쪽으로 옮겨 갔다. 한 연구실은 콘텐츠가 사람의 행동에 미치는 효과를 모델링하는 작업을 소개하며, 보기에 아름다운 이미지가 반드시 반응이 좋은 이미지는 아니고 기존의 미적 평가 점수는 사람의 선호와 상관이 낮았다고 밝혔다. 성별과 나이, 직업이 다른 열 개의 페르소나에게 각각 반응을 예측하게 한 뒤 종합하니 단일 모델보다 실제 클릭률에 가까워졌다는 결과도 함께 제시됐다. 또 다른 발표는 대형 모델이 맞히고 소형 모델이 틀리는 문항만 추려 학습시키는 방법으로, 사람이 만든 라벨 없이 소형 시각 언어 모델을 여러 벤치마크에서 개선했다고 보고했다.

영상 이해 발표는 모델이 '누가 무엇을 하는가'를 묶어내지 못한다는 점을 파고들었다. 10초짜리 영상에서도 등장인물과 행동의 결합을 틀리고, 장면이 바뀌면 같은 사람을 다른 사람으로 본다. 마지막 의료 영상 발표는 유창한 판독문이 임상적 정확성과 같지 않다는 문제의식에서, 신뢰도 점수와 선별 모드를 갖추고 측정이 필요한 항목은 도구를 호출해 계산하도록 만든 모델을 소개했다. 일상 판독에서 잘 놓치는 경증 소견을 걸러내는 쪽에 실제 가치가 있다는 설명이었다.

주요 인사이트

• 벤치마크 점수가 오르는 것과 모델이 실제로 본다는 것은 다르다. 지각 능력만 떼어내 측정하는 진단용 과제가 필요하다는 문제의식이 세션 전체를 관통했다.
• 생각의 사슬 프롬프트가 멀티모달 과제에서 성능을 떨어뜨린다는 결과는, 그 추론 흔적이 실제 사고 과정이라기보다 텍스트로 된 겉치레일 수 있다는 오래된 의심과 이어진다.
• 빈 이미지를 주고도 답이 나온다면, 그 답은 그림이 아니라 문제 텍스트에서 나온 것이다. 평가를 설계할 때 이런 대조 조건을 넣어야 성능을 오해하지 않는다.
• 라벨 없이 성능을 올리는 방법은 매력적이지만, 큰 모델의 오류와 편향을 그대로 물려받는다는 한계가 질의응답에서 지적됐다.
• 의료 영상에서는 잘 읽어내는 능력보다 놓치기 쉬운 소견을 걸러내는 능력이 실제 가치를 만든다는 관점이 인상적이다. 무엇을 잘하느냐보다 어디에 쓰이느냐가 기준이 된다.

자주 묻는 질문

관련 AI 소식