비주얼 그라운딩 새 접근법, LVLM 어텐션 헤드 3개만으로 학습 없이 객체 찾기

핵심 메시지

• 대규모 비전 언어 모델(LVLM) 안에는 텍스트가 가리키는 이미지 영역에 이미 집중하고 있는 소수의 어텐션 헤드가 존재한다. 논문은 이를 '로컬라이제이션 헤드'라 부른다.
• 이 헤드를 고르는 기준은 두 가지다. 이미지 토큰에 얼마나 주의를 주는지를 재는 어텐션 합, 그리고 그 주의가 한곳에 뭉쳐 있는지를 재는 공간 엔트로피다.
• 선택 빈도가 높은 헤드일수록 정답 영역과 잘 맞았고, 실험한 모든 모델에서 스피어만 상관계수가 0.737 이상으로 나타났다.
• 상위 세 개 헤드의 어텐션 맵을 부드럽게 다듬어 합치면 의사 마스크가 되고, 이를 감싸는 사각형으로 바운딩 박스를, 그 박스를 분할 모델의 입력으로 넣어 마스크를 얻는다.
• 추가 학습이 전혀 없는데도 기존 학습 없는 방식들을 크게 앞섰고, 파인튜닝 기반 방법과도 견줄 만한 성능을 냈다.

쉽게 이해하기

이 발표는 CVPR 2025 하이라이트로 뽑힌 비주얼 그라운딩 논문을 다룬다. 비주얼 그라운딩은 자유로운 문장 설명에 해당하는 이미지 영역을 찾아내는 문제로, 결과를 사각형 상자로 내면 지시 표현 이해, 픽셀 단위 마스크로 내면 지시 표현 분할이라 부른다. '빨간 셔츠를 입은 남자'라는 문장이 주어졌을 때 사진 속 그 사람을 짚어내는 작업이라고 보면 된다.

기존 연구는 크게 두 갈래였다. 하나는 그라운딩 데이터셋으로 모델을 추가 학습하거나, 마스크를 만들어 낼 별도의 디코더 같은 부품을 덧붙이는 방식이다. 특별한 토큰을 마스크 임베딩으로 도입해 추가 디코더가 픽셀 단위 결과를 만들게 한 연구가 대표적이다. 다른 하나는 학습 없이 푸는 방식으로, 분할 모델이 만든 후보 영역 중 텍스트와 가장 잘 맞는 것을 고르거나 확산 모델의 어텐션 맵을 활용하는 시도가 있었다. 이 논문은 LVLM을 기반으로 한 첫 학습 없는 비주얼 그라운딩 프레임워크를 제안한다.

출발점은 단순한 질문이다. LVLM이 텍스트를 만들어낼 때 사실은 특정 이미지 영역을 이미 이해하고 있는 것 아닐까. 이를 확인하기 위해 문장의 마지막 텍스트 토큰을 전체 문맥이 담긴 질의로 삼고, 이미지 토큰을 키로 두어 각 층·각 헤드의 어텐션 가중치를 살펴본다. 그 결과 대부분의 헤드는 이미지에 거의 주의를 주지 않았고, 극히 일부만이 텍스트와 이미지의 상호작용을 실제로 담당하고 있었다.

헤드를 고르는 기준은 두 가지다. 첫째, 어텐션 합이 일정 기준을 넘는 헤드만 남긴다. 이 기준값은 사람이 정하지 않고 그래프의 곡률이 가장 큰 지점에서 자동으로 잡는다. 둘째, 남은 헤드 중 공간 엔트로피가 가장 낮은 열 개를 뽑는다. 어텐션 맵을 평균값 기준으로 이진화한 뒤 서로 붙어 있는 덩어리를 찾아 엔트로피를 계산하는데, 값이 낮을수록 주의가 한곳에 잘 뭉쳐 있다는 뜻이다. 이 과정을 여러 샘플에 반복해 자주 뽑히는 헤드를 골라내면 로컬라이제이션 헤드가 된다.

실험은 13억에서 130억 파라미터에 이르는 열 개의 LVLM에서 진행됐다. 학습 없는 기존 방법들을 크게 앞섰고 파인튜닝 기반 방법과도 경쟁할 만한 결과를 냈으며, 모델이 커질수록 성능도 함께 올라갔다. 헤드 개수를 바꿔 본 실험에서는 하나만 쓸 때가 가장 나빴고 세 개일 때가 가장 좋았는데, 더 늘리면 잡음과 중복이 생겨 오히려 떨어졌다. 두 기준 중 하나만 쓰면 이미지 전체에 넓게 퍼진 헤드나 텍스트와 무관하게 한곳에 뭉친 헤드가 뽑혀 성능이 떨어진다는 점도 확인했다.

주요 인사이트

• 모델을 더 학습시키지 않고도 내부에서 이미 만들어지고 있는 정보를 꺼내 쓰는 접근이다. 위치를 찾는 능력이 LVLM의 부수 효과가 아니라 고유한 성질일 수 있다는 주장으로 이어진다.
• 어텐션 합과 공간 엔트로피는 서로를 보완한다. 하나는 '이미지를 보고 있는가', 다른 하나는 '한곳을 보고 있는가'를 재기 때문에 둘을 함께 걸어야 쓸 만한 헤드가 남는다.
• 실패 사례도 해석이 가능하다는 점이 장점이다. 오른쪽에서 세 번째 바나나를 찾으라는 요청에 세 번째와 네 번째를 함께 짚는 식으로 틀렸는데, 모델이 어디를 보고 있었는지 그대로 확인할 수 있다.
• 복잡한 추론이나 세상 지식이 필요한 분할 과제에서도 통했다는 결과는, 이 방식이 단순한 물체 지목을 넘어선 요청에도 적용될 수 있음을 시사한다.
• 단일 객체뿐 아니라 여러 객체를 동시에 찾는 과제에도 확장 가능하다는 추가 실험이 부록에 포함돼 있다.

자주 묻는 질문

관련 AI 소식