DeepSeek 비전 논문 해설: 바운딩 박스·점으로 시각 추론하는 멀티모달 모델

핵심 메시지

• DeepSeek V4 공개 직후 등장했다 4시간 만에 저장소가 내려간 멀티모달 논문 'Thinking with Visual Primitives'를, 미리 백업된 사본으로 해설한다.
• 기존 멀티모달의 진짜 문제는 '지각 격차'(디테일을 못 봄)가 아니라 '참조 격차'다. 모델은 물체를 보지만, 추론 중 그 시각 요소를 정확히 다시 가리키지 못한다.
• 해법은 언어로만 추론하지 않고 모델이 이미지를 직접 가리키게 하는 것이다. 물체 지목엔 바운딩 박스, 궤적·경로엔 점(point)이라는 두 시각적 프리미티브를 추론 매개로 쓴다.
• 재료는 새롭지 않지만 접근이 새롭다. DeepSeek V4 flash(2840억 파라미터, 활성 130억)를 파인튜닝하고, 자체 비전 인코더 DeepC ViT와 CSA 압축으로 이미지를 약 7,056배 압축한다.
• 미로 내비게이션 66.9%, 경로 추적 56.7% 등 '참조'가 병목인 과제에서 비공개 프런티어 모델들을 앞섰다. 언어만으로는 부실한 추론 매개라는 점을 보여준다.

쉽게 이해하기

영상은 DeepSeek V4 공개 직후 한 연구자가 예고했던 비전 기능이 실제로 공개되었다가, 저장소가 약 4시간 만에 알 수 없는 이유로 내려간 사건에서 출발한다. 다행히 누군가 논문 사본을 백업해 둔 덕분에 'Thinking with Visual Primitives'라는 멀티모달 논문을 읽을 수 있었고, 이 논문은 DeepSeek V4 결론에서 예고했던 멀티모달성과 함께 시각 추론에 대한 새로운 관점을 제시한다.

논문의 문제의식은 '지각 격차'와 '참조 격차'의 구분이다. 그동안 멀티모달 연구는 해상도 증가, 동적 크롭, 이미지 토큰 확대처럼 '모델이 디테일을 충분히 못 본다'는 지각 격차를 주로 다뤘다. 그러나 진짜 병목은 참조 격차다. 모델이 물체를 이미 보고 있어도, 추론 도중 '그 정확한 시각 대상'을 신뢰성 있게 다시 가리키지 못한다는 것이다. 붐비는 사진 속 인원을 세거나 미로를 풀 때, 언어로만 이어지는 사고 사슬은 물체를 놓치거나 중복해 세기 쉽다.

그래서 모델이 생각하면서 이미지를 직접 가리키게 한다. 두 가지 프리미티브를 쓰는데, 물체를 지목할 때는 바운딩 박스를, 궤적·내비게이션 같은 위상적 추론에는 점(point)을 쓴다. 이 프리미티브는 체인 오브 소트에서 단어가 하는 역할처럼, 시각 추론의 내부 언어가 된다. 좌표는 0~999로 정규화해 해상도에 독립적이다.

구조적으로는 이미지가 자체 비전 인코더 DeepC ViT를 거치고, 언어 지시는 토크나이저를 거쳐 시각·텍스트 토큰을 이어 붙여 LLM에 넣는 LLaVA 유사 방식이다(교차 어텐션 없음). 압축이 공격적인데, 이미지를 14×14 패치로 나눈 뒤 3×3 공간 압축으로 9개 패치를 1개 토큰으로 합치고, CSA(compressed sparse attention)가 다시 4개 시각 토큰을 1개 KV 캐시 항목으로 압축한다. 756×756 이미지 기준 원시 픽셀에서 최종 KV 캐시까지 약 7,056배 압축된다.

학습은 사전학습에서 박스·점 출력 형식을 가르치고, 웹에서 모은 약 9만8천 개 박스 데이터를 의미·기하 필터링으로 걸러 3만1천 개 소스, 다시 카테고리 샘플링으로 1,400만+ 고품질 샘플로 늘린다. 사후학습은 카운팅·공간추론·미로·경로추적 네 과제의 데이터로 진행하고, 박스 전문·점 전문 두 모델을 각각 GRPO로 RL 학습한 뒤 하나로 통합한다. RL에서는 중간 박스·점을 직접 감독하지 않고 형식·품질·정확도 세 종류 보상만 쓴다. 결과적으로 Pixmo 카운트 89.2, 미로 내비게이션 66.9%, 경로 추적 56.7% 등 참조가 병목인 과제에서 비공개 모델들을 앞섰다.

주요 인사이트

• 멀티모달의 병목을 '얼마나 많은 픽셀을 보는가'에서 '본 것을 추론 중 정확히 참조할 수 있는가'로 옮긴 것이 이 연구의 핵심 전환이다. 공격적 압축에도 성능이 나온다는 점이 이를 뒷받침한다.
• 카운팅은 '탐지→그라운딩→필터→집계' 파이프라인으로 학습한다. 물체를 하나씩 세는 대신 관련 물체를 한 번에 박스로 잡아 합산하면 반복 열거와 중복 카운트를 줄일 수 있다.
• 미로 같은 위상 과제는 물체 탐지 문제가 아니라 연결성 문제다. 점을 이용한 DFS식 탐색 흔적으로 추론하고, 정답 경로 중간에 벽을 넣어 '풀 수 없는 미로'까지 학습시켜 패턴 매칭이 아닌 실제 연결성 추론을 강제한다.
• 경로 추적은 양방향 궤적 보상을 쓴다. 예측 점이 실제 곡선에 가까운지와, 실제 곡선이 예측 궤적에 실제로 덮이는지를 함께 확인해 모델이 안전한 몇 점만 찍거나 엉뚱한 우회로를 만드는 부정행위를 막는다.
• 저장소가 내려간 이유 중 하나로, 지각 격차와 참조 격차 사이의 트레이드오프(얼마나 압축해도 참조만으로 충분한가)에 대한 추가 실험을 보강하려던 것일 수 있다는 추측이 제시된다.

자주 묻는 질문

관련 AI 소식