AI VIDEO BRIEFING

DINOv3 논문 해설: 라벨 없는 컴퓨터 비전 파운데이션 모델과 그램 앵커링

메타 AI의 DINOv3는 라벨 없이 17억 장 이미지로 학습한 70억 파라미터 비전 파운데이션 모델이다. 자기지도 학습 구조와 밀집 예측 성능을 지켜낸 그램 앵커링을 해설한다.

출처: AI Papers Academy2025년 9월 24일AI 보조 요약

DINOv3 Paper Explained: The Computer Vision Foundation Model 영상 대표 이미지

핵심 메시지

DINOv3는 메타 AI가 공개한 컴퓨터 비전 파운데이션 모델로, 전작 DINOv2에서 파라미터를 10억→70억, 학습 이미지를 1억 4200만→17억 장으로 크게 확장했다.
라벨이 필요 없는 자기지도 학습으로 학습하며, 한 번 뽑아낸 임베딩을 여러 다운스트림 과제(분할·깊이 추정 등)에 재사용한다. 백본을 '동결'한 채로도 최고 수준 성능을 낸다.
무작정 데이터를 늘리면 성능이 떨어질 수 있어, 인스타그램 이미지 170억 장에서 군집화로 균형을 맞춰 17억 장(LVD-1689M)을 선별하는 등 정교한 데이터 큐레이션을 거쳤다.
학습에는 이미지 전역 의미를 담는 DINO 손실과 지역 세부를 담는 iBOT 손실이 함께 쓰이며, 교사-학생 자기증류(self-distillation) 구조를 이룬다.
모델을 키우자 분류는 좋아졌지만 분할 같은 밀집 예측 성능이 학습 후반에 무너지는 문제가 나타났고, 이를 '그램 앵커링(Gram Anchoring)'으로 해결한 것이 핵심 혁신이다.

쉽게 이해하기

자연어 처리에서 대형 언어 모델이 범용 파운데이션 모델 역할을 하듯, 컴퓨터 비전도 여러 과제에 재사용 가능한 파운데이션 모델로 향하고 있다. 지난 2년간 메타 AI의 DINOv2가 그 대표적 백본이었고, DINOv3는 그 다음 단계다. LLM에서 본 것처럼 더 크고 더 많은 데이터로 학습해, 파라미터는 70억, 이미지는 17억 장으로 확장했다.

파운데이션 모델의 이점은 '한 번 처리, 여러 번 재사용'이다. 이미지를 DINOv3에 통과시키면 풍부한 정보를 담은 임베딩(시각 특징)이 나오고, 이를 작은 과제별 모델에 넣어 의미 분할이나 깊이 추정을 수행한다. 중요한 점은 DINOv3를 동결한 채로도, 즉 미세조정 없이도 이런 과제들이 최고 수준 성능에 도달한다는 것이다. 과제마다 거대한 백본을 미세조정하는 비용을 피할 수 있다.

성능 면에서 DINOv3는 동결 임베딩 기준 다양한 비전 과제에서 DINOv2는 물론 구글의 SigLIP 2, 메타 자체의 퍼셉션 인코더까지 대부분 앞섰다. 논문의 유사도 지도 시각화에서는, 이미지의 한 패치(예: 바나나)를 기준으로 잡으면 다른 바나나 패치들만 정확히 높은 유사도로 강조되는 등 특징의 품질을 직관적으로 보여준다.

학습의 토대는 라벨이 필요 없는 자기지도 학습이다. 다만 큐레이션 없이 데이터를 늘리면 특정 도메인(예: 고양이 이미지)에 편향돼 일반화가 나빠진다. 그래서 DINOv2 임베딩으로 군집화해 도메인별로 균형 잡힌 17억 장을 뽑고(LVD-1689M), 과제에 유용한 씨앗 이미지를 확장한 데이터셋, ImageNet 등 공개 데이터셋을 함께 섞어 학습했다.

학습 손실은 두 축이다. DINO 손실은 이미지 전역 의미를 교사-학생이 일치시키게 하고, iBOT 손실은 패치를 가린 뒤 교사의 해당 위치 표현을 예측하게 해 지역 세부를 학습한다. 교사는 별도로 학습하지 않고 학생 가중치의 지수이동평균으로 갱신되는데, 이는 학습 안정성을 높이고 자명한 해로의 붕괴를 막는다. 이 모든 과정이 라벨 없는 자기증류라는 DINO의 이름 그대로다.

주요 인사이트

동결된 백본으로 여러 과제를 처리할 수 있다는 점이 파운데이션 모델의 실용적 핵심이다. 과제마다 미세조정한 사본을 돌리는 비용과 하드웨어 부담을 없애준다.
모델·데이터 규모를 키운다고 모든 지표가 좋아지진 않는다. DINOv3에서 분류는 학습이 길수록 좋아졌지만, 분할 같은 밀집 예측은 일정 시점 이후 오히려 무너졌다.
성능 붕괴의 신호는 패치 수준 일관성의 상실이었다. 학습이 길어질수록 무관한 패치들이 기준 패치와 높은 유사도를 보이기 시작했고, 이것이 밀집 과제 성능 하락과 맞물렸다.
그램 앵커링은 특징 자체가 아니라 특징들 사이의 '관계'(그램 행렬, 패치 특징 간 내적 행렬)를 규제한다. 밀집 과제 성능이 좋았던 초기 체크포인트를 '그램 교사'로 삼아 학생의 그램 행렬을 맞춘다.
관계 구조만 맞추므로 개별 특징은 자유롭게 움직일 수 있어, 전역 성능을 지키면서 지역 일관성을 회복시킨다. 100만 회 이후 적용하자 분할 성능이 회복을 넘어 이전 최고치를 넘어섰다.

자주 묻는 질문

DINOv3는 DINOv2와 비교해 무엇이 달라졌나?

규모가 크게 커졌다. 파라미터가 10억에서 70억으로, 학습 이미지가 1억 4200만 장에서 17억 장으로 늘었다. 또한 동결 임베딩만으로 여러 과제에서 최고 수준 성능에 도달하며, 새로운 기법인 그램 앵커링을 도입했다.

그램 앵커링(Gram Anchoring)은 어떤 문제를 푸는가?

모델과 학습을 키우면 분류 같은 전역 과제는 좋아지지만 분할 같은 밀집 예측은 후반에 성능이 무너지는 문제가 있었다. 그램 앵커링은 패치 특징 간 관계를 담은 그램 행렬을 초기 우수 체크포인트(그램 교사)에 맞춰, 지역 일관성을 되살리면서 전역 성능도 유지한다.

DINOv3는 왜 라벨 없이 학습할 수 있나?

자기지도 학습을 쓰기 때문이다. 라벨 대신 같은 이미지의 서로 다른 크롭을 교사와 학생 모델에 넣고 출력이 일치하도록 학습하는 자기증류 방식(DINO 손실)과, 가린 패치를 교사 표현으로 복원하는 방식(iBOT 손실)을 결합한다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗