DINOv2·DINOv3 정리: 자기지도 학습 비전 파운데이션 모델과 그램 앵커링의 역할

핵심 메시지

• 고려대학교 DMQA 연구실 공개 세미나로, 메타가 공개한 자기지도 학습 비전 모델 DINOv2와 DINOv3의 학습 방식을 비교해 설명한다.
• DINOv2는 12억 장 규모의 비정제 웹 이미지에서 중복 제거와 클러스터링을 거쳐 1억 4천만 장 규모의 학습셋을 자동으로 구성했다.
• 학습 신호는 전역 정보를 맞추는 DINO 손실과 가려진 패치를 복원하는 iBOT 손실을 함께 쓰며, 교사 네트워크는 학생의 지수이동평균으로만 갱신된다.
• 모델과 데이터를 키울수록 분류 성능은 유지됐지만 분할처럼 픽셀 단위로 세밀한 과제의 성능은 오히려 떨어지는 현상이 관찰됐다.
• DINOv3는 학습 초반의 교사를 고정해 패치 간 유사도 행렬을 따라가게 하는 그램 앵커링으로 이 붕괴를 막았고, 백본을 얼린 채 탐지 헤드만 학습해도 강한 성능을 냈다.

쉽게 이해하기

이 세미나는 컴퓨터 비전에서 파운데이션 모델이 왜 필요한지에서 출발한다. 자연어 처리에서 대량의 텍스트로 사전 학습한 하나의 모델이 질의응답, 생성, 번역을 모두 처리하듯, 비전에서도 이미지 한 장에서 좋은 표현을 뽑아 여러 하위 과제에 재사용하려는 흐름이 있다는 것이다. 문제는 비전 과제일수록 정답 레이블을 만드는 비용이 크다는 점인데, 특히 분할은 픽셀 단위 라벨링이 필요해 대규모 데이터셋 구축이 매우 어렵다. 그래서 등장한 것이 레이블 없는 이미지를 그대로 쓰는 자기지도 학습이고, 메타의 DINO 시리즈가 그 대표 사례다. 발표자는 사전 학습 단계에서 좋은 특징 추출기를 만들어 두면 하위 과제에서는 가벼운 헤드만 소량의 레이블로 미세 조정해도 된다는 점을 강조한다. 한 번 계산한 임베딩을 여러 과제에서 재사용할 수 있어 연산과 자원 측면에서도 효율적이라는 설명이다.

DINOv2의 첫 번째 축은 데이터다. 앞선 연구들이 정제되지 않은 웹 이미지를 그대로 쓰다가 품질과 다양성 문제를 겪었기 때문에, 시각적 유사도를 기준으로 동작하는 자동 큐레이션 파이프라인을 만들었다. 약 12억 장에서 시작해 두 단계 중복 제거를 거치고, 기존 데이터셋과 유사한 이미지를 검색·클러스터링해 균형 잡힌 1억 4천만 장 규모의 학습셋을 구성했다.

두 번째 축은 손실 설계다. 한 이미지에서 전역 크롭과 국소 크롭을 여러 개 만들어 교사와 학생 네트워크에 각각 넣고, CLS 토큰을 다층 퍼셉트론과 소프트맥스로 확률 분포로 바꾼 뒤 두 분포가 비슷해지도록 학습한다. 여기에 이미지 일부를 가린 채 가려진 패치의 표현을 교사의 원본 표현에 맞추는 iBOT 손실을 더해 세밀한 지역 정보까지 배우게 한다. 교사에는 기울기를 흘리지 않고 학생의 지수이동평균으로만 갱신해 학습을 안정시킨다. 그 결과 서로 다른 이미지에서도 같은 의미를 가진 부위, 예컨대 새의 날개와 비행기의 날개가 같은 색으로 나타나는 특징 공간이 만들어진다.

그런데 모델과 데이터를 키우자 새로운 문제가 드러났다. 학습이 진행될수록 분류 성능은 잘 유지되는 반면 분할처럼 픽셀 단위 과제의 성능은 점점 떨어졌고, 20만 반복에서 100만 반복으로 갈수록 특징 맵이 퍼지고 노이즈가 끼는 모습이 시각적으로도 확인됐다. 모델이 전역 정보 쪽으로 치우치면서 지역 세부 정보를 잃어버린다는 뜻이다.

DINOv3는 스케일링과 그램 앵커링 두 가지로 대응한다. 모델은 DINOv2의 ViT-giant에서 70억 파라미터급으로, 데이터는 1억 4천만 장에서 약 17억 장으로 늘렸다. 다만 크기만 키워서는 조밀 특징 붕괴가 해결되지 않기 때문에, 특징이 아직 깔끔했던 20만 반복 시점의 교사를 따로 저장해 두고 학생의 패치 임베딩 간 코사인 유사도 행렬이 그 교사의 유사도 행렬을 따라가도록 하는 그램 앵커링을 도입했다. 개별 특징 값은 달라져도 패치 사이의 관계는 유지되므로 지역 정보가 흐트러지지 않는다. 실험 결과는 이 설계를 뒷받침한다. 그램 앵커링을 쓰지 않은 기준선보다 의미 분할과 깊이 추정 성능이 모두 좋아졌고, 흥미롭게도 학습 후반의 교사를 앵커로 쓰면 초반 교사를 쓸 때보다 성능이 오히려 떨어졌다. 한 지점을 찍고 다른 위치와의 유사도를 시각화한 그림에서도 그램 앵커링 적용 전에는 유사도가 번지던 것이 적용 후에는 물체 경계를 따라 깔끔하게 잡혔다. COCO 객체 탐지에서는 이미지 인코더를 고정한 채 탐지 헤드만 미세 조정했는데도 백본까지 완전히 미세 조정한 모델들보다 높은 성능을 냈고, 비디오 분할과 추적에서도 우수한 결과를 보였다.

주요 인사이트

• 레이블 비용이 병목인 분야에서는 "무엇을 정답으로 삼을 것인가"를 설계하는 일이 곧 모델 설계가 된다. DINO 계열이 전역 크롭과 국소 크롭, 가려진 패치를 정답 대신 쓰는 방식이 그 예다.
• 모델을 키우면 좋아진다는 통념이 과제별로 갈린다는 점이 이 세미나의 핵심 관찰이다. 같은 학습에서 분류 성능은 유지되는데 분할 성능은 떨어졌다면, 단일 지표만 보고 학습을 오래 돌리는 것은 위험하다.
• 그램 앵커링이 특징 값 자체가 아니라 패치 간 유사도 구조를 붙잡는다는 점이 흥미롭다. 표현이 자유롭게 변하도록 두면서도 공간적 관계만 보존하는, 제약을 최소화한 정규화에 가깝다.
• 후반 교사보다 초반 교사를 앵커로 쓸 때 성능이 더 좋았다는 결과는 무엇을 기준점으로 삼느냐가 얼마나 중요한지 보여준다. 이미 망가지기 시작한 상태를 목표로 삼으면 그 열화를 그대로 따라간다.
• 백본을 얼린 채 헤드만 학습해도 완전 미세 조정 모델을 앞섰다는 것은 파라미터 규모가 아니라 사전 학습된 표현의 질이 성능을 만들었다는 근거다. 실무에서는 재학습 비용을 크게 줄일 수 있는 지점이기도 하다.

자주 묻는 질문

관련 AI 소식