DINO·DINOv3 자기지도학습 원리: 라벨 없이 이미지 특징을 배우는 학생-교사 구조와 그램 앵커링까지

핵심 메시지

• 컴퓨터에게 이미지는 숫자 격자일 뿐이며, 좋은 '특징 표현'을 뽑아내는 것이 시각 인식의 핵심이다.
• 지도학습과 CLIP은 각각 사람이 붙인 클래스 라벨과 이미지-캡션 쌍이 필요해 비용이 크다.
• 자기지도학습은 라벨 없이 이미지만으로 학습 신호를 만들어, 방대한 미분류 이미지를 활용할 수 있게 한다.
• DINO는 학생-교사 구조의 지식 증류에 센터링·온도 조절·멀티크롭을 결합해 표현 붕괴를 막는다.
• DINOv2·DINOv3는 규모를 키우고 패치 단위 손실과 '그램 앵커링'을 더해 조밀한 특징 품질을 끌어올렸다.

쉽게 이해하기

사람은 이미지를 보면 물체와 의미, 3D 구조를 쉽게 파악하지만 컴퓨터에게 이미지는 숫자 격자에 불과하다. 그래서 AI가 이미지를 이해하려면 의미 있는 '특징(feature)'을 뽑아내야 한다. 영상은 두 그룹의 데이터를 직선으로 나누기 어려운 예시를 든 뒤, 좌표를 방사형으로 바꾸면 쉽게 분리되는 모습을 통해 좋은 특징 표현이 왜 중요한지 보여준다.

특징을 배우는 전통적 방법은 분류 같은 과제를 풀도록 신경망을 훈련하는 것이다. 추출된 특징 위에 선형층이나 다층 퍼셉트론으로 된 출력 헤드를 얹고 소프트맥스로 확률을 만든 뒤, 정답 원-핫 라벨과의 교차 엔트로피 손실을 최소화한다. 이렇게 대규모 라벨 데이터로 학습한 가중치는 새로운 과제의 좋은 출발점이 되며, 이를 전이학습이라 부른다. 그러나 클래스 라벨은 '곰'이나 '고양이'처럼 주된 물체만 알려줄 뿐 이미지 속 풍부한 세부 정보는 담지 못한다.

그래서 캡션 같은 자연어를 활용하는 방식이 등장한다. 텍스트 인코더가 캡션을 특징 벡터로 바꾸고, 이미지와 짝이 맞는 캡션의 벡터는 가깝게, 맞지 않는 쌍은 멀어지게 학습한다. 벡터를 단위 길이로 정규화하면 내적이 유사도를 직접 나타내며, 이 대조 학습 방식이 바로 CLIP이다. CLIP은 4억 쌍의 이미지-텍스트로 폭넓은 시각 개념을 배우지만, 이미지마다 사람이 주석을 달아야 해 비용이 크다.

자기지도학습은 라벨 없이 이미지만으로 학습 신호를 만드는 것을 목표로 한다. 색 복원, 회전 각도 예측, 가려진 패치 복원 같은 과제도 있지만, 이런 수작업 과제는 의미적으로 풍부하고 전이 가능한 표현을 보장하지 못한다. 대조 학습(SimCLR)은 같은 이미지의 서로 다른 증강 뷰를 가깝게 만들지만, 사소한 해에 빠지지 않으려면 많은 음성 샘플과 큰 배치가 필요해 계산 비용이 크다.

DINO는 이 문제를 학생-교사 구조로 푼다. 한 이미지의 두 증강 뷰를 각각 학생·교사 인코더에 넣고, 교사의 예측을 학생이 따라가도록 교차 엔트로피를 최소화한다. 교사에는 그래디언트를 흘리지 않고, 교사 가중치는 학생 가중치의 이동평균(초기 lambda 0.996)으로 서서히 갱신한다. 표현 붕괴를 막기 위해 출력 평균을 빼는 '센터링'과 소프트맥스 온도 조절을 쓰고, 큰 전역 뷰와 작은 지역 뷰를 함께 쓰는 멀티크롭으로 세부와 전체 맥락을 연결한다. 이렇게 얻은 어텐션 맵은 지도학습보다 물체에 더 깨끗하게 집중한다.

후속 버전은 규모와 기법을 키웠다. DINOv2는 센터링을 개선하고 다양성 정규화를 추가했으며 출력 차원을 12만 8천으로, 데이터를 1억 4200만 장, 배치를 3천으로 늘리고 패치 단위 손실을 도입했다. 비전 트랜스포머로 이미지를 패치로 나누고 전체 요약을 담는 클래스 토큰을 사용하며, 학생 입력의 일부 패치를 가려 세밀한 패치 특징을 배우게 한다. DINOv3는 여기에 '그램 앵커링'을 더해, 패치 쌍 간 코사인 유사도로 만든 그램 행렬을 교사와 맞추도록 하여 조밀한 특징의 공간 구조를 더 선명하고 잡음 없이 유지한다.

주요 인사이트

• 좋은 특징 표현은 데이터를 바라보는 '좌표계'를 바꾸는 일과 같아서, 같은 데이터라도 표현이 좋으면 단순한 분류기로도 잘 나뉜다.
• 지도학습(클래스 라벨)과 CLIP(이미지-캡션)은 모두 사람의 주석에 의존하는 반면, 자기지도학습은 이미 존재하는 방대한 미분류 이미지를 그대로 활용할 수 있다는 점에서 확장성이 크다.
• 학생-교사 구조에서 교사를 학생의 이동평균으로 두고 센터링과 온도 조절을 함께 쓰는 것은, 라벨 없이도 학습이 사소한 해로 붕괴하지 않게 하는 핵심 장치다.
• 멀티크롭과 패치 단위 손실은 작은 지역 조각을 전체 맥락과 연결하도록 유도해, 물체의 일부만 보여도 인식하는 능력을 키운다.
• DINOv3의 그램 앵커링처럼, 학습이 길어질수록 흐려지는 조밀한 특징을 이전 교사 모델로 '고정'해 공간 구조를 보존하는 접근은 조밀 예측 과제 성능에 직접 기여한다.

자주 묻는 질문

관련 AI 소식