MoCo 논문 리뷰, 대조 학습을 사전 탐색으로 바꾼 큐와 모멘텀 인코더 원리 정리

핵심 메시지

• 자연어 처리와 달리 컴퓨터 비전은 신호가 연속적이고 고차원이라 토큰 사전을 만들기 어렵고, 그만큼 자기지도 학습이 뒤처져 있었다.
• MoCo는 대조 학습을 '사전에서 맞는 키를 찾는 문제'로 보고, 사전이 커야 하고 동시에 키들이 일관되게 인코딩돼야 한다는 두 조건을 함께 만족시키려 한다.
• 사전을 큐로 구현해 새 미니배치가 들어오고 가장 오래된 배치가 빠지게 하면, 배치 크기와 무관하게 부정 샘플 수를 하이퍼파라미터로 키울 수 있다.
• 키 인코더를 쿼리 인코더의 파라미터로 천천히 따라가게 하는 모멘텀 업데이트가 핵심이며, 모멘텀을 크게 줄수록 성능이 좋아지고 0이면 학습이 무너진다.
• 여러 다운스트림 과제에서 MoCo 사전학습이 이미지넷 지도학습 사전학습을 앞서며, 자기지도와 지도학습의 격차를 크게 좁혔다.

쉽게 이해하기

이 영상은 자기지도 시각 표현 학습의 대표 논문인 MoCo(Momentum Contrast)를 한 편씩 뜯어 읽는 스터디 발표다. 발표자는 먼저 용어부터 정리한다. 비지도 학습, 자기지도 학습, 자기지도 표현 학습 같은 표현이 아직 형식적으로 통일되지 않아 혼용되고 있고, 이 논문은 '라벨 없이 표현을 배운다'는 관점에서 비지도 학습이라는 말을 쓰고 있다는 것이다.

문제의식은 언어와 비전의 차이에서 출발한다. 자연어 처리에서는 신호가 이산적이라 토큰 사전을 만들 수 있었고 그래서 대규모 자기지도 사전학습이 크게 성공했다. 반면 이미지 신호는 연속적이고 고차원이라 같은 방식을 쓰기 어려웠고, 비전은 오랫동안 라벨을 붙인 지도학습이 주도해 왔다. 대조 학습은 이 간극을 메우려는 시도이고, MoCo는 그 학습을 '동적으로 유지되는 사전을 탐색하는 과정'으로 재해석한다.

구조는 이렇다. 이미지나 패치를 인코더에 넣어 얻은 표현이 키가 되고, 질의에 해당하는 쿼리는 자신과 짝이 되는 키 하나와는 비슷하고 나머지 키들과는 멀어지도록 학습된다. 손실 함수로는 노이즈 대조 추정 계열인 InfoNCE를 쓰는데, 이는 쿼리를 정답 키로 분류하는 소프트맥스 분류 문제로도 읽을 수 있다. 발표자는 여기서 유사도가 내적으로 계산되고 온도 하이퍼파라미터가 붙는다는 점을 짚는다.

MoCo의 첫 번째 장치는 사전을 큐로 만든 것이다. 기존의 종단간(end-to-end) 방식은 현재 미니배치를 그대로 사전으로 쓰기 때문에 키들이 같은 인코더에서 나와 일관되지만, 사전 크기가 GPU 메모리와 배치 크기에 묶여 버린다. 반대로 메모리 뱅크 방식은 데이터셋 전체 샘플을 저장해 사전을 키울 수 있지만, 각 표현이 서로 다른 시점의 인코더에서 만들어져 일관성이 떨어진다. 큐를 쓰면 새 배치가 들어오고 오래된 배치가 나가면서 사전 크기를 배치와 분리해 조절할 수 있다.

그러나 사전을 키우는 순간 키 인코더를 역전파로 갱신하기 어려워진다. 큐 안의 모든 부정 샘플에 대해 기울기를 흘려보낼 수 없기 때문이다. 쿼리 인코더를 그대로 복사해 키 인코더로 쓰는 단순한 방법은, 인코더가 너무 빠르게 변해 키 표현의 일관성이 깨지므로 잘 동작하지 않는다. MoCo의 두 번째 장치인 모멘텀 업데이트는 키 인코더의 파라미터를 쿼리 인코더 쪽으로 아주 천천히 이동시켜, 서로 다른 시점에 인코딩된 키들 사이의 차이를 작게 유지한다.

실험 결과가 이 설계를 뒷받침한다. 사전 크기를 늘려 가며 비교하면 종단간 방식은 어느 지점에서 더 키우지 못해 곡선이 끊기고, 메모리 뱅크는 크기는 감당하지만 정확도가 몇 퍼센트포인트 낮게 유지되는 반면 MoCo는 두 마리 토끼를 모두 잡는다. 모멘텀 계수를 바꿔 가며 본 실험에서는 값이 클수록, 즉 키 인코더가 느리게 갱신될수록 성능이 올라갔고 모멘텀이 0인 경우에는 학습이 아예 실패했다. 발표자는 이것이 일관성의 중요성을 직접 증명한 결과라고 정리한다.

기술적 세부에서는 배치 정규화가 문제를 일으킨다는 점이 흥미롭다. 배치 안에서 통계가 공유되면서 모델이 정답을 우회적으로 알아채는 정보 누수가 생겨 학습이 잘못된 방향으로 흐른다는 것이다. MoCo는 여러 GPU에 배치를 나눠 정규화 통계를 섞는 셔플링 방식으로 이를 막았다. 전이 실험에서는 파스칼 VOC 객체 검출과 COCO의 검출·분할·키포인트 등 여러 과제에서 MoCo 사전학습이 이미지넷 지도학습 사전학습과 같거나 더 나은 결과를 냈고, 인스타그램에서 모은 훨씬 크고 불균형한 데이터로 학습했을 때 결과가 더 좋아졌다는 점도 확인됐다.

주요 인사이트

• 대조 학습을 '사전 탐색'이라는 하나의 틀로 다시 쓰면, 서로 달라 보이던 종단간 방식과 메모리 뱅크 방식이 사전 크기와 일관성이라는 두 축 위의 서로 다른 타협점으로 정리된다.
• 성능을 끌어올린 것은 새로운 프리텍스트 과제가 아니라 사전을 다루는 메커니즘이었다. 논문은 일부러 가장 단순한 인스턴스 구분 과제를 써서 손실 쪽 기여를 분리해 보였다.
• 부정 샘플 수를 배치 크기에서 떼어내 하이퍼파라미터로 만든 것이 큐 설계의 실질적 이득이다. 큰 배치를 최적화하는 어려움을 피하면서 사전만 키울 수 있다.
• 모멘텀 계수 실험은 '천천히 변하는 표적'이 대조 학습의 안정성을 좌우한다는 점을 보여 준다. 계수를 0으로 두면 학습 자체가 실패한다.
• 잘 정제된 이미지넷보다 불균형하고 지저분한 인스타그램 데이터에서 성능이 더 올랐다는 점은, 이 방식이 라벨을 붙이기 어려운 대규모 실제 데이터에 유리하다는 신호다.

자주 묻는 질문

관련 AI 소식