CLIP 원리 해설: 언어가 컴퓨터 비전을 바꾼 과정과 제로샷 이미지 분류의 등장

핵심 메시지

• 2012년 AlexNet 이후 컨볼루션 신경망이 컴퓨터 비전을 지배했지만, 대부분은 특정 과제마다 라벨 데이터로 처음부터 다시 학습해야 했다.
• 이미지 분류의 정답 라벨은 '개' 한 단어뿐이라 학습 신호가 매우 빈약한 반면, 자연어 설명은 대상·속성·행동·맥락까지 담아 훨씬 풍부한 감독 신호를 준다.
• BERT와 GPT가 언어 분야에서 정착시킨 '대규모 사전학습 후 미세조정' 방식이 비전으로 넘어온 결정적 통로가 CLIP이다.
• CLIP은 텍스트 인코더와 이미지 인코더를 두고, 짝을 이루는 이미지와 설명문의 벡터는 가깝게, 아닌 쌍은 멀게 미는 대조 학습으로 훈련한다.
• 그 결과 분류 과제를 따로 학습하지 않은 모델이 제로샷으로 분류를 수행하며, 클래스마다 데이터를 모아 미세조정한 컨볼루션 신경망보다 좋은 성적을 냈다.

쉽게 이해하기

컴퓨터 비전의 현대사는 2012년 AlexNet에서 출발한다. 이미지를 넣으면 1,000개 범주 중 하나로 분류하는 이 종단간 학습 신경망은, 사람이 특징을 손으로 설계하던 기존 방식을 앞질렀다. 이후 2013년 무렵부터 컨볼루션 신경망이 과제별로 퍼져 나갔다. 분류에는 ResNet, 물체 위치에 사각형을 그리는 검출에는 Fast R-CNN과 YOLO, 픽셀 단위로 영역을 나누는 분할에는 스킵 연결을 갖춘 U-Net이 쓰였다.

문제는 이 성공의 구조적 한계였다. 이런 신경망은 대체로 특정 과제를 위해 라벨이 붙은 데이터로 처음부터 학습해야 했고, ResNet처럼 층이 깊어질수록 필요한 라벨 데이터도 늘었다. 게다가 감독 신호 자체가 좁아서, 개 사진에 '개'라는 라벨만 역전파하면 그 한 단어에 담긴 정보만이 신경망을 갱신했다. 그렇게 만든 모델은 다른 용도로 재활용하기 어려웠다.

전환점은 뜻밖에 언어 쪽에서 왔다. 2017년 기계 번역을 위해 제안된 트랜스포머, 그리고 곧이어 등장한 BERT와 GPT가 '일반적인 과제로 대규모 사전학습을 하고 이후 작은 과제들에 미세조정한다'는 방식을 정착시켰다. BERT는 질의응답, 개체명 인식, 자연어 추론, 요약 등에서 기존 최고 성능을 넘어섰다. 그러자 언어를 이렇게 잘 다루는 능력을 비전에 끌어올 수 있느냐는 질문이 남았다.

CLIP 논문의 제목 '자연어 감독으로부터 전이 가능한 시각 모델 학습'이 그 답을 요약한다. 구조는 텍스트 인코더와 이미지 인코더 두 갈래이며, 텍스트는 트랜스포머가 처리하고 이미지는 2021년 당시 컨볼루션 신경망이 맡았다(오늘날이라면 트랜스포머 계열일 가능성이 크다). 이미지와 설명문은 인터넷에 자연스럽게 쌍으로 존재하므로 학습 데이터를 모으기 쉽고, 짝인 벡터는 끌어당기고 아닌 쌍은 밀어내는 대조 손실로 두 인코더를 함께 갱신하면 표현력이 훨씬 좋아진 이미지 인코더가 남는다. 강연의 예시대로 '개'라는 라벨 대신 '페퍼라는 오스트레일리안 셰퍼드 강아지'라는 문장이 학습을 이끄는 셈이다.

이렇게 학습한 모델은 추가 학습 없이 그대로 쓸 수 있고, 이를 제로샷 예측이라 부른다. 과카몰레·세비체·에다마메·참치·후무스 다섯 가지로 음식 사진을 분류하려면 각 범주 이름을 '○○의 사진, 음식의 한 종류'처럼 문장으로 바꿔 텍스트 인코더에 넣고, 사진의 벡터와 코사인 유사도가 가장 높은 문장을 고르면 된다. 분류를 학습한 적 없는 모델이 클래스마다 데이터를 모아 미세조정한 컨볼루션 신경망보다 좋은 성적을 냈다는 점이 핵심이다. 이것이 비전을 과제별 모델에서 재사용 가능한 파운데이션 모델의 시대로 넘긴 계기가 됐다.

주요 인사이트

• 감독 신호의 '정보량'이 모델의 재사용성을 결정한다. 한 단어 라벨로는 그 라벨을 맞히는 능력만 남지만, 서술문으로 배우면 속성과 맥락까지 표현에 담기므로 다른 과제로 옮겨 쓸 수 있다.
• CLIP의 데이터 전략은 라벨링 비용 문제를 우회한 것이기도 하다. 사람이 범주를 붙인 데이터셋을 새로 만드는 대신, 이미 이미지와 설명이 짝으로 존재하는 웹 데이터를 그대로 학습 신호로 삼았다.
• 분류 문제를 '문장과의 유사도 비교'로 바꾸면 범주 목록을 코드로 바꿔 넣기만 해도 새 분류기가 된다. 모델을 다시 학습시키지 않고 프롬프트만 바꿔 과제를 정의하는 방식이 비전에도 들어온 것이다.
• 언어 모델링에서 검증된 사전학습·미세조정 패러다임이 비전으로 이식됐다는 점은, 특정 분야의 방법론이 인접 분야를 재편하는 전형적 경로를 보여준다.

자주 묻는 질문

관련 AI 소식