비전 트랜스포머(ViT)란? CNN을 넘어선 이미지 인식 방식과 셀프 어텐션 원리 쉽게 정리

핵심 메시지

• 2020년 등장한 비전 트랜스포머(ViT)는 이미지를 16×16 패치(토큰)로 잘라 언어 모델처럼 처리하며, 이미지넷에서 88.55% 정확도로 기존 기록을 갈아치웠다.
• CNN은 주변 픽셀 중심의 '국소성'(귀납적 편향)으로 지역 특징을 모으지만, ViT는 셀프 어텐션으로 이미지 전체의 관계를 한 번에 조망한다.
• ViT의 강력한 성능은 JFT-300M(약 3억 장) 같은 대규모 사전학습에서 나오며, 같은 성능을 내면서도 사전학습 연산은 기존 모델의 약 4분의 1에 그친다.
• 데이터와 자원이 적으면 선입견을 가진 CNN이 여전히 유리하고, 최근에는 둘의 장점을 섞은 하이브리드 모델이 대세로 떠올랐다.
• ViT는 텍스트-이미지를 연결하는 OpenAI의 CLIP(제로샷)과 무엇이든 분할하는 메타의 SAM 같은 새로운 도구를 탄생시켰다.

쉽게 이해하기

지난 10년간 컴퓨터 비전의 왕좌는 합성곱 신경망(CNN)이 지켜 왔다. CNN의 통치 철학은 '국소성'으로, 돋보기를 든 탐정처럼 주변 픽셀을 함께 보며 눈·귀 같은 지역적 단서를 하나씩 모아 전체 그림을 맞춘다. 오랫동안 직관적이고 효과적인 방법으로 여겨졌다.

새 도전자는 이미지가 아니라 언어의 세계에서 왔다. 2017년 자연어 처리를 뒤흔든 트랜스포머를 2020년 이미지에 적용한 것이 비전 트랜스포머(ViT)다. 비결은 셀프 어텐션으로, 데이터의 모든 부분이 서로 어떤 관계인지 한꺼번에 계산한다. 돋보기가 아니라 드론에서 숲 전체를 내려다보는 시야에 가깝다.

ViT는 이미지를 퍼즐처럼 패치로 자르고, 각 조각을 위치 정보와 함께 하나의 '단어(토큰)'로 바꿔 트랜스포머에 통째로 넘긴다. '이미지 한 장은 16×16 단어의 가치가 있다'는 논문 제목 그대로다. CNN이 선입견(귀납적 편향)을 갖고 출발한다면, ViT는 거의 백지 상태에서 데이터만 보고 관계를 처음부터 학습한다.

결과는 이미지넷에서 88.55%로 기존 강자를 모두 제쳤다. 다만 조건이 있다. JFT-300M처럼 3억 장에 달하는 방대한 데이터로 사전학습해야 힘이 나온다. 대신 같은 성능에 필요한 연산은 기존 모델의 약 4분의 1로, 더 똑똑하면서 더 저렴한 효율성을 보였다.

ViT는 벤치마크 점수를 넘어 새로운 도구를 낳았다. OpenAI의 CLIP은 텍스트와 이미지의 개념을 연결해 '아보카도 모양 의자'처럼 본 적 없는 설명만으로도 이미지를 찾아내고, 메타의 SAM은 클릭이나 네모 박스만으로 객체를 정교하게 분할한다. 결국 절대강자는 없으며, 데이터가 적으면 CNN, 방대하면 ViT, 그리고 둘을 섞은 하이브리드가 상황별 정답이다.

주요 인사이트

• '이미지를 단어처럼 다룬다'는 발상의 전환이 핵심이다. 언어 모델의 셀프 어텐션을 그대로 이미지에 옮겨 전체 관계를 파악한다.
• ViT의 강점은 백지에서 데이터로 관계를 배우는 데 있어, 대규모 데이터가 전제 조건이 된다. 데이터가 부족하면 오히려 약점이 된다.
• 성능만큼 중요한 성과가 효율성이다. 사전학습 연산을 약 4분의 1로 줄이면서 최고 성능을 달성했다.
• CNN의 시대가 끝난 것이 아니라, 상황에 맞는 도구를 고르고 둘을 결합하는 하이브리드로 진화하고 있다.

자주 묻는 질문

관련 AI 소식