비전 트랜스포머(ViT) 작동 원리: 16×16 패치 임베딩과 위치 임베딩, CLS 토큰 분류까지

핵심 메시지

• 비전 트랜스포머는 이미지를 16×16 픽셀 패치로 잘라 언어 모델의 토큰처럼 다룬다. 영상의 예시에서 사진 한 장은 14×14 격자, 즉 196개의 패치가 된다.
• 패치 하나는 16×16×3(색상 채널) = 768개의 픽셀값을 한 줄로 펼친 뒤, 학습된 선형 투영을 거쳐 768차원 임베딩으로 바뀐다.
• 이미지에는 순서가 없으므로 패치 위치마다 학습된 위치 임베딩 196개를 더해 '무엇이 어디에 있는지'를 알려준다.
• 어떤 패치에도 속하지 않는 CLS 토큰을 하나 덧붙여, 12개 층을 거치며 이미지 전체 정보를 이 토큰 하나에 모으고 마지막에 분류에 쓴다.
• CNN이 좁은 영역에서 시작해 시야를 서서히 넓히는 것과 달리, 비전 트랜스포머는 첫 층부터 이미지 전체를 한 번에 참조한다.

쉽게 이해하기

비전 트랜스포머(ViT)는 언어 모델에서 쓰던 트랜스포머를 이미지에 그대로 옮겨온 모델이다. 문장은 이미 단어 단위로 쪼개져 있지만 이미지는 그렇지 않기 때문에, 먼저 사진을 일정한 크기의 사각형 조각으로 자르는 일부터 시작한다. 영상에서는 16×16 픽셀 패치를 쓰고, 한 장의 사진이 14×14 격자로 배열된 196개 패치가 된다. 여기서 고양이 눈에 해당하는 87번 패치 하나를 골라 끝까지 따라간다.

패치 하나에는 가로세로 16픽셀에 빨강·초록·파랑 세 채널이 곱해진 768개의 숫자가 들어 있다. 이 숫자들을 한 줄로 펼친 뒤 학습된 행렬을 곱해 768차원 임베딩 공간으로 옮긴다. 언어 모델이 단어를 벡터로 바꾸는 것과 같은 절차지만, 여기서 학습되는 것은 단어의 의미가 아니라 이미지에서 무엇이 중요한 시각적 특징인지다.

문제는 위치 정보다. 글은 원래 한 줄로 흐르지만 이미지는 2차원이다. 대부분의 구현은 패치들을 1차원 순서로 펼친 뒤 순서 번호마다 학습된 위치 벡터를 하나씩 두는 방식을 쓴다. 2차원 구조는 각 순서 번호가 격자의 어느 칸에 해당하는지를 통해 간접적으로 담기며, 반드시 2차원 사인·코사인 인코딩을 써야 하는 것은 아니다. 여기에 분류를 위한 CLS 토큰이 앞에 하나 더 붙어 전체 토큰은 197개가 된다.

본격적인 계산은 셀프 어텐션에서 일어난다. 문장을 생성하는 언어 모델은 뒤에 올 단어를 미리 보지 못하도록 가리지만, 이미지에는 그런 제약이 필요 없어 모든 패치가 서로를 자유롭게 참조한다. 각 패치 임베딩에 세 개의 학습된 행렬을 곱해 쿼리·키·값 벡터를 만들고, 고양이 눈 패치의 쿼리를 197개 토큰의 키와 모두 견줘 어디에 주목할지 정한다. 실제로는 헤드마다 서로 다른 패턴을 학습하며, 흔히 보는 어텐션 히트맵은 그 일부를 단순화해 보여준 그림이다.

한 블록은 층 정규화 → 어텐션 → 잔차 연결 → 층 정규화 → MLP → 잔차 연결로 구성된다. MLP는 768차원을 네 배인 3072차원으로 늘렸다가 GELU 비선형을 거쳐 다시 줄이며, 이 단계에서는 패치끼리 정보를 주고받지 않고 각자의 표현만 다듬는다. 이 블록을 보통 12개 쌓으면 초기 층은 모서리·색·질감 같은 저수준 특징을, 중간 층은 사물의 부분과 패턴을, 후반 층은 '고양이 얼굴의 눈'처럼 의미가 담긴 개념을 담게 된다. 마지막으로 CLS 토큰의 표현을 선형 분류기에 통과시켜 이미지넷 기준 1000개 클래스 점수를 내고, 소프트맥스로 확률을 만든다.

주요 인사이트

• 이미지를 패치로 자르는 순간 시각 문제는 곧바로 언어 모델과 같은 문제로 바뀐다. '토큰의 나열'로 만들 수만 있으면 같은 구조를 재사용할 수 있다는 것이 비전 트랜스포머의 핵심 아이디어다.
• CLS 토큰은 특별한 장치가 아니라 어텐션 계산에 참여하는 평범한 토큰 하나일 뿐이다. 다만 어떤 패치와도 대응하지 않기 때문에, 12개 층을 지나는 동안 이미지 전체를 요약하는 역할을 자연스럽게 떠맡게 된다.
• CNN은 좁은 수용 영역에서 출발해 층을 쌓으며 시야를 넓히지만, 비전 트랜스포머는 첫 번째 층부터 이미지 전체를 볼 수 있다. 대신 모든 패치 쌍을 비교하므로 계산량이 패치 수의 제곱으로 늘어난다.
• 그 계산량 문제를 푼 후속 연구가 스윈 트랜스포머다. 어텐션을 국소 윈도 안으로 제한해 계산량을 제곱에서 선형으로 낮췄다.
• 초기 ViT는 수억 장 규모의 데이터가 있어야 제대로 학습됐지만, DeiT가 증류를 비롯한 학습 기법을 정리하면서 훨씬 적은 데이터로도 학습이 가능해졌다.

자주 묻는 질문

관련 AI 소식