트랜스포머가 컴퓨터 비전을 장악한 과정: ViT부터 CLIP·SAM까지

핵심 메시지

• 2010년대에는 CNN이 컴퓨터 비전을 지배했는데, 인접 픽셀의 관계와 위치 불변성 같은 이미지에 특화된 귀납적 편향 덕분이었다.
• 2017년 언어 번역용으로 등장한 트랜스포머는 자기어텐션으로 긴 시퀀스를 LSTM보다 잘 다뤘고, BERT·GPT의 사전학습·미세조정 패러다임으로 확장됐다.
• 트랜스포머의 진짜 힘은 확장성이다. 연산·데이터·파라미터를 함께 키우면 성능이 포화 없이 계속 향상된다.
• 비전 트랜스포머(ViT)는 이미지를 패치 시퀀스로 잘라 넣는 최소한의 변형만으로, 데이터가 충분히 커지면 CNN을 앞질렀다.
• 그 결과 비전은 문제별 CNN에서 CLIP·DINOv2·SAM, 그리고 확산 트랜스포머(DiT) 같은 파운데이션 모델의 시대로 넘어갔다.

쉽게 이해하기

2010년대 내내 컴퓨터 비전의 최고 성능은 합성곱 신경망(CNN)의 몫이었다. 이유는 ‘귀납적 편향’에 있다. 합성곱은 인접 픽셀이 서로 더 관련 있다는 사실을 활용하고, 위치가 달라져도 같은 대상을 같게 인식하며(이동 불변성), 풀링으로 약간의 변형도 흡수한다. 이미지를 잘 다루도록 설계된 구조 자체가 강점이었다.

전환점은 2017년 등장한 트랜스포머다. 원래는 영어를 프랑스어로 옮기는 언어 번역용으로, 토큰 시퀀스를 인코더·디코더로 처리한다. 자기어텐션은 긴 시퀀스에서 당시 최고였던 LSTM보다 잘 작동했다. 2018~2020년 BERT와 GPT는 데이터를 구하기 쉬운 언어 과제로 먼저 사전학습한 뒤 개별 과제에 미세조정하는 방식을 대중화했다.

연구자들이 주목한 것은 트랜스포머의 확장성이었다. 연산량, 학습 데이터 규모, 파라미터 수를 동시에 늘리면 시험 손실이 뚜렷한 포화 없이 계속 줄어든다. 세 가지를 함께 키우기만 하면 성능이 끊임없이 좋아지는 성질이 언어 모델의 성공을 이끌었다.

2020년, 이 확장성을 이미지에도 옮길 수 있는지 시험한 것이 비전 트랜스포머(ViT)다. 이미지를 패치로 잘라 위치 인코딩을 더한 시퀀스로 인코더에 넣는 최소한의 변형만 했다. 이미지넷처럼 작은 데이터에선 여전히 CNN이 앞섰지만, 3억 장 규모의 데이터에선 트랜스포머가 CNN을 앞질렀다.

2021년 이후 비전은 사전학습·미세조정으로 훈련된 트랜스포머 기반 파운데이션 모델의 시대로 넘어간다. 이미지만으로 표현을 배우는 DINOv2, 텍스트와 이미지를 같은 공간에 정렬해 검색·추천에 쓰는 CLIP, 프롬프트로 원하는 영역을 분할하는 SAM이 대표적이다. 생성 분야에서도 GAN·VAE에서 확산 모델로, 다시 CNN 대신 트랜스포머를 쓴 확산 트랜스포머(DiT)로 옮겨갔다.

주요 인사이트

• CNN의 강점이던 귀납적 편향은 데이터가 적을 때 유리하지만, 데이터가 충분히 커지면 오히려 제약이 된다. 트랜스포머는 그 편향이 적은 대신 규모로 승부한다.
• 트랜스포머가 비전으로 넘어온 핵심 발상은 “이미지를 토큰 시퀀스로 취급한다”는 것이다. 패치+위치 인코딩이라는 단순한 변형이 언어의 성공 공식을 그대로 옮겨왔다.
• 확장성(스케일링)은 단순한 성능 향상이 아니라 아키텍처 선택의 근거다. 포화 없이 좋아지기 때문에 연산·데이터·모델 크기에 투자할 이유가 생긴다.
• 파운데이션 모델은 특정 과제가 아니라 넓은 데이터로 먼저 학습해 여러 응용의 ‘토대’가 된다. CLIP·DINOv2·SAM은 그 토대 위에서 검색·분할 등으로 뻗어 나간다.
• 확산 트랜스포머(DiT)에서 보듯, 생성 모델에서도 확장성이 좋은 트랜스포머가 합성곱을 대체하는 흐름이 이어지고 있다.

자주 묻는 질문

관련 AI 소식