컴퓨터 비전 역사 총정리 — CNN부터 ViT·확산모델까지 한눈에

핵심 메시지

• 컴퓨터 비전은 1958년 허블과 비셀의 포유류 시각 처리 실험에서 출발해, 뇌가 단순한 특징에서 복잡한 개념으로 단계적으로 처리한다는 계층적 모델을 밝혀냈다.
• 이 계층적 아이디어가 1980년대 네오코그니트론과 역전파(1986) 위에서 LeNet-5라는 최초의 현대적 합성곱 신경망(CNN)으로 이어졌다.
• 2012년 AlexNet이 GPU와 대규모 데이터(ImageNet)를 활용해 CNN을 부활시켰고, 이후 VGG·Inception·ResNet으로 신경망은 점점 깊어졌다.
• 분류·검출·분할·생성 등 문제 유형별로 R-CNN·YOLO·U-Net·Mask R-CNN·GAN·VAE 같은 전용 구조가 발전했다.
• 2017년 트랜스포머 등장 이후 ViT·CLIP·DETR·SAM·확산모델처럼 한 구조로 여러 문제를 푸는 파운데이션 모델 시대로 넘어왔다.

쉽게 이해하기

이 영상은 1950년대부터 오늘날까지 컴퓨터 비전이 어떻게 발전해 왔는지를 하나의 이야기로 엮어 설명한다. 출발점은 1958년 허블과 비셀의 실험으로, 이들은 뇌의 시각 처리가 단계적으로 일어나 초기 단계에서는 경계선·색 같은 단순한 특징을, 더 깊은 단계에서는 추상적 개념을 처리한다는 계층적 모델을 제시했다. 1980년대의 네오코그니트론은 이 생물학적 아이디어를 그대로 계산 모델로 옮긴 초기 형태였다.

1986년 역전파 알고리즘이 다듬어지면서 LeNet 계열이 등장했고, LeNet-5는 최초의 현대적 CNN으로 평가된다. 합성곱과 풀링은 이미지의 위치·회전·크기 변화에 강인한 처리를 자연스럽게 제공했지만, 숫자 인식 같은 단순 과제에 머물렀다. 이후 얼굴 검출(비올라-존스, 2001)·SIFT·HOG처럼 특징을 사람이 직접 설계하는 시대가 이어졌고, 같은 시기에 1999년 엔비디아의 첫 GPU와 ImageNet 같은 대규모 데이터가 준비됐다.

2012년 AlexNet은 GPU와 데이터를 결합해 CNN을 부활시켰다. 드롭아웃, 데이터 증강, 더 깊은 층을 도입해 성능을 끌어올렸다. 이어 VGG는 큰 합성곱을 3×3의 여러 층으로 대체해 더 깊게, Inception은 서로 다른 크기의 합성곱을 쌓아 희소성을 흉내 냈다. 무작정 깊게 쌓으면 성능이 저하되는 문제는 2015년 ResNet의 스킵 연결로 해결됐고, Xception·MobileNet은 깊이별 분리 합성곱으로 효율을 높였다.

영상은 CNN 시대를 문제 유형별로 정리한다. 검출에서는 다단계로 느렸던 R-CNN이 Faster R-CNN으로 빨라졌고, 한 번에 처리하는 YOLO는 속도를, R-CNN 계열은 정확도를 앞세우는 절충 관계를 보였다. 분할에서는 FCN·U-Net·DeepLab·Mask R-CNN이 픽셀 단위 정밀도를 다뤘고, 생성에서는 GAN과 VAE가 주도하며 DCGAN·Pix2Pix·SRGAN·CycleGAN·StyleGAN으로 확장됐다.

2017년 트랜스포머 등장과 함께 사전학습·미세조정 방식이 퍼지며, 문제마다 따로 만들던 모델이 한 구조로 여러 문제를 푸는 방향으로 바뀌었다. 시각 표현(ViT·DeiT·Swin·MAE·DINOv2·ConvNeXt), 비전·언어(CLIP·ALIGN·SigLIP), 트랜스포머 검출(DETR·Deformable DETR·DINO-DETR·RT-DETR), 개방 어휘 인식(GLIP·Grounding DINO·YOLO-World), 마스크 기반 분할(MaskFormer·SAM·SAM2), 그리고 확산모델(DDPM·Stable Diffusion·DALL-E·DiT·DALL-E 3·GPT-4o)까지 오늘날의 지형이 정리된다.

주요 인사이트

• 합성곱과 풀링은 이미지의 위치·크기·회전 변화에도 같은 대상을 인식하게 해 주는, 이미지에 특화된 연산이라는 점이 CNN이 오래 강세를 보인 이유다.
• ResNet의 스킵 연결은 깊은 신경망이 최소한 얕은 신경망만큼은 성능을 내도록 보장해, 신경망을 더 깊게 쌓을 수 있는 길을 열었다.
• 트랜스포머는 이미지 처리를 위해 설계되지 않아 비효율적이지만, 수억 장 규모의 데이터가 주어지면 CNN에 견줄 만한 성능을 낼 수 있음이 ViT로 확인됐다.
• Grounding DINO·SAM처럼 개별 모델을 조합하면, 텍스트로 원하는 대상을 찾아 경계 상자를 그리고 그 안을 정밀하게 분할하는 강력한 시스템을 만들 수 있다.
• 확산모델은 잠재 공간(Stable Diffusion)에서 노이즈를 제거하도록 바꿔 픽셀 단위 처리의 비효율을 줄였고, 텍스트 조건을 걸어 원하는 이미지를 생성한다.

자주 묻는 질문

관련 AI 소식