컴퓨터 비전 필독 논문 10선 - LeNet·AlexNet·ResNet부터 CLIP·SAM·스테이블 디퓨전까지

핵심 메시지

• 현대 컴퓨터 비전의 역사는 1998년 CNN의 원형 'LeNet-5'에서 시작해 2012년 'AlexNet'이 GPU와 ReLU로 딥러닝 시대를 열며 본궤도에 올랐다.
• ResNet의 '스킵 연결(skip connection)'은 네트워크를 깊게 쌓을 때 생기는 성능 저하를 해결했고, 이후 U-Net·트랜스포머·스테이블 디퓨전까지 반복해 등장하는 핵심 아이디어가 됐다.
• 'Attention Is All You Need'로 등장한 트랜스포머는 이미지를 16×16 패치의 나열로 다루는 비전 트랜스포머(ViT)로 이어졌고, 데이터가 충분히 크면 CNN을 능가했다.
• 2021년 무렵부터 CLIP·DINO·SAM 같은 '파운데이션 모델'이 확산됐다. 대량의 비지도·약지도 데이터로 학습해 재학습 없이도 여러 작업에 재사용할 수 있는 모델이다.
• 이미지 생성은 GAN·VAE를 지나 확산(diffusion) 방식으로 옮겨갔고, 잠재 공간에서 확산을 수행하는 '스테이블 디퓨전(잠재 확산 모델)'이 텍스트→이미지 생성을 실용적으로 만들었다.

쉽게 이해하기

이 영상은 CodeEmporium이 '컴퓨터 비전을 바꾼 10편의 논문'을 골라, 각 논문이 무엇이며 왜 중요한지를 하나의 이야기처럼 엮어 소개한다. 출발점은 1998년의 'Gradient-based learning applied to document recognition'으로, 여기서 나온 LeNet-5는 합성곱·풀링·완전연결 층을 갖춘 최초의 현대적 합성곱 신경망(CNN)으로 평가된다. 합성곱은 글자가 이미지 어디에 있어도 같은 것으로 인식하는 '이동 불변성'을, 풀링(서브샘플링)은 픽셀 변형에 대한 강인함을 부여한다. 다만 당시엔 하드웨어와 데이터가 부족해 숫자 분류 같은 단순 문제에 머물렀다.

2012년 'ImageNet Classification with Deep Convolutional Neural Networks'가 소개한 AlexNet은 LeNet과 유사한 구조에 ReLU 같은 비선형 활성화와 GPU 활용을 더해 CNN을 현대 컴퓨터 비전의 표준 해법으로 자리매김시켰다. 이후 네트워크를 더 깊게 쌓으려는 흐름에서 마주친 '성능 저하' 문제를, 2015년 무렵의 ResNet('Deep Residual Learning for Image Recognition')이 스킵 연결로 풀었다. 기울기가 앞쪽 층까지 잘 전달되도록 해, 깊은 신경망도 최소한 얕은 것만큼은 성능을 내도록 보장했다.

같은 시기 등장한 U-Net은 생물의학 영상 분할(segmentation)을 위한 CNN이다. 인코더의 병목에서 잃어버리는 공간 정보를, 스킵 연결로 후반부 층에 다시 이어 붙여 '깊은 맥락'과 '공간 정보'를 결합한다. 실시간 객체 탐지에서는 이미지를 한 번만 통과시켜 경계 상자·신뢰도·분류를 한꺼번에 얻는 YOLO(You Only Look Once)가 큰 영향을 남겼고, 이후 10년간 발전해 지금도 최상위권 실시간 탐지기로 남아 있다.

2017년 'Attention Is All You Need'의 트랜스포머는 원래 기계 번역용이었지만 자기어텐션과 스킵 연결로 확장성을 확보하며 BERT·GPT 같은 대규모 언어 모델의 뼈대가 됐다. 이 성공을 이미지로 옮긴 것이 'An Image is Worth 16×16 Words'의 비전 트랜스포머다. 이미지를 16×16 패치의 나열로 넣어 처리하는데, ImageNet(약 100만 장) 정도에서는 CNN을 크게 앞서지 못하지만 300만 장 규모로 키우면 CNN을 능가한다. 트랜스포머의 확장성이 텍스트뿐 아니라 이미지에서도 통함을 보여준 셈이다.

2021년 무렵부터는 파운데이션 모델이 주류가 된다. CLIP은 이미지와 텍스트를 같은 임베딩 공간에 놓아 '모자' 이미지와 'hat' 텍스트가 서로 가깝게 존재하도록 학습해 제로샷 검색 같은 응용을 연다. DINO는 약 10억 개 파라미터와 1억4200만 장의 정제 데이터로 학습된 자기지도 모델로, 학생-교사 구조의 증류(distillation)를 사용하며 별도 미세조정 없이도 시각 검색과 객체 분할에 강하다. SAM(Segment Anything Model)은 픽셀 분류 대신 마스크를 직접 예측하고, 점·상자·마스크·텍스트 등 다양한 프롬프트로 분할하는 '프롬프트 가능한 분할'을 제공한다. 마지막으로 스테이블 디퓨전(잠재 확산 모델)은 확산 과정을 픽셀이 아닌 잠재 공간에서 수행해 텍스트→이미지 생성을 실용적으로 만들었으며, 이때도 U-Net 구조가 쓰인다.

주요 인사이트

• '스킵 연결'은 이 이야기를 관통하는 실이다. ResNet에서는 깊은 망의 성능 저하를 막는 데, U-Net에서는 잃어버린 공간 정보를 되살리는 데, 트랜스포머에서는 확장성을 돕는 데, 스테이블 디퓨전의 U-Net에서는 생성 품질에 각각 기여한다.
• 논문 선정의 기준은 '무엇을 처음 실용화했는가'다. LeNet은 이미지용 CNN 설계, AlexNet은 딥러닝의 성능 입증, YOLO는 실시간 탐지, ViT는 이미지에 직접 적용한 트랜스포머, 스테이블 디퓨전은 확산 기반 텍스트→이미지 생성이라는 식으로 각 논문의 '첫 실용화' 지점을 짚는다.
• 파운데이션 모델의 공통 조건은 대규모 파라미터, 대량의 비지도·약지도 데이터 학습, 그리고 재학습 없이도 여러 작업에 재사용 가능하다는 점이다. CLIP·DINO·SAM이 이 조건을 각기 다른 방식(언어-이미지 정렬, 자기지도 특징 학습, 프롬프트 분할)으로 충족한다.
• 데이터 규모가 아키텍처의 우열을 뒤집는다는 점이 비전 트랜스포머 사례에서 뚜렷하다. 작은 데이터셋에서는 CNN의 귀납적 편향이 유리하지만, 데이터가 충분히 커지면 트랜스포머가 앞선다. 이는 '더 큰 데이터·더 큰 모델'이라는 최근 흐름의 배경을 설명한다.

자주 묻는 질문

관련 AI 소식