트랜스포머 vs CNN 비교: 합성곱 신경망이 지금도 현역으로 쓰이는 세 가지 현장과 그 이유

핵심 메시지

• 2012년 알렉스넷 이후 컴퓨터 비전을 이끌던 합성곱 신경망(CNN)은 2020년대 들어 비전 트랜스포머에 대규모 학습의 주도권을 내줬다.
• 비전 트랜스포머는 데이터가 적을 때는 CNN과 비슷하지만, 학습 데이터가 3억 장 규모로 커지면 CNN을 앞선다.
• CNN은 사라진 것이 아니라 트랜스포머의 설계 아이디어를 흡수하며 진화했고, 효율이 중요한 영역에 남았다.
• ConvNeXt는 패치 분할과 큰 커널 같은 트랜스포머식 설계를 합성곱으로 옮겨 파라미터 대비 우위를 보였다.
• 실시간 객체 검출(YOLO 26)과 모바일 기기용 모델(모바일넷)에서는 여전히 순수 합성곱 구조가 최상위 성능을 낸다.

쉽게 이해하기

컴퓨터 비전의 흐름은 2012년 알렉스넷에서 시작됐다. 사람이 직접 특징을 설계하던 방식에서 벗어나 합성곱 신경망이 복잡한 시각 문제를 직접 푸는 시대가 열렸고, 2010년대 내내 개별 과제마다 특화된 합성곱 구조가 쏟아져 나왔다.

전환점은 2017년 등장한 트랜스포머였다. 원래 기계 번역을 풀기 위해 만들어진 이 어텐션 기반 구조는 이듬해 '사전학습 후 미세조정' 패러다임과 결합하면서 자연어 처리 과제 대부분을 장악했다. 계산량과 데이터, 파라미터를 늘릴수록 테스트 손실이 꾸준히 낮아진다는 사실이 확인되며 확장성이 입증됐다.

2020년 무렵 이 성공을 이미지로 옮긴 것이 비전 트랜스포머다. 이미지를 패치 조각의 나열로 잘라 동일한 트랜스포머에 그대로 넣는 방식인데, 작은 데이터셋에서는 합성곱 신경망과 엇비슷하지만 3억 장 수준의 대규모 데이터에서는 확실히 앞서기 시작했다. 여러 과제를 함께 학습해 곧바로 갖다 쓸 수 있는 이른바 파운데이션 모델도 이 흐름에서 나왔다.

그렇다면 합성곱 신경망은 퇴장했을까. 영상은 그렇지 않다고 답한다. 오히려 트랜스포머에서 배운 설계를 합성곱으로 옮기는 실험이 이어졌다. 레스넷 계열에 패치 분할을 흉내 낸 연산을 넣고, 국소 영역만 보던 합성곱의 시야를 넓히려 커널 크기를 키우는 식이다. 이렇게 트랜스포머를 닮게 만든 합성곱 신경망은 파라미터 대비 성능에서 여전히 우위를 보였다.

실사용 영역에서는 차이가 더 뚜렷하다. 실시간 객체 검출용 YOLO는 10년이 지난 지금도 YOLO 26에 이르기까지 백본·넥·검출 헤드가 모두 합성곱으로 구성돼 트랜스포머 기반 변형들을 앞서는 성능을 낸다. 모바일 기기용 모델도 마찬가지다. 표준 합성곱을 깊이별 연산과 점별 연산으로 쪼개 학습 파라미터를 크게 줄이는 방식이 2016년에 나온 뒤 10년이 지나도록 개선되고 있고, 최근에는 합성곱과 트랜스포머를 섞은 하이브리드 형태도 등장했다.

주요 인사이트

• '무엇이 이겼나'가 아니라 '어디에서 이겼나'를 물어야 한다. 트랜스포머는 데이터와 계산량을 늘리는 확장 경쟁에서 이겼고, 합성곱 신경망은 같은 성능을 더 적은 자원으로 내는 효율 경쟁에서 자리를 지켰다.
• 합성곱의 국소성은 약점이 아니라 이미지 특유의 사전 지식이다. 가까운 픽셀끼리 관련이 깊다는 전제 덕분에 데이터가 적을 때 더 빨리 학습하고, 이 성질이 모바일·엣지 환경에서 다시 강점이 된다.
• ConvNeXt의 실험이 보여주듯 아키텍처 이름보다 설계 요소가 중요하다. 패치 분할과 큰 커널 같은 아이디어는 어텐션 없이도 이식할 수 있었고, 그 결과 성능 격차의 상당 부분이 좁혀졌다.
• 실시간성과 배포 제약이 있는 문제에서는 여전히 합성곱이 기본값이다. 앱 안에서 직접 돌아가야 하는 모델은 크기 자체가 요구사항이라 구조 선택의 폭이 좁다.
• 두 계열은 대립이 아니라 합쳐지는 중이다. 최근 모바일용 모델처럼 합성곱과 트랜스포머를 함께 쓰는 하이브리드가 양쪽 장점을 취하는 현실적인 선택지가 됐다.

자주 묻는 질문

관련 AI 소식