트랜스포머가 CNN을 대체한 이유: 합성곱과 셀프 어텐션의 차이, 귀납 편향과 표현력 정리

핵심 메시지

• 앵무새 깃털을 두른 고양이 이미지를 두고 마이크로소프트의 ResNet은 '앵무새', 구글의 비전 트랜스포머는 '이집트 고양이'라고 답했다. 같은 이미지에 다른 라벨이 붙은 이유는 모델 구조에 있다.
• CNN은 이미지를 다루기 위해 설계된 만큼 강한 가정을 품고 있다. 국소성, 이동 불변성, 계층 구조라는 세 가지 귀납 편향이 그것이다.
• 국소성 때문에 CNN은 물체의 전체 윤곽보다 질감을 더 강한 신호로 받아들이는 경향이 있다. 깃털 주변의 세부를 흐리게 만들자 같은 모델의 답이 고양이로 바뀌었다.
• 셀프 어텐션은 합성곱보다 단지 편향이 약한 것이 아니라 합성곱을 포함하는 상위 집합이다. n개의 헤드를 가진 다중 헤드 셀프 어텐션 층은 √n×√n 크기의 어떤 합성곱 층도 표현할 수 있다는 정리가 있다.
• 구조적 표현력만으로 역전이 일어난 것은 아니다. 병렬 연산에 최적화된 하드웨어의 등장이라는 시기적 요인과, 텍스트·이미지·음성·영상을 한 구조로 다뤄야 한다는 멀티모달 요구가 함께 작용했다.

쉽게 이해하기

실험은 단순하다. 앵무새 깃털을 두른 고양이 이미지를 만들어 두 개의 대표적인 분류 모델에 넣었다. 합성곱 신경망 계열인 ResNet은 '마코 앵무새'라고 답했고, 트랜스포머 기반의 비전 트랜스포머는 '이집트 고양이'라고 답했다. 흥미로운 역설은 여기서 시작된다. 이미지를 위해 만들어진 구조가 아니라, 원래 언어 처리를 위해 고안된 구조가 이미지 분류를 더 잘한 것이다.

합성곱 신경망의 뿌리는 1989년으로 거슬러 올라간다. 얀 르쿤이 손으로 쓴 우편번호를 인식하는 초기 시스템을 만들면서, 신경망이 모서리와 질감과 형태를 스스로 찾아내게 한다는 발상을 제시했다. 합성곱 연산 자체는 기계학습보다 오래됐다. 작은 행렬인 필터가 이미지 위를 훑으며 겹치는 픽셀들과 내적을 계산해 출력 픽셀을 만드는데, 값이 균일한 필터를 쓰면 주변 픽셀이 섞여 흐릿해지는 블러 효과가 난다. 딥러닝은 이 아이디어를 일반화해 채널을 가로질러 정보를 섞는 3차원 필터를 학습하고, 여러 필터를 쌓아 여러 장의 특징 맵을 얻는다. 합성곱 층이 채널 수를 늘려 '이미지를 보는 관점'을 늘리는 동안 풀링 층은 해상도를 줄여 세부를 지우고 중요한 패턴만 남긴다.

이런 설계는 이미지에 대해 강한 가정을 담고 있으며, 이를 귀납 편향이라 부른다. 첫째는 국소성이다. 작은 필터가 훑고 지나가므로 한 층 안에서 한 픽셀은 주변 이웃에만 영향을 준다. 둘째는 이동 불변성으로, 같은 필터가 이미지 전체를 돌며 같은 시각적 요소를 어디서든 찾는다. 셋째는 계층 구조로, 층을 쌓을수록 국소적 특징이 복잡하고 추상적인 표현으로 합쳐진다. 편향이 강하다는 것은 탐색해야 할 함수 공간을 미리 쳐낸다는 뜻이라 나쁜 선택지를 걸러주지만, 최선의 선택지까지 함께 잘라낼 수 있다. 앞의 고양이 사진에서 국소성이 계층 구조를 이겨 질감이 윤곽을 눌러버린 것이 그 예다.

셀프 어텐션은 반대편의 균형을 택한다. 편향은 낮고 표현의 자유도는 높다. 처리 중인 픽셀을 질의로 두고 이미지의 모든 픽셀을 열쇠로 삼아, 상위 몇 개만 고르는 대신 관련성에 따라 가중치를 나눠 갖는 부드러운 검색을 수행한다. 가중치는 벡터 내적으로 계산하고 지수를 취해 양수로 만든 뒤 합이 1이 되도록 정규화한다. 흔히 말하는 소프트맥스다. 여기에 질의·열쇠·값 행렬을 학습시키면 셀프 어텐션이 된다. 합성곱과 나란히 놓으면 차이가 분명하다. 합성곱 층은 수용 영역이 엄격히 국소적이라 왼쪽 위 픽셀이 오른쪽 아래 픽셀에 닿으려면 여러 층을 거쳐야 하지만, 셀프 어텐션은 한 번에 닿는다.

더 강한 주장도 가능하다. 어텐션은 합성곱의 상위 집합이라는 것이다. 한 논문은 n개의 헤드를 가진 다중 헤드 셀프 어텐션 층이 √n×√n 크기의 어떤 합성곱 층도 표현할 수 있음을 정리로 보였다. 관건은 합성곱 커널의 가중치가 입력과 무관하게 고정된 반면 어텐션 점수는 이미지에 따라 달라진다는 점인데, 열쇠를 질의 기준 상대 위치로 색인하고 상대 위치 인코딩을 더하면 이미지에 의존하는 항이 상쇄되고 상대 위치 항만 남는 특정한 선택이 존재한다. 그러면 각 헤드가 하나의 상대 위치만 일관되게 바라보게 되므로, 3×3 커널을 흉내 내려면 아홉 개의 헤드가 필요하다. 실제로 여섯 층에 층당 아홉 헤드를 둔 숫자 인식 모델에서 첫 층의 여러 헤드가 합성곱 커널과 닮은 국소 패턴을 보였다. 여기에 2017년 전후로 텐서 코어와 TPU가 등장하며 대규모 병렬 행렬 연산이 값싸진 시기적 요인, 그리고 하나의 구조로 여러 모달리티를 다뤄야 한다는 요구가 겹치면서 컴퓨터 비전의 주도권이 넘어갔다.

주요 인사이트

• 모델의 오류는 종종 성능이 아니라 가정의 문제다. CNN이 고양이를 앵무새로 본 것은 학습이 부족해서가 아니라 국소적 질감을 더 강한 근거로 받아들이도록 설계됐기 때문이다.
• 귀납 편향은 비용과 이득이 함께 온다. 나쁜 함수 공간을 미리 배제해 학습을 쉽게 만들지만, 그 과정에서 더 나은 해법까지 배제할 수 있다.
• 표현력의 차이는 이론에 그치지 않는다. 어텐션이 합성곱을 흉내 낼 수 있다는 정리대로, 실제 학습된 모델의 초기 층에서 합성곱과 닮은 국소 패턴이 관찰된다.
• 구조의 우열만으로 기술 전환이 설명되지는 않는다. 병렬 처리에 유리한 하드웨어가 마침 함께 성숙했고, 층을 아무리 쌓아도 국소성 때문에 정보 전달 경로가 길어지는 CNN의 약점은 연산량으로 메워지지 않았다.
• 픽셀 단위 셀프 어텐션은 계산량이 감당되지 않는다는 현실적 제약이 남는다. 비전 트랜스포머나 디퓨전 트랜스포머 같은 최신 구조는 이 비용을 낮추는 방법 위에 서 있다.

자주 묻는 질문

관련 AI 소식