비전 트랜스포머 스케일 문제 해설: Swin 트랜스포머와 RT-DETR가 작은 물체를 잡는 방법

핵심 메시지

• 2017년 번역용으로 나온 트랜스포머는 BERT·GPT의 사전학습·미세조정 흐름과 스케일링 법칙을 거치며 자연어 처리를 장악했고, 이미지를 패치 시퀀스로 다루는 비전 트랜스포머로 확장됐다.
• 고정된 16x16 패치는 큰 건물은 여러 토큰에 걸치지만 가느다란 기둥은 토큰 하나로 뭉개져, 물체 크기 차이에 민감한 객체 탐지에서 불리하다.
• 패치를 잘게 쪼개면 되지만 셀프 어텐션 비용이 입력 길이의 제곱으로 늘어나 현실적이지 않고, CNN 특징을 트랜스포머에 넘기는 DETR도 작은 물체에서는 Faster R-CNN보다 뒤처졌다.
• Swin 트랜스포머는 CNN의 계층 구조를 빌려와 단계마다 이웃 패치를 병합하고, 윈도우·시프트 윈도우 어텐션으로 연산량을 제곱에서 선형으로 낮췄다.
• 실시간 탐지를 노린 RT-DETR는 토큰이 가장 적은 마지막 특징 맵에만 트랜스포머 인코더를 적용하고 나머지 융합은 합성곱으로 처리해 정확도와 지연 시간을 함께 잡았다.

쉽게 이해하기

트랜스포머는 2017년 영어-프랑스어, 영어-독일어 같은 기계 번역을 위해 제안된 구조다. 이후 BERT와 GPT가 일반적인 언어 모델링으로 먼저 학습한 뒤 적은 데이터로 특정 과제에 맞추는 방식을 정착시켰고, 2020년 무렵에는 연산량과 학습 데이터, 파라미터 수를 함께 키우면 테스트 손실이 꺾이지 않고 계속 낮아진다는 스케일링 법칙까지 확인됐다. 이 성공을 본 연구자들이 거의 손대지 않은 인코더를 그대로 가져와 이미지를 패치의 나열로 취급한 것이 비전 트랜스포머다.

이미지 분류에서는 이 접근이 통했다. 학습 데이터를 수억 장 규모로 키우자 트랜스포머가 합성곱 신경망을 앞지르기 시작했다. 문제는 물체의 크기 차이가 결정적인 과제, 특히 객체 탐지였다. 이미지를 16픽셀 단위 패치로 자르면 커다란 건물은 대부분의 토큰에 걸쳐 표현되지만, 얇은 기둥 하나는 패치 한 칸에 갇힌다. 셀프 어텐션을 아무리 돌려도 아주 작은 물체에 대한 정보가 거의 남지 않는다.

그러면 패치를 1픽셀이나 4픽셀로 잘게 만들면 되지 않을까. 멀티헤드 셀프 어텐션의 비용이 입력 크기의 제곱으로 늘어난다는 점이 발목을 잡는다. 2020년의 DETR는 이미지를 곧장 트랜스포머에 넣는 대신 합성곱 신경망으로 특징을 뽑아 인코더·디코더에 넘기는 우회로를 택했다. 다만 초기 층의 특징 맵은 55x55, 즉 3천 개가 넘는 토큰이 되어 부담이 크고, 마지막 층은 13x13에 128차원으로 가볍지만 공간 해상도가 낮다. 그래서 DETR는 전체 성능은 경쟁력이 있어도 작은 물체에서는 Faster R-CNN에 밀렸다.

Swin 트랜스포머는 합성곱 신경망의 계층 개념을 트랜스포머에 이식했다. 먼저 4픽셀 단위로 나눈 높은 해상도의 텐서에서 시작해, 다음 단계에서 이웃한 2x2 패치를 병합하며 토큰 수는 줄이고 채널 수는 늘린다. 이 과정을 반복하면 해상도가 다른 특징 맵의 계층이 만들어진다. 계산량은 윈도우 안에서만 어텐션을 계산하고 윈도우를 어긋나게 이동시키는 기법으로 토큰 수의 제곱이 아니라 높이와 너비에 비례하도록 낮췄다. 여기에 특징 피라미드 네트워크나 U-Net식 스킵 연결을 얹어 깊은 층의 의미 정보와 얕은 층의 공간 정보를 합치면, 얕은 층이 작은 물체를 훨씬 잘 잡아낸다.

남은 문제는 속도였다. 같은 정확도라면 합성곱 신경망이 여전히 초당 처리 프레임 수에서 앞섰다. RT-DETR는 두 구조의 장점을 나눠 맡겼다. 백본은 합성곱으로 두어 여러 단계의 특징 맵을 얻고, 토큰이 가장 적은 마지막 단계에만 트랜스포머 인코더를 적용한다. 그렇게 얻은 특징을 합성곱 기반의 교차 스케일 융합으로 아래 단계 특징과 차례로 섞은 뒤, 여러 스케일의 벡터 가운데 일부를 골라 디코더의 객체 쿼리로 넘겨 경계 상자를 만든다. 트랜스포머를 쓰면서도 지연 시간을 낮추고 정밀도를 유지하는 절충이다.

주요 인사이트

• 구조를 바꾸기 전에 비용 구조를 먼저 봐야 한다. 패치를 잘게 만들면 표현력은 오르지만 어텐션 비용이 제곱으로 늘어나므로, 해상도를 얻으려면 어텐션의 적용 범위 자체를 줄이는 설계가 함께 와야 한다.
• Swin의 핵심은 새로운 어텐션이 아니라 계층 구조의 복원이다. 합성곱 신경망이 오랫동안 써 온 다단계 특징 맵이 왜 필요했는지를 트랜스포머가 뒤늦게 재확인한 셈이다.
• 전체 평균 성능만 보면 놓치는 것이 있다. DETR는 종합 지표에서는 경쟁력이 있었지만 작은 물체 구간에서 뒤처졌고, 그 지점이 다음 세대 구조의 출발점이 됐다.
• RT-DETR처럼 합성곱은 계층 생성과 융합에, 트랜스포머는 전역 추론에 쓰는 역할 분담은 정확도와 지연 시간 사이의 선택지를 넓힌다.
• 결국 다중 스케일 인식은 하나의 정답 구조가 아니라, 지연 시간과 정확도 사이 어디에 서고 싶은지에 따라 달라지는 설계 선택의 문제다.

자주 묻는 질문

관련 AI 소식