EoMT 논문 리뷰: ViT 하나로 이미지 세그멘테이션, 어댑터와 픽셀 디코더를 걷어내다

핵심 메시지

• 이미지 분할 모델은 그동안 ViT 위에 어댑터, 픽셀 디코더, 트랜스포머 디코더를 겹겹이 쌓아 왔는데, EoMT 논문은 이 구성 요소들이 정말 필요한지를 되묻는다.
• 저자들의 가설은 두 가지다. DINOv2 같은 대규모 사전학습을 거친 ViT는 분할에 필요한 세밀한 의미 정보를 이미 스스로 학습하고 있고, 모델이 커질수록 추가 모듈의 기여는 줄어든다는 것이다.
• 구성 요소를 하나씩 제거한 실험에서 속도는 약 4.4배 빨라지는 동안 정확도 손실은 1.1 PQ 수준에 머물렀다.
• 학습 때만 마스크드 어텐션을 쓰고 블록이 진행될수록 적용 확률을 1.0에서 0.0으로 낮추는 마스크 어닐링 덕분에, 추론 시점에는 평범한 ViT 구조만 남는다.
• 계산 자원을 복잡한 구조를 설계하는 데 쓰기보다 ViT 자체를 키우고 잘 사전학습시키는 편이 낫다는 것이 이 논문의 결론이다.

쉽게 이해하기

딥러닝 논문읽기 모임에서 소개된 이 발표는 'Your ViT is Secretly an Image Segmentation Model' 논문과 그 결과물인 EoMT 아키텍처를 다룬다. 핵심 주장은 단순하다. 충분히 크고 잘 사전학습된 비전 트랜스포머라면 별도의 무거운 부속 없이도 이미지 분할을 잘 해낸다는 것이다.

그동안의 분할 모델은 파이프라인이 길었다. ViT 어댑터가 CNN 기반의 지역성과 멀티스케일 특징을 보완하고, 픽셀 디코더가 여러 해상도의 특징을 업샘플링하며 융합하고, 마지막으로 트랜스포머 디코더가 학습 가능한 쿼리를 받아 각 쿼리별로 마스크와 클래스를 예측하는 구조였다. 특히 트랜스포머 디코더에서는 중간 예측 마스크로 어텐션 범위를 제한하는 마스크드 어텐션이 정확도를 끌어올리는 역할을 했다.

저자들은 이 구성 요소들을 순서대로 걷어낸다. 어댑터를 없애면 남는 것은 단일 해상도 출력뿐이므로 트랜스포즈 컨볼루션으로 업스케일링하고 일반 컨볼루션으로 다운스케일링해 필요한 해상도를 만든다. 그다음 픽셀 디코더를 제거하고, 더 나아가 멀티스케일 특징 자체가 결국 같은 ViT 출력에서 파생된다는 점에 주목해 단일 출력 특징만 쓰도록 단순화한다.

마지막 단계는 트랜스포머 디코더를 통째로 없애는 것이다. EoMT는 ViT의 앞쪽 인코더 블록으로 이미지를 평소처럼 처리한 뒤, 그 지점에서 소수의 학습 가능한 쿼리를 토큰 열에 덧붙인다. 남은 인코더 블록들이 패치 토큰과 쿼리를 함께 처리하면서 기존 디코더가 하던 쿼리 간 상호작용과 쿼리-패치 정보 전달을 한 레이어 안에서 동시에 수행한다.

실험은 가설을 뒷받침한다. 대규모 사전학습을 적용했을 때는 구조를 단순화해도 정확도 손실이 1.1 PQ 내외에 그쳤지만, 전통적인 ImageNet 방식 사전학습으로 바꾸면 손실 폭이 눈에 띄게 커졌다. 모델 크기를 바꿔 가며 비교했을 때도 큰 모델일수록 추가 구성 요소 없이 분할을 잘 수행했다.

주요 인사이트

• '구조를 더 붙이면 좋아진다'는 관행은 백본의 표현력이 약하던 시절의 산물이다. 백본이 충분히 강해지면 같은 역할을 하던 모듈은 중복이 되고, 오히려 속도만 깎아먹는 짐이 된다.
• 속도 4.4배와 정확도 1.1 PQ 손실이라는 교환은 실서비스 관점에서 대체로 남는 장사다. 추론 비용이 곧 운영비인 환경이라면 구조 단순화가 곧 비용 절감으로 이어진다.
• 마스크 어닐링은 '학습에는 도움이 되지만 추론에는 부담인 장치'를 다루는 일반적인 요령을 보여준다. 초반에는 보조 장치에 기대 빠르게 수렴하고, 점차 그것 없이도 동작하도록 학습시켜 최종 모델에서는 떼어낸다.
• 사전학습 방식에 따라 결론이 갈린다는 점이 중요하다. 같은 단순화라도 DINOv2 계열의 마스크드 이미지 모델링을 거쳤을 때만 손실이 작았으므로, 이 결과를 '디코더는 늘 불필요하다'로 일반화해서는 안 된다.
• 쿼리를 별도 디코더가 아니라 인코더 블록 중간에 끼워 넣는 설계는, 표준 ViT 구현과 최적화 스택을 그대로 재사용할 수 있게 해준다는 실무적 이점도 크다.

자주 묻는 질문

관련 AI 소식