메타 SAM 3 논문 리뷰 - 텍스트로 개념을 분할하는 세그멘테이션 모델과 데이터 엔진 정리

핵심 메시지

• SAM 3는 클릭이나 박스 같은 시각적 프롬프트를 넘어 짧은 명사구 텍스트로 개념을 지정하면 이미지와 영상 속 모든 해당 개체를 찾아 분할하고 추적한다.
• 핵심 설계는 개체를 찾는 디텍터와 프레임을 따라가는 트래커를 분리한 뒤 결과를 합치는 구조다.
• 프레즌스 토큰을 도입해 '그 개념이 있는가'라는 인식과 '어디에 있는가'라는 위치 파악을 분리했고, 이 분리가 정확도에 도움이 됐다.
• SA-Co라는 데이터 엔진을 네 단계에 걸쳐 구축했는데, 사람만이 아니라 라마 기반 AI 검증자가 함께 라벨을 검수하는 방식이 특징이다.
• 여전히 완벽하지 않으며, 학습되지 않은 도메인의 개념을 텍스트로 요구하면 정확도가 떨어지는 한계가 남아 있다.

쉽게 이해하기

메타의 SAM 시리즈는 이미지 분할에서 범용 파운데이션 모델을 만들겠다는 목표에서 출발했다. 첫 SAM은 이미지에 클릭이나 박스를 찍으면 그 부분을 마스크로 뽑아 주는 모델이었고, 이미지 인코더와 프롬프트 인코더를 분리한 뒤 마스크 디코더에서 교차 어텐션으로 합치는 구조를 썼다. SAM 2는 이를 영상으로 확장하면서 마스크렛이라는 개념과 메모리 뱅크·메모리 어텐션을 도입해, 직전 프레임에서 분할한 결과를 기억한 채 다음 프레임을 처리하도록 만들었다.

그럼에도 SAM 2에는 분명한 한계가 있었다. 클릭이나 박스는 결국 시각적 지시일 뿐이어서, "이 영상에서 펭귄을 전부 골라 줘" 같은 의미론적 요구는 처리하지 못했다. SAM 3는 여기에 프롬프터블 컨셉 세그멘테이션이라는 새 과제를 정의하고, 짧은 명사구를 텍스트로 넣으면 그 개념에 해당하는 개체를 모두 탐지하고 분할한 뒤 프레임을 따라 추적하도록 했다. 텍스트로 한 번에 잡지 못한 부분은 클릭으로 추가하고, 잘못 잡힌 부분은 네거티브 클릭으로 빼는 보정도 가능하다.

구조를 보면 이미지와 텍스트를 함께 정렬하도록 학습된 메타의 퍼셉션 인코더가 입력을 받고, 그 뒤로 DETR 계열의 디텍터와 SAM 2 계열의 트래커가 갈라진다. 디텍터가 현재 프레임에서 찾아낸 개체와, 메모리 뱅크에 저장된 직전 마스크를 바탕으로 트래커가 이어붙인 결과를 합쳐 최종 마스크를 만든다. 둘 중 어느 쪽이 더 믿을 만한지에 따라 가중치를 조정하고, 마스크렛의 탐지 점수가 기준값 아래로 떨어지면 억제하는 식으로 혼잡한 장면에서 생기는 모호함을 정리한다.

발표자가 특히 강조한 대목은 데이터였다. 논문은 데이터셋이라는 말 대신 데이터 엔진이라는 표현을 쓰는데, 네 단계에 걸쳐 규모를 키우기 때문이다. 1단계에서 사람이 SAM 2를 활용해 430만 개 규모의 이미지·명사구 쌍을 만들고, 2단계에서는 학습된 모델이 만든 가짜 라벨을 라마 기반 AI 검증자가 마스크가 맞는지(MV)와 빠짐없이 다 잡았는지(EV)로 검수하며 1억 2,200만 개까지 늘린다. 3단계는 위키피디아 기반으로 도메인별 개념 관계를 캐내 15개 영역으로 어려운 데이터를 넓혀 1,950만 개를 더하고, 4단계에서 영상 5만 개와 마스크렛 46만 개로 확장한다.

평가에는 기존의 mAP나 IoU 대신 CGF1이라는 새 지표를 썼다. 위치를 얼마나 잘 잡았는지와 개념이 있는지 없는지를 얼마나 잘 분류했는지를 각각 계산해 곱한 값이다. SAM 3는 여러 벤치마크에서 DINO 계열이나 제미나이보다 높은 점수를 냈고, 사람이 직접 라벨링한 결과에 견줘도 크게 뒤지지 않는 수준을 보였다. 개체 개수 세기, 영상 객체 분할, 클릭 횟수를 달리한 실험에서도 우위가 유지됐다.

주요 인사이트

• 분할 성능을 끌어올린 지점은 모델 구조만이 아니라 과제 정의였다. 인식과 위치 파악을 하나로 묶어 계산하던 관행을 프레즌스 토큰으로 분리하자 정확도가 올라갔고, 평가 지표까지 같은 철학으로 다시 설계됐다.
• 데이터 확보 방식이 사람 대 AI의 대결이 아니라 협업으로 짜여 있다. 사람이 만든 초기 라벨로 모델을 학습시키고, 그 모델이 만든 라벨을 다시 AI 검증자가 걸러 내는 순환이 반복되면서 억 단위 규모에 도달했다.
• 텍스트 프롬프트를 어떻게 쓰느냐가 결과를 바꾸기 때문에, 대형 언어 모델에게 프롬프트를 대신 만들게 하고 SAM 3를 도구처럼 호출하는 에이전트식 조합도 실험됐다.
• 현업 개발자들이 SAM 계열을 많이 쓰는 이유는 자체 AI를 만들 때 필요한 이미지 라벨링 비용을 줄여 주기 때문이다. 정확한 마스크를 빠르게 얻는 것 자체가 실질적인 가치다.
• 학습된 도메인 밖의 개념에는 약하다는 한계는, 결국 이 모델이 개념을 이해했다기보다 방대한 개념 데이터를 학습했다는 사실을 드러낸다.

자주 묻는 질문

관련 AI 소식