MMHOI 데이터셋과 단일 이미지 3D 복원: 다중 인물·다중 물체 상호작용을 한 번에 추정

핵심 메시지

• 미쓰비시전기 연구소(MERL)의 고가시 가엔 연구원이 WACV 2026 발표 논문 MMHOI를 소개했다. 여러 사람이 여러 물건을 함께 다루는 협력적 상호작용을 다룬 대규모 데이터셋이다.
• 데이터셋은 식사, 협업 작업, 여가 활동이라는 세 유형 아래 12가지 일상 시나리오로 구성되며, 등장하는 모든 사람과 물체에 대해 3D 형상과 자세 주석을 제공한다.
• 행동 주석은 78가지 행동 범주와 14가지 상호작용 관련 신체 부위 레이블을 포함한다. 사람-물체 쌍마다 동사 레이블을 붙이고, 각 주석은 최소 두 명의 작업자가 독립적으로 검증했다.
• 함께 제안한 모델은 한 장의 RGB 이미지와 마스크만으로 모든 사람과 물체의 자세·형상·3D 위치, 그리고 행동까지 한 번에 추정하는 단일 단계 트랜스포머 구조다.
• 물체를 주 패치와 상호작용 관련 보조 패치로 나눠 표현한 점이 특징이며, 발표자는 이 구조 덕분에 가림 상황과 공간적 일관성에서 기존 방식보다 나은 복원 결과를 얻었다고 밝혔다.

쉽게 이해하기

미쓰비시전기 연구소(MERL)와 미쓰비시전기의 고가시 가엔 연구원이 컴퓨터비전 학회 WACV 2026에서 발표할 논문을 8분 분량으로 소개하는 영상이다. 주제는 여러 사람과 여러 물체가 동시에 얽히는 3D 상호작용이다. 발표자는 기여를 세 가지로 정리한다. 대규모 데이터셋 MMHOI, 이를 바탕으로 만든 트랜스포머 기반 복원 모델, 그리고 자체 데이터셋과 외부 데이터셋 양쪽에서의 성능 검증이다.

데이터셋은 일상 생활을 12가지 시나리오로 나눠 담았다. 식사 관련 세 가지, 협업 작업 다섯 가지, 여가 활동 네 가지로 구성해 상호작용 유형이 한쪽으로 쏠리지 않게 했다. 각 장면에는 등장하는 모든 사람과 물체의 3D 형상·자세 주석과 마스크, 행동 레이블, 상호작용에 쓰이는 신체 부위 정보가 함께 붙는다. 발표자는 21개의 동사에서 파생된 78가지 사람-물체 행동 유형을 다룬다고 설명했다.

주석 작업 과정도 짧게 공개됐다. 3D 주석은 전문 작업자가 가림이 가장 적은 시점을 골라 정합 알고리즘으로 모델을 맞춘 뒤 수작업으로 위치를 다듬는 순서로 만들어졌다. 행동 주석은 전용 인터페이스에서 사람과 물체 쌍마다 적절한 동사를 붙이는 방식이고, 각 주석은 최소 두 명이 독립적으로 확인해 정확도를 유지했다.

모델 쪽은 한 장의 이미지에서 모든 것을 한 번에 추정하는 구조다. RGB 이미지와 마스크가 들어오면 비전 트랜스포머 백본이 특징을 뽑고, 사람 키포인트를 단서로 삼는 트랜스포머 헤드가 각 인물의 자세·형상·위치를 회귀한다. 물체 쪽 헤드는 물체마다 주 패치와 상호작용 관련 보조 패치를 두는 이중 패치 표현을 쓰는데, 주 패치에서는 패치 중심에서 물체 마스크 중심으로 향하는 방향 벡터를, 보조 패치에서는 두 번째로 큰 마스크 영역을 기준으로 같은 방식의 좌표를 계산한다. 여기에 행동과 신체 부위를 예측하는 부분이 붙고, 신체 부위와 물체 영역 사이의 일관성이 제약으로 걸린다.

성능은 자체 데이터셋과 외부 데이터셋 CORE4D에서 기존 방법들과 비교됐다. 발표자는 여러 사람과 물체가 얽힌 상황, 서로를 가리는 상황, 공간적 일관성이 필요한 상황 모두에서 더 나은 결과를 보였다고 밝혔다. 표에서는 정합 방식을 단일 상호작용 기준과 다중 상호작용 기준으로 구분하고, 오차는 챔퍼 거리와 정점 대 정점 거리로 표기했다. 마지막으로 추가 학습 없이 인터넷에서 가져온 임의의 이미지에 적용한 복원 결과를 보여 주며 일반화 능력을 확인했고, 데이터셋은 공개 저장소에서 받을 수 있다고 안내했다.

주요 인사이트

• 기존 3D 상호작용 벤치마크가 대체로 한 사람과 한 물체에 머물러 있던 상황에서, 여러 사람이 같은 물건을 함께 다루는 협력적 장면을 정면으로 다룬다는 점이 이 데이터셋의 자리다.
• 물체를 하나의 패치로만 보지 않고 상호작용이 일어나는 부분을 별도 보조 패치로 떼어 낸 설계가 핵심 아이디어다. 물체 전체의 위치와, 손이 닿는 지점처럼 상호작용에 중요한 영역을 분리해 다루게 된다.
• 형상 복원과 행동 인식을 별도 단계로 두지 않고 한 번에 처리하면서, 예측한 신체 부위와 물체 영역이 서로 어긋나지 않도록 제약을 건 점이 눈에 띈다. 기하와 의미를 따로 배우지 않겠다는 선택이다.
• 주석 품질을 위해 가림이 가장 적은 시점을 골라 정합한 뒤 사람이 다듬는 절차와, 행동 레이블을 두 명 이상이 검증하는 절차를 명시한 점은 데이터셋 논문에서 재현성을 좌우하는 부분이다.
• 추가 미세조정 없이 인터넷 이미지에 그대로 적용해 복원 결과를 보인 대목은, 특정 촬영 환경에 과적합되기 쉬운 3D 데이터셋의 약점을 의식한 검증으로 읽힌다.

자주 묻는 질문

관련 AI 소식