희소 시점 3D 가우시안 스플래팅 물리 학습: 카메라 3대로 동적 장면 복원하기 (팀 프로젝트 발표)

핵심 메시지

• 짧은 학습 영상으로 3D 표현을 복원하고, 학습 때 보지 못한 이후 시점의 움직임까지 예측하는 외삽 문제를 다룬다.
• 기존 방법이 장면 하나에 카메라 25대 수준의 조밀한 다시점 감독을 요구했다면, 이 연구는 3대 또는 5대만 사용한다.
• 표현을 안정화하는 워밍업 단계와 물리를 배우는 단계로 최적화를 나누어 학습 불안정을 줄였다.
• 정규화로 가우시안 개수를 수십만 개에서 수천 개로 줄이고도 성능은 오히려 좋아졌다.
• 시간축을 조금씩 넓혀 가며 감독을 주는 점진적 물리 학습으로 초반과 후반 시점의 움직임을 모두 배우게 했다.

쉽게 이해하기

발표가 다루는 과제는 짧은 영상 하나가 주어졌을 때 3D 표현으로 장면을 복원하고, 각 요소가 물리 법칙을 익히게 해 학습 구간 이후의 움직임까지 예측하는 것이다. 예컨대 3초짜리 영상으로 학습한 뒤 4초, 5초 시점의 모습을 내다보는 외삽 문제다. 표현으로는 3D 가우시안 스플래팅을 쓰고, 여기서 말하는 물리 법칙은 각 가우시안의 속도와 가속도를 뜻한다.

출발점은 실용성 문제다. 기존 방법들은 물체나 장면 하나의 속도와 가속도를 배우기 위해 카메라 25대 수준의 조밀한 다시점 감독을 사용한다. 카메라 대수 자체도 부담이지만 보정과 동기화 문제까지 따라온다. 연구팀은 그 카메라 배치에서 표본을 뽑아 학습에는 3대 또는 5대만 쓰고, 검증 카메라는 학습 카메라 사이를 보간하는 경우와 바깥으로 외삽하는 경우가 모두 포함되도록 배치했다.

희소한 시점에서는 초기화부터 걸림돌이 된다. 기존 방식이 쓰던 구조 기반 복원은 카메라가 많을 때나 안정적으로 돌아가기 때문이다. 팀은 피드포워드 방식의 3D 복원 모델로 초기화했는데, 이 모델은 픽셀 단위로 가우시안을 내놓아 해상도만큼, 즉 수백만 개가 생성되는 중복 문제가 있었다. 그래서 워밍업 구간에 불투명도 정규화를 걸어 가지치기 과정에서 가우시안이 많이 걷히도록 유도하고, 같은 모델이 내놓는 깊이 맵을 정답처럼 사용하는 깊이 정규화로 기하학적 일관성을 높였다.

물리 학습은 한꺼번에 시키지 않는다. 워밍업이 끝난 직후 모든 시점을 무작위로 뽑아 감독하면 속도와 가속도가 불안정하게 학습되기 때문에, 감독 가능한 시간 구간을 좁게 시작해 일정 반복마다 넓혀 가는 방식을 썼다. 발표에서는 간격을 4, 확장 주기를 500 반복으로 두어 초반에는 앞쪽 시점만, 이후 점차 뒤쪽 시점까지 감독이 닿게 했다.

구간이 전체 시퀀스를 덮는 시점부터는 뒤쪽 시간대만 표본으로 뽑아 후반부의 운동을 배우게 한다. 다만 이렇게만 하면 앞쪽 시점의 학습 내용을 잊어버리므로, 앞 구간에서 일부 시점을 다시 뽑아 정규화 항으로 넣는 리플레이 방식을 함께 썼다. 실험은 동적 물체 여섯 개와 실내 장면 네 개 데이터셋에서 진행했고, 공정한 비교를 위해 비교 대상 모델에도 같은 초기화를 적용했다.

주요 인사이트

• 정량 지표뿐 아니라 정성 결과에서 차이가 두드러졌다. 비교 모델은 새의 날개나 고래 꼬리처럼 실제로 움직이는 부위에서 형태가 흐트러졌는데, 움직이는 부분이야말로 물리 학습이 실제로 작동하는지 드러나는 지점이다.
• 가우시안 개수를 수십만에서 수천 수준으로 줄였는데도 성능이 올랐다는 결과는, 희소 시점에서 표현이 지나치게 많으면 최적화가 오히려 어려워진다는 점을 보여 준다.
• 발표자가 밝힌 한계는 두 가지다. 모든 시간 구간을 훑고 지나가야 해서 최적화 시간이 기존 방법보다 길고, 조정할 하이퍼파라미터가 많아 물체마다 다시 맞춰야 한다는 점이다. 확률 분포로 접근하는 방식이 대안으로 언급됐다.
• 주제 선정 이유로는 로보틱스가 꼽혔다. 멈춰 있는 물체를 옮기는 일은 잘 되지만 움직이는 물체를 잡는 일은 아직 어렵고, 그러려면 결국 시각 정보만으로 동역학을 추론할 수 있어야 한다는 문제의식이다.

자주 묻는 질문

관련 AI 소식