3D 포인트 트랙으로 영상 모션 편집하기 — 텍스트 지시의 한계를 넘은 Edit-by-Track

핵심 메시지

• 텍스트로 지시하는 영상 편집은 결과가 인상적이어도 장면과 물체가 원본에서 지나치게 벗어나는 경우가 많다.
• 연구진은 영상에서 추정한 3D 점 궤적을 사용자가 직접 옮기게 해, 물체의 움직임과 카메라 경로를 원본 화질을 지키면서 정밀하게 편집한다.
• 궤적 일부를 지우면 물체가 자연스럽게 사라지고, 배경과 인물의 궤적을 따로 움직이면 문워크 같은 효과가 만들어지며, 여러 인물의 동작 타이밍과 자세도 맞출 수 있다.
• 궤적이 3차원이라 새 카메라 경로에 투영하면 시점 변경과 흔들린 영상의 시네마틱한 안정화가 가능하다.
• 복잡한 동역학이나 액체가 섞이는 것 같은 물리 효과는 아직 자연스럽게 재현되지 않는 한계가 남아 있다.

쉽게 이해하기

생성형 영상 모델은 누구나 아이디어를 영상으로 만들 수 있게 했지만, 이미 찍어 둔 영상을 고치는 일에는 잘 맞지 않았다. 텍스트로 '스케이터들이 서로 멀어지게 해 달라'고 지시하면 결과는 그럴듯해도 장면 전체와 물체가 원본에서 크게 벗어난다. 연구진이 택한 대안은 지시의 언어를 바꾸는 것이다. 문장 대신, 영상에서 추정한 3D 점 궤적을 사용자가 직접 옮긴다.

가장 단순한 조작은 궤적을 지우는 것이다. 원본에서 특정 점 궤적을 빼면 그 자리가 자연스럽게 메워지며 물체가 사라진다. 바닥에 있던 사람을 지워 여성이 공중에 떠 있는 듯한 장면을 만들거나, 화면에 끼어든 촬영자처럼 거슬리는 대상을 지우는 데 쓰인다. 그린 스크린이나 손으로 하는 마스킹 작업 없이 평범하게 찍은 영상에도 적용된다는 점이 실용적이다.

궤적에 간단한 변환을 주면 형태를 늘이거나 비트는 변형이 되고, 배경과 인물의 궤적을 서로 독립적으로 움직이면 문워크 같은 효과가 나온다. 여러 대상이 등장할 때도 유용하다. 모두가 동시에 물에 뛰어드는 완벽한 순간을 찍기는 어렵지만, 궤적을 맞추면 타이밍뿐 아니라 자세까지 동기화할 수 있다. 손의 궤적을 움직이면 그에 딸린 색 번짐 같은 효과가 함께 만들어지고, 공의 궤적을 나선형으로 지정하는 것도 가능하다.

궤적이 3차원이라는 점은 카메라 쪽에서 특히 힘을 발휘한다. 손에 들고 찍어 시점 변화가 크지 않은 영상이라도, 점들을 새 카메라 경로에 투영하면 움직이는 장면의 시점을 바꿀 수 있다. 흔들린 영상을 매끄러운 시네마틱 카메라 경로로 다시 만드는 안정화가 대표적인 활용이다. 3D 정보를 쥐고 있으므로 인물을 한 방향으로 회전시키거나, 어느 대상이 앞에 오는지 깊이 순서를 정확히 지정하는 것도 된다.

동작 방식은 이렇다. 입력 영상에서 카메라 자세와 3D 점 궤적을 추정하고, 사용자가 이를 옮겨 편집 의도를 지정한다. 그 궤적을 원본과 목표 시점에 각각 투영해 2D 궤적을 얻는데, 이것만으로는 외형 정보가 없다. 그래서 원본 영상을 인코더로 압축한 잠재 표현을 패치 토큰으로 자른 뒤, 투영된 2D 궤적을 따라 시각적 맥락을 뽑아 원본과 목표 공간에 다시 뿌린다. 이렇게 만든 조건 정보를 영상 확산 모델에 넣고, 순수 가우시안 노이즈에서 시작해 트랜스포머 블록으로 여러 번 잡음을 제거한 뒤 디코더로 되돌리면 목표 영상이 나온다.

학습 데이터를 구하는 일이 오히려 더 큰 난제였다. 연구진은 먼저 블렌더로 무작위 장면을 만들고 다양한 캐릭터를 움직이게 해 합성 데이터를 얻었다. 정답 영상과 3D 궤적 쌍이 그대로 나오지만 외형이 현실과 멀다는 문제가 있다. 그래서 일반 영상 한 대에서 찍은 실제 영상으로 짝을 만든다. 한 구간을 원본으로, 시간 간격을 둔 겹치지 않는 다른 구간을 목표로 삼으면 카메라와 물체 움직임의 변화를 자연스럽게 담은 쌍이 된다.

한계도 분명히 밝힌다. 움직임이 복잡한 영상에서는 원본에서 뽑은 3D 궤적이 빽빽하게 몰리고 잡음이 섞여, 결과물에 왜곡과 아티팩트가 생긴다. 커피와 우유가 섞이는 액체 흐름처럼 움직임에 딸린 물리 효과를 옮기는 것도 아직 되지 않아, 오른쪽 잔으로 섞임이 전이되기를 기대했지만 물리적으로 그럴듯한 영상이 나오지는 않았다.

주요 인사이트

• 이 연구의 핵심은 모델 성능이 아니라 편집 인터페이스의 선택이다. '무엇을 원하는지'를 문장으로 설명하는 대신 화면 위 점의 이동으로 지정하게 하면, 원본을 얼마나 보존할지가 사용자 손에 남는다.
• 궤적을 지우는 것만으로 물체 제거가 되고, 궤적을 옮기는 것만으로 시점 변경이 되는 식으로 여러 기능이 하나의 표현에서 파생된다. 기능별 도구를 따로 만들지 않아도 되는 구조다.
• 궤적을 전부 지정하지 않아도 된다는 점이 흥미롭다. 개의 다리 궤적을 비운 채 몸통만 위아래로 움직이면 모델이 걸음을 알아서 만들어 낸다. 생성 모델의 사전 지식이 사용자가 비워 둔 부분을 메우는 셈이다.
• 짝지어진 학습 데이터가 없는 문제를, 같은 영상의 서로 다른 구간을 원본과 목표로 재해석해 푸는 방식은 다른 영상 편집 과제에도 옮겨 볼 만한 발상이다.
• 남은 한계가 모두 '입력 궤적의 품질'과 '물리'로 수렴한다는 점은, 다음 개선의 방향이 생성 모델보다 궤적 추정과 물리 표현 쪽에 있음을 시사한다.

자주 묻는 질문

관련 AI 소식