AI 영상 VFX 실전: Runway·Remotion으로 인트로와 B롤 만드는 법 (맷 울프)

핵심 메시지

• 인트로는 다빈치 리졸브에서 시작·끝 정지 프레임 두 장을 뽑아 Runway의 키프레임 기능에 넣고, 시드댄스 2.0(또는 클링·VO3.1) 같은 영상 모델로 두 프레임 사이를 생성해 만든다.
• 다른 장소로 넘어가는 전환은 같은 옷을 입고 미리 촬영해 두 프레임을 잇는 방식으로 만들며, 모델이 엉뚱한 말을 붙이지 않게 '인물은 말하지 않는다' 같은 지시를 프롬프트에 넣는다.
• 배경에 예티가 지나가거나 폭발·연기·날씨 변화를 더하는 합성은 구글의 옴니(제미나이)에 실제 촬영 영상을 올리고 프롬프트로 지시해 만든다.
• 웹페이지 하이라이트나 스톡풍 B롤, 로고 리빌·로어서드·모션그래픽은 Runway 같은 영상 생성기 외에도 클로드 코드·코덱스에서 코드를 짜게 하는 방식(Remotion 스킬 등)으로 만들 수 있다.
• 발표자는 모델들이 아직 잘 못하는 부분(동물→사람 변형, 도시 간 비행 경로의 지리 부정확, 텍스트 철자 오류)을 솔직히 짚으며 여러 번 다시 생성해야 할 때가 많다고 말한다.

쉽게 이해하기

맷 울프는 자신의 금요일 뉴스 영상마다 붙이는 시각효과의 제작 과정을 공개했다. 그는 완전한 AI 생성 영상은 선호하지 않으며, 사람이 만든 영상에 재미를 더하는 용도로 지금 공개된 도구들만 사용한다고 전제한다.

대표적인 인트로 기법은 프레임 보간이다. 다빈치 리졸브에서 자신이 화면에 없는 첫 프레임과 말을 시작하기 직전 프레임을 각각 정지 이미지로 내보낸 뒤, Runway의 키프레임에 두 장을 넣고 '남자가 뒷벽을 뚫고 들어와 의자에 앉는다' 같은 프롬프트로 사이 구간을 생성한다. 주로 시드댄스 2.0을 쓰지만 클링·VO3.1도 쓸 수 있고, 생성된 클립은 다빈치의 '스무스 컷' 전환으로 이음새를 다듬는다.

장소 전환도 같은 원리다. 촬영 전 같은 셔츠를 입고 사무실에서 도입부를 찍어 두고, 새 장소에서 이어 찍은 첫 프레임과 연결해 카메라가 머리 위를 돌아 다음 장면을 드러내는 식으로 만든다. 이때 모델이 말을 지어내지 않도록 '인물은 말하지 않는다'는 지시를 덧붙인다.

배경 합성은 구글 옴니(제미나이)가 강점이라고 소개한다. 자신이 말하는 10초 클립을 올리고 '뒤로 예티가 지나간다', '고질라가 등장해 발을 구른다', '뒤에서 폭발이 일어나지만 나는 알아채지 못한다' 같은 프롬프트를 주면 전경의 자신은 그대로 두고 배경만 바뀐 클립을 얻는다. 맑은 날을 흐리고 비 오는 날로 바꾸는 것도 같은 방식이다.

B롤과 그래픽은 영상 모델뿐 아니라 코드 기반 도구로도 만든다. 클로드 코워크·코드(오퍼스 4.8, 페이블)에 페이지 스크린샷을 스크롤·하이라이트하는 영상을 코드로 만들게 하거나, Remotion 스킬을 설치해 입자가 모여 로고가 되는 리빌, 그린스크린 로어서드, 문자 대화·SVG·차트 설명용 모션그래픽을 생성한다. Runway의 '캐릭터 스크립트 투 비디오'로 이미지와 음성을 넣어 문자 대화를 재연하는 방법도 소개한다.

주요 인사이트

• AI VFX의 핵심은 '완전 생성'이 아니라 실제 촬영본 위에 프레임 보간·배경 합성으로 효과를 얹는 하이브리드 워크플로다.
• 같은 효과라도 도구·모델마다 결과가 다르므로(시드댄스·클링·VO3.1·옴니), 목적에 맞게 갈아 끼우고 여러 번 재생성하는 것이 전제된다.
• 정확한 텍스트가 필요한 로어서드·로고·차트는 영상 생성 모델보다 Remotion처럼 코드로 렌더링하는 방식이 철자·정렬을 안정적으로 맞춘다.
• 발표자는 AI를 5% 정도만, 그것도 일부러 티 나게 써서 시청자가 진짜와 AI를 헷갈리지 않게 한다는 제작 원칙을 밝힌다.

자주 묻는 질문

관련 AI 소식