제미나이 옴니 플래시 API: 대화형 동영상 편집·멀티모달·월드모델 총정리

핵심 메시지

• 옴니 플래시는 VEO 같은 기존 동영상 생성 모델과 달리, 이미 만든 영상을 대화로 부분 수정하는 '대화형 편집'이 핵심이다.
• 인물·사물·조명·시간대 등을 다른 요소는 그대로 둔 채 하나씩 또는 여러 개를 동시에 바꿀 수 있다.
• 이미지·영상 등 여러 참조를 함께 넣는 멀티모달 입력과, 반사·빗물 같은 물리 현상을 흉내 내는 월드모델 성격을 갖는다.
• 새 인터랙션 API로 텍스트→영상, 이미지→영상, 다중 참조, 멀티턴 편집을 코드로 이어붙일 수 있다(현재 길이는 최대 10초).
• 딥페이크 우려로 얼굴 사진과 음성으로 사람을 말하게 하는 립싱크 기능은 막아 두었다.

쉽게 이해하기

구글이 제미나이 옴니 플래시를 API를 포함해 더 넓게 공개했다. 발표자는 이 모델이 VEO 등 기존 동영상 생성 모델과 다른 네 가지 지점을 데모로 짚는다. 가장 강력한 것은 '대화형 편집'으로, 도쿄 거리를 걷는 남자와 검은 고양이를 만든 뒤 '고양이를 갈색으로 바꿔줘'라고 말하면 같은 남자·같은 거리·같은 화면 구도를 유지한 채 고양이 색만 바뀐다.

편집은 시간대 변경처럼 하나씩도 가능하고, '빨간 원피스 여성으로 바꾸고 고양이는 검은색, 시간은 밤으로'처럼 여러 변경을 한 번에 할 수도 있다. 새로 생성한 영상뿐 아니라 사용자가 올린 10초 이하 영상(권리를 보유한 경우)에도 같은 방식으로 적용된다.

두 번째는 멀티모달 입력이다. 기존 영상에 새 배경 사진과 자신의 고양이 사진을 합쳐 '고양이를 이 사진 속 고양이로, 거리는 위의 서부 마을로 바꾸고 빨간 옷 여성은 유지'처럼 여러 참조를 함께 줄 수 있다. 세 번째는 월드모델·시뮬레이션 성격으로, 빗물과 웅덩이를 추가하면 신발과 고양이의 반사가 나타나는 등 현실의 물리 성질을 어느 정도 흉내 낸다(완벽하지는 않다).

네 번째는 영상 속 텍스트·로고 삽입이다. 간판을 특정 브랜드명으로 영어로 바꾸거나 로고를 넣을 수 있으나 추적이 완벽하지는 않다. 코드에서는 새 인터랙션 API를 쓴다. 텍스트→영상, Nano Banana 또는 Nano Banana Pro로 만든 이미지→영상, 다중 참조 영상, 이전 결과를 이어받는 멀티턴 편집(스타일 변경, 8비트 레트로 게임풍, 수채화풍 등)을 가로세로 비율·길이 같은 함수 인자로 제어한다.

모델은 영상과 오디오를 함께 내놓고, 현재 길이는 최대 10초다. 구글은 딥페이크를 우려해 얼굴 사진과 음성으로 말하게 하는 립싱크는 막았지만, 자신이 직접 말한 녹음을 다른 언어로 번역하는 것은 가능하다. 발표자는 직접 찍은 10초 영상을 편집해 '고양이가 컴퓨터 화면 밖으로 기어 나오는' 결과를 만든 사례도 소개한다.

주요 인사이트

• 생성형 동영상의 경쟁축이 '한 번에 좋은 결과'에서 '원하는 부분만 반복 수정'으로 옮겨가고 있다.
• 이미지 모델(Nano Banana)로 먼저 원하는 장면을 싸게 확인한 뒤 영상으로 넘어가면 비용과 시행착오를 줄일 수 있다고 발표자는 조언한다.
• 멀티턴 편집은 결과가 마음에 들 때까지 조금씩 고쳐가는 대화형 워크플로를 코드로도 그대로 재현한다.
• 반사·중력 같은 물리 흉내는 '세계를 모델링'하려는 방향성을 보여주지만, 스타일이 갑자기 일반 고양이로 되돌아가는 등 오류가 있어 맹신은 금물이다.
• 립싱크 제한처럼 기능 자체를 의도적으로 막아 둔 것은 딥페이크 악용을 줄이려는 설계 선택이다.

자주 묻는 질문

관련 AI 소식