Gemini GenMedia 워크숍: Nano Banana·VEO·Lyria·TTS로 책을 멀티미디어로

핵심 메시지

• Google DeepMind Gemini 팀이 공개 도서 한 권을 삽화·영상·음악·낭독으로 바꾸며 여러 젠미디어 모델을 한 번에 시연한다.
• 이미지에는 Nano Banana, 텍스트 출력에는 Gemini Flash, 음악에는 Lyria, 음성에는 Gemini 3.5 Flash TTS를 사용한다.
• 새로 정식 출시된 Interactions API는 상태를 백엔드에 저장해, 이전 호출을 다시 보내지 않고 ID만 넘겨 대화를 이어가게 한다.
• 이전에 만든 캐릭터 이미지를 대화 이력에 남겨두면, 이후 삽화의 스타일과 캐릭터 일관성이 좋아진다.
• 최신 모델 Omni는 'Nano Banana의 영상판'으로, 영상의 일부만 프롬프트로 바꾸고 타이밍과 물리를 잘 이해한다.

쉽게 이해하기

Google DeepMind Gemini 팀의 Guillaume이 진행한 이 I/O Connect 워크숍은, Gemini 계열의 여러 생성형 미디어(젠미디어) 모델을 하나의 노트북에서 순서대로 보여준다. 발표자는 우리가 일상에서 사진·영상·음성으로 소통하는 만큼, 생성형 AI의 다음 단계도 이런 멀티미디어에 있다고 본다. Gemini는 1.0부터 멀티모달을 목표로 설계됐고 큰 컨텍스트 창을 갖췄다는 점을 짚는다.

실습은 SDK 설치와 API 키 설정에서 시작한다. 클라이언트를 초기화할 때 특정 오류 코드에서 자동으로 재시도하도록 설정할 수 있고, 요청이 몰려도 통과되도록 우선순위가 높은 서비스 티어를 쓸 수 있다. 사용하는 모델은 이미지의 Nano Banana, 텍스트 출력의 Gemini Flash, 음악의 Lyria, 음성의 Gemini 3.5 Flash TTS다. 이번 주 정식 출시된 Interactions API는 상태를 백엔드에 저장하는 방식이라, 여러 호출을 이을 때 이전 내용을 다시 보내지 않고 ID만 넘기면 된다. 큰 파일은 File API로 올려두면 URI로 참조되고 자동 캐시돼 토큰을 아낀다.

핵심 데모는 프로젝트 구텐베르크의 공개 도서 『버드나무에 부는 바람』을 소재로 한다. 먼저 원하는 스타일(예: 사이버펑크·포스트아포칼립스)을 정하고, 모델에게 등장인물을 구조화된 출력(JSON 배열)으로 묘사하게 한 뒤, Nano Banana로 인물 초상을 생성한다. 이때 앞서 만든 이미지를 대화 이력에 남겨 두면 다음 인물도 같은 스타일을 이어가 캐릭터 일관성이 좋아진다. 다만 실제 대규모 운영에서는 인물 이미지를 따로 저장하고, 각 장면에 등장하는 인물만 동적으로 불러오는 방식이 낫다고 조언한다.

이렇게 만든 이미지를 VEO에 넣어 움직이는 영상으로 바꾸고, Lyria로 각 장(章)에 어울리는 기악곡을 만든다. Lyria에는 빠른 30초 모델과 최대 3분가량의 곡을 만드는 모델이 있으며 가사·타이밍·BPM 등을 제어할 수 있다. 발표자는 모든 젠미디어 모델의 프롬프트를 Gemini가 대신 쓰게 하는데, 내부에서도 Gemini로 이들 모델을 학습·테스트하기 때문에 프롬프트 작성에 특히 능하다고 설명한다.

음성에서는 팟캐스트용 TTS가 기본적으로 두 목소리만 지원하지만, 내레이터 목소리에 인물별 말투 스타일을 입히는 '동화책 트릭'으로 두 명 이상의 캐릭터를 연출한다. 마지막으로 이미지·배경음악·음성을 하나로 합치는데, 그 믹싱 스크립트조차 Gemini가 작성했다. 발표자는 최신 모델 Omni도 소개한다. 현재는 Gemini 앱과 Flow에서 쓸 수 있고 곧 API로 온다는 Omni는 'Nano Banana의 영상판'으로, 영상 전체를 다시 만들지 않고 일부만 프롬프트로 바꿀 수 있으며(어깨가 움직여도 앵무새 위치를 유지하는 등) 물리와 타이밍을 잘 이해한다.

주요 인사이트

• Interactions API의 상태 저장 방식은 실용적 이득이 크다. 이전 호출을 반복 전송하지 않아 같은 이미지를 다시 올릴 필요가 없어 실행이 훨씬 빨라진다.
• 캐릭터 일관성의 비결은 대화 이력이다. 앞서 만든 인물 이미지를 참조로 남기면 이후 삽화가 같은 스타일을 유지한다.
• Gemini가 다른 젠미디어 모델의 프롬프트를 대신 써 준다. 내부에서 Gemini로 이 모델들을 학습·테스트해 왔기에 프롬프트 작성에 강하다는 설명이다.
• 두 목소리만 되는 TTS의 한계는 '동화책 트릭'으로 우회한다. 같은 목소리에 인물별 말투를 프롬프트로 지정해 여러 캐릭터를 연출한다.
• Omni는 영상 편집의 결을 바꾼다. 전체를 재생성하는 대신 일부만 프롬프트로 수정하고, 특정 시점부터 스타일을 바꾸는 등 타이밍 제어가 가능하다.

자주 묻는 질문

관련 AI 소식