AI 영상 생성 평가: 캐릭터AI가 'AI 슬롭'을 걸러내는 소형 VLM 평가 모델 개발기

핵심 메시지

• 영상 생성 모델(Kling·Seedance·Veo·Sora 등)의 품질은 급격히 좋아졌지만, '생성된 영상이 정말 좋은지'를 평가하는 기술은 뒤처져 있었다.
• CLIP 점수·LPIPS 같은 기존 지표는 개별 프레임의 품질·프롬프트 일치·프레임 간 일관성은 잘 보지만, '의도한 이야기를 실제로 전달했는가'는 알려주지 못한다.
• 핵심 통찰은 '점수 매기지 말고 비교하라'다. 1~10점 절대평가는 사람마다 제각각이지만, A와 B 중 어느 쪽이 더 나은지는 대체로 합의가 이뤄진다.
• 여러 전문 지표와 LLM 심판을 하나의 작고 빠른 VLM으로 증류해, 15초 영상을 약 3초에 '왜 이 영상이 슬롭인지'까지 설명하도록 만들었다.
• 평가를 생성 루프 안으로 끌어들여 초반에 오류(캐릭터 드리프트 등)를 잡으면, 전체 영상을 다시 만드는 것보다 훨씬 싸게 고칠 수 있다.

쉽게 이해하기

영상 생성 자체는 Kling, Seedance, Veo, Sora 같은 모델 덕분에 놀라울 만큼 좋아졌고, 스튜디오에 지불하던 비용에 비하면 이제 사실상 공짜에 가깝다. 그러나 캐릭터AI의 마오르 브릴은 정작 뒤처진 것은 '만드는 능력'이 아니라 '만들어진 영상이 충분히 좋은지 판단하는 능력'이라고 지적한다. 실제로 생성되는 영상의 대다수는 팔이 하나 더 생기거나, 문이 동시에 열리고 닫히거나, 인물이 공중에 떠 있는 등 물리·환각 오류를 안고 있다.

문제는 우리가 텍스트·이미지 시대에 만든 도구를 영상에 그대로 쓰고 있다는 점이다. CLIP 점수는 한 프레임이 프롬프트와 맞는지 보고, LPIPS는 프레임 간 변화(드리프트)를 감지한다. 이 도구들을 합치면 개별 프레임 품질과 프레임 간 일관성, 프롬프트 일치까지는 확인할 수 있다. 하지만 영상은 본질적으로 '이야기를 전하는 매체'다. 인물이 계단을 실제로 걸어 내려가는가 아니면 떠서 이동하는가, 여러 컷에서 같은 인물로 유지되는가, 전개의 호흡이 자연스러운가, 문을 쾅 닫는 소리가 정확히 그 프레임에 붙어 있는가 같은 축은 기존 지표가 답하지 못한다.

다음 단계로 많은 팀이 그러하듯 LLM을 심판으로 썼다. 강력한 파운데이션 모델에 영상을 던지면 되지만, 느리고 비싸며 프롬프트에 따라 결과가 크게 흔들린다는 한계가 있었다. 그래서 프레임 지표와 LLM 심판을 결합하되, 사람이 직접 주석을 달아 LLM 심판을 보정하는 '반복 가능한 벤치마크'를 먼저 만들었다. 다만 이 방식은 여전히 느리고 비싸서, 평가를 사용자와 생성 과정에 더 가깝게, 그리고 더 이르게 가져와야 했다. 두 컷의 시작 프레임에서 캐릭터가 이미 어긋났다면 그 시점에 잡아 고치는 편이, 몇 분짜리 최종 영상까지 만든 뒤 고치는 것보다 훨씬 저렴하기 때문이다.

핵심 해법은 '전문가 위원회'를 하나의 작고 빠른 모델로 증류하는 것이었다. 이 모델은 단순히 슬롭인지 아닌지가 아니라 '왜' 슬롭인지(팔이 하나 더 생겨서, 물리를 어겨서, 오디오가 어긋나서)를 답한다. 이미지를 봐야 하므로 VLM을 택했고, 생성 루프 가까이 두려면 빨라야 하므로 소형 모델을 골랐다. 더 큰 모델이 성능은 좋았지만 느려서, 얻는 이득이 속도 손해를 정당화하지 못했다.

또 하나의 결정적 통찰은 절대 점수 대신 쌍(pair) 비교로 학습시킨 것이다. 같은 영상을 1~10점으로 매기면 사람마다 6, 5, 4, 8로 갈리지만, 두 영상 중 어느 쪽이 더 나은 이야기를 하는지 물으면 다수가 같은 답을 낸다. 초기 V1은 자신 있게 틀렸다. 카메라가 4초 내내 정지한 정지 화면에 카메라워크 9.2점을 주고, 유령이 떠다니는 영상의 물리를 훌륭하다고 평가했다. 데이터 생성 방식 탓에 '이야기'가 아니라 영상의 매끈함(vibe)만 학습한 것이다. 이를 실제 촬영본과 AI 생성본을 짝지어 고쳤는데, 자칫 'AI 탐지기'로 과적합될 위험은 양쪽 인코딩을 일치시키고 동일한 주석 방식을 적용해 피했다.

주요 인사이트

• 평가는 절대 점수가 아니라 상대 비교(A vs B)로 설계할 때 더 안정적이고 사람 간 합의에 가까운 신호를 준다.
• 중요하게 여기는 축(이야기, 호흡, 물리, 오디오 싱크)을 직접 채점 대상으로 명시해야 한다. 그런 판단이 저절로 나타나기를 기대하면 안 된다.
• 복잡한 파이프라인은 고정된 사용 사례엔 잘 맞지만, 사용자마다 다른 캐릭터·이야기·목소리가 들어오면 무너진다. 출력 품질을 검증하는 도구를 쥔 에이전트형 워크플로가 변화에 더 잘 적응하고 스스로 오류를 고친다.
• 품질 평가 모델은 '매끈함(coherence·아티팩트 없음)'과 '이야기를 제대로 전달했는가'를 혼동하기 쉽다. 학습 데이터가 후자를 담지 못하면 모델은 전자만 배운다.
• 평가를 생성 루프 안으로 넣어 오류를 이르게 잡을수록 수정 비용이 급감한다. 6초짜리 어긋난 컷을 전체 영상에 합치기 전에 재생성하는 편이 결과적으로 더 낫다.

자주 묻는 질문

관련 AI 소식