영상 길이에 맞춰 추론량을 조절하는 비디오 에이전트, 강화학습으로 어떻게 학습시켰나

핵심 메시지

• 사람은 10초짜리 릴스는 끝까지 보고 한 시간짜리 중계는 건너뛰며 본다. 과제에 따라 투입 시간을 조절하는 이 능력이 연구의 출발점이다.
• 기존 영상 추론 시스템은 개방형 질문에 약하고 속도도 느려 실제 배치가 어려웠다.
• 시간 구간을 짚어내는 모델의 정확도가 낮은 것이 핵심 병목이며, 음성 전사와 웹검색 같은 외부 신호로 이를 보완했다.
• 한 시간짜리 영상에 사람이 주석을 다는 비용이 30달러를 넘기 때문에, 질문·답변 쌍과 도구 호출 궤적을 모델로 합성해 학습 데이터를 만들었다.
• 영상이 길어질수록 추론 단계 수가 늘고 기본 모델 대비 성능 향상 폭도 커진다는 두 가지 지표로 설계 의도를 검증했다.

쉽게 이해하기

와이컴비네이터가 스타트업 스쿨에서 진행한 머신러닝 세션에서, 지테시 자인(Jitesh Jain)이 올해 컴퓨터비전 학회에 발표한 영상 에이전트 연구를 소개했다. 문제의식은 일상적인 시청 습관에서 나온다. 드라마나 자동차 경주 중계를 30분쯤 놓쳤을 때 사람은 처음부터 다시 보지 않고 놓친 지점을 골라 확인하지만, 10초짜리 짧은 영상은 그냥 끝까지 본다. 연구진은 이렇게 영상 길이에 따라 들이는 노력을 조절하는 능력을 '어떤 길이에도 대응하는 추론'이라 부른다.

기존 시스템을 분석해 세 가지 문제를 찾았다. 첫째는 설계 자체다. 대부분의 시스템이 영상에서 해당 장면의 시간 구간을 찾아내는 모델에 의존하는데, 긴 영상으로 학습된 적이 없어 정확도가 떨어지고, 그 탓에 긴 영상 데이터가 다시 쌓이지 않는 순환이 생긴다. 발표자는 사람이 긴 영상을 볼 때 화면만 보지 않는다는 점에 주목했다. 포뮬러 원 중계에서 페라리 드라이버를 찾는 사람은 빨간 차를 안다는 배경지식으로 탐색 범위를 좁힌다.

그래서 시스템에 음성 전사와 웹검색 같은 도구를 붙였다. 시간 구간을 짚는 모델이 부정확해도 외부 신호가 이를 메워 주기 때문에 정확도와 실행 속도가 함께 개선됐다. 두 번째 문제인 데이터 비용은 생성 모델로 풀었다. 사람이 한 시간짜리 영상에 주석을 달게 하면 30달러가 넘게 드는데, 제미나이 2.5 플래시가 질문과 답을 만들어 내는 데 쓸 만하다는 점을 확인하고 학습용 질문·답변 쌍과 도구 호출 궤적을 합성했다. 느리지만 한 번만 치르면 되는 비용이라는 설명이다.

가장 어려운 세 번째 과제는 모델이 상황에 맞게 추론량을 조절하게 만드는 일이었다. 답이 열려 있어 문자열 일치로는 채점할 수 없기 때문에 다른 언어 모델을 심판으로 세우고 여러 보상을 조합했다. 답이 틀렸는데도 도구를 호출하면 감점하고, 반대로 시각 도구를 써서 정답을 맞히면 0.25점을 더 준다. 부정확한 도구를 무조건 피하는 대신 언제 써야 이득인지를 배우게 하려는 설계다.

검증은 두 갈래로 이뤄졌다. 영상 길이가 늘어날수록 에이전트가 밟는 추론 단계 수가 실제로 늘어났고, 짧은 영상 위주로 학습된 기본 모델 대비 성능 향상 폭도 영상이 길어질수록 커졌다. 발표자는 이 두 지표가 함께 나타난 것을 두고 데이터와 보상 설계, 시스템 구성이 의도대로 작동했다는 증거로 제시했다.

주요 인사이트

• 도구를 붙이는 목적이 기능 확장이 아니라 약한 모듈의 오차 보완이라는 점이 인상적이다. 시간 구간 탐지의 부정확함을 자막과 검색으로 우회한다는 발상이다.
• 보상 설계에 '도구를 쓰지 말라'가 아니라 '쓸 만할 때 써라'가 담겨 있다. 정답을 맞힌 경우에 한해 시각 도구 사용에 가산점을 주는 방식이 적응적 행동을 만든다.
• 데이터 병목을 모델로 푸는 구조가 반복된다. 사람 주석의 시간당 비용이 실험 규모를 제한할 때, 일회성 생성 비용으로 옮겨 놓는 선택이 현실적인 해법이 된다.
• 성능 그래프 대신 '길이가 늘면 단계 수도 는다'는 행동 지표를 검증에 쓴 점이 눈에 띈다. 의도한 능력이 실제로 학습됐는지 보려면 결과값만으로는 부족하다.
• 개방형 질문을 다루는 순간 채점 자체가 연구 과제가 된다. 심판 모델 도입은 편의가 아니라 필수 조건에 가깝다.

자주 묻는 질문

관련 AI 소식