서울대 VIP 연구실 2026 연구 소개 — 비디오 요약·멀티모달 LLM·3D 복원 한눈에

핵심 메시지

• 서울대 시각정보처리 연구실은 기존 세 팀 체제에서 멀티모달 대규모 언어 모델 팀과 3D 비전 팀을 더해 다섯 팀 체제로 확장했다.
• 비디오 요약 연구는 프레임 중요도 점수를 잘 매기는 문제에서, 어떤 구간을 골라 요약을 구성하느냐의 문제로 무게중심을 옮기고 있다.
• 영상 속 비슷하게 생긴 물체를 지목하는 과제에서 기존 모델들이 실은 움직임이 아니라 겉모습에 기대고 있었다는 점이 새 벤치마크로 드러났다.
• 멀티모달 언어 모델이 모든 레이어에서 시각 토큰을 처리하는 것은 낭비일 뿐 아니라 오답을 증폭시키는 원인이 되기도 한다.
• 3D 비전 팀은 일반 RGB 사진 몇 장만으로 문이나 서랍처럼 관절이 있는 물체의 형태와 움직임 축을 함께 복원해, 조작 가능한 디지털 트윈을 2초 만에 만들어내는 연구를 소개했다.

쉽게 이해하기

서울대 시각정보처리 연구실이 2026년 연구 내용을 직접 소개하는 영상을 공개했다. 연구실은 기존의 표현 학습, 생성 모델링, 추천 시스템 세 팀 체제에서 멀티모달 대규모 언어 모델을 전담하는 팀과 3D 비전 팀을 추가해 다섯 팀으로 커졌다. 분량이 늘어난 만큼 영상도 두 편으로 나뉘었고, 1부에서는 인지·표현 학습 팀, 멀티모달 언어 모델 팀, 3D 비전 팀의 연구가 차례로 발표된다.

1부의 절반은 비디오 요약 연구가 차지한다. 첫 발표는 영상마다, 심지어 같은 영상 안에서도 어느 순간에는 자막이, 다른 순간에는 소리나 화면이 더 중요해진다는 문제에서 출발한다. 세 가지 감각 정보를 한데 묶은 토큰이 각 프레임마다 어디에 주목할지를 스스로 조절하도록 만들고, 유튜브의 다시보기 통계를 중요도 정답으로 활용해 대규모 학습 데이터를 새로 구축했다. 학습 파라미터는 가장 적으면서도 성능은 앞섰다는 것이 발표의 요지다.

두 번째 발표는 더 근본적인 질문을 던진다. 기존 파이프라인에서 학습되는 부분은 프레임별 중요도 점수를 매기는 예측기뿐이고, 그 뒤의 구간 분할과 선택은 고정된 알고리즘이 처리한다. 그런데 점수 예측 성능과 최종 요약 품질의 상관계수를 재보니 사실상 0에 가까웠다. 점수를 잘 매기면 요약도 좋아진다는 오랜 가정이 성립하지 않았던 것이다. 연구팀은 진짜 병목이 점수가 아니라 구성에 있다고 보고, 학습 단계와 추론 단계 양쪽에서 고정된 구성기를 걷어내는 방법을 제안했다.

세 번째 발표는 긴 영상에서 사용자의 질의에 맞춰 요약을 만드는 문제를 다룬다. 30분에서 1시간짜리 영상에서는 필요한 근거가 여러 시간대에 흩어져 있고, 각각은 별것 아니어도 합쳐놓으면 좋은 요약이 된다. 그래서 이 문제를 개별 구간을 검색하는 문제가 아니라, 전체 길이의 15%라는 예산 안에서 질의 의도에 맞는 근거를 구성하는 문제로 재정의한다. 같은 영상이라도 질의가 달라지면 요약도 달라져야 하므로, 영상 한 편에 평균 열여덟 개가 넘는 다양한 질의를 붙인 벤치마크를 새로 만들었다.

이어지는 두 발표는 무엇을 배우고 무엇을 버릴 것인가라는 질문을 공유한다. 도메인 일반화 연구는 사전학습 모델의 시각 표현을 최대한 보존하려는 최근 흐름이 오히려 모순이라고 본다. 시각 공간은 도메인 축으로 흩어지는 반면 텍스트 공간은 물체 중심으로 뭉치므로, 텍스트와 공유되는 성분만 남기고 나머지 스타일 정보는 적극적으로 버려야 한다는 것이다. 영상 속 물체 지목 연구는 한 프레임만 봐서는 절대 구분할 수 없는 사례만 모은 벤치마크를 만들어, 기존 모델들이 실은 움직임이 아니라 정지 화면의 겉모습에 기대고 있었음을 드러냈다.

후반부는 멀티모달 언어 모델의 효율과 3D 복원으로 넘어간다. 한 발표는 모든 레이어에서 시각 토큰을 촘촘히 처리할 필요가 없다는 분석을 내놓는다. 중간 레이어에서 오답에 대한 확신이 높아지면 이후 레이어가 이를 바로잡지 못한 채 그대로 끌고 가는데, 시각 처리를 성기게 유지하면 오답을 증폭할 기회 자체가 차단된다는 것이다. 마지막 두 발표는 일반 사진 몇 장으로 관절이 있는 물체의 형태와 회전축·이동 방향을 함께 예측해 조작 가능한 디지털 트윈을 만드는 연구, 그리고 실제 촬영이 비싼 3차원 복원 데이터를 합성으로 대규모 구축하는 연구다.

주요 인사이트

• 성능 지표를 잘 올리는 것과 문제를 잘 푸는 것이 다를 수 있다는 사실이 비디오 요약 연구에서 정량적으로 확인됐다. 프레임 점수와 최종 요약 품질의 상관이 사실상 없다는 측정은, 무엇을 학습 목표로 삼을지부터 다시 보게 만든다.
• 벤치마크가 쉬우면 모델의 약점이 드러나지 않는다. 한 프레임만으로는 구분 불가능한 사례만 모아 새 벤치마크를 만들자, 기존 모델의 성능이 크게 떨어지면서 이들이 시간 정보를 거의 쓰지 않고 있었다는 점이 밝혀졌다.
• 무엇을 보존할 것인가보다 무엇을 버릴 것인가를 묻는 관점이 도메인 일반화에서 성과를 냈다. 텍스트 공간을 필터로 삼아 스타일 정보를 걷어낸 접근이 여러 백본에서 기존 최고 성능을 큰 폭으로 넘었다.
• 멀티모달 언어 모델의 레이어 절약은 단순한 경량화 이슈가 아니다. 불필요한 시각 처리를 줄이면 계산량이 주는 동시에 중간 레이어의 오답이 증폭되는 경로가 끊겨 정확도까지 올라갈 수 있다.
• 관절 물체 복원 연구에서 가장 큰 차이는 품질이 아니라 속도였다. 기존에는 물체마다 수십 분씩 최적화가 필요했는데, 픽셀 단위로 관절 정보를 예측하는 표현을 도입해 한 번의 추론으로 2초 만에 결과를 내놓는다.

자주 묻는 질문

관련 AI 소식