UniPi 논문 리뷰: 텍스트 조건 비디오 생성으로 만드는 범용 로봇 정책과 역동역학 모델

핵심 메시지

• 환경마다 상태와 행동의 표현이 달라 한 곳에서 배운 정책을 다른 곳으로 옮기기 어렵다는 것이 범용 에이전트의 오랜 걸림돌이었다.
• UniPi는 이미지와 텍스트를 환경에 공통으로 통하는 인터페이스로 삼아, 정책 학습을 '미래 영상을 생성하는 문제'로 바꿔 놓는다.
• 확산 모델이 만든 영상 계획을 역동역학 모델이 실제 관절 제어로 되돌리는 2단계 구조다.
• 첫 프레임 조건 학습, 첫 관찰을 매 단계 함께 넣는 일관성 유지, 성긴 계획을 시간축에서 정교하게 다듬는 계층적 계획이 성능에 모두 중요했다.
• 인터넷 규모 영상으로 사전 학습한 뒤 로봇 데이터로 미세조정하자 성공률이 72.6%에서 77.1%로 올랐다.

쉽게 이해하기

딥러닝논문읽기모임에서 UniPi(Learning Universal Policies via Text-Guided Video Generation) 논문 발표가 진행됐다. 발표는 문제 인식에서 출발한다. 하나의 모델이 여러 과제를 푸는 흐름이 강해졌지만 제어 분야에서는 환경마다 상태와 행동을 나타내는 방식이 제각각이어서, 로봇 시뮬레이터는 관절 각도 같은 연속값을 다루고 게임 환경은 픽셀과 버튼 입력으로 움직인다. 같은 '오른쪽으로 밀어라'라는 목표도 환경마다 완전히 다른 언어로 표현되는 셈이라 한쪽에서 배운 지식을 옮기기가 어렵다.

논문은 이를 강화학습의 표준 틀인 MDP의 한계로 정리한다. 제어 환경 전반에 두루 통하는 상태 인터페이스가 없고, 실수값 보상 함수가 반드시 필요한데 그 설계 기준이 환경마다 달라 불분명하며, 전이 확률이 환경과 행동 공간에 묶여 있어 환경이 바뀌면 모델을 그대로 쓸 수 없다는 것이다. 대안으로 제시된 UPDP는 환경마다 다른 상태 대신 이미지와 영상을, 복잡한 보상 함수 대신 텍스트로 쓴 과제 설명을 쓰자고 제안한다. 시작 이미지와 텍스트 목표를 받아 정해진 길이의 영상을 만드는 조건부 비디오 생성기가 계획을 맡고, 그 영상 궤적에서 실제 행동 시퀀스를 뽑는 부분이 제어를 맡아 계획과 제어가 분리된다.

구현에서 계획 담당은 비디오 확산 모델이다. 노이즈를 단계적으로 더했다가 걷어내며 영상을 만드는 구조에 텍스트 목표와 시작 프레임을 조건으로 걸고, 조건부 출력과 무조건 출력의 차이를 강조해 조건 반영 강도를 조절하는 기법도 함께 쓴다. 디노이징 신경망은 U-Net 구조를 쓰되 시간축 합성곱을 넣어 프레임 사이의 일관성을 강화하고, 셀프 어텐션은 계산 비용을 아끼기 위해 낮은 해상도에서만 적용한다. 제어를 맡는 역동역학 모델은 생성된 영상에서 합성곱으로 특징을 모으고 공간 평균으로 만든 벡터를 MLP가 7차원 제어값으로 매핑하며, 예측한 제어와 정답 제어의 평균 제곱 오차를 줄이는 방식으로 학습한다.

UniPi가 강조하는 설계 요소는 네 가지다. 생성된 영상이 현재 화면에서 자연스럽게 이어지도록 첫 프레임을 조건으로 넣는 것, 매 디노이징 단계마다 처음 관찰한 이미지를 함께 넣어 시간이 흘러도 환경이 변해 버리지 않게 하는 것, 성긴 프레임으로 거친 계획을 먼저 잡고 시간축 초해상도로 촘촘하게 다듬는 계층적 계획, 그리고 하위 목표로 가는 행동을 계획할 때 외부 제약을 끼워 넣을 수 있게 한 유연성이다. 실험은 언어 지시문의 70%로 학습하고 30%를 평가용으로 남긴 뒤 블록과 그릇의 위치를 매번 바꿔 조합적 일반화를 확인했고, 지시문은 사전 학습된 T5 임베딩으로 인코딩했다. 트랜스포머 기반 모방학습과 미래 행동을 한 번에 회귀하는 궤적 트랜스포머, 관절 공간에서 직접 행동을 확산시키는 방식과 비교했을 때 UniPi는 학습에서 보지 못한 새 지시 조합과 '빨간 블록을 파란 블록 왼쪽에 두어라' 같은 공간 관계 지시 모두에서 잘 일반화했다.

구성 요소를 하나씩 빼 보는 실험에서는 첫 프레임 조건 학습을 빼면 초기 관찰과 어긋난 계획이 나오고, 프레임 일관성을 위한 타일링을 빼면 시작 프레임 이후 맥락이 무너지며 빈 프레임이 들어갔으며, 시간축 계층 구조를 빼면 세밀한 영상 계획을 만들지 못했다. 인터넷 규모 데이터로 사전 학습한 뒤 로봇 데이터로 미세조정한 모델은 영상 품질 지표가 크게 개선됐고, 마지막 프레임으로 성공 여부를 판별하는 분류기로 잰 성공률도 처음부터 학습한 모델의 72.6%에서 77.1%로 올랐다. 다만 비디오 확산 기반 생성은 여전히 느려 고품질 영상을 합성하는 데 시간이 오래 걸리고, 주로 완전 관측 환경을 가정한 탓에 실제의 부분 관측 상황에서는 환각 문제가 생길 수 있다. 향후 과제로는 더 효율적인 확산 모델로 속도를 개선하는 것과, 대규모 언어 모델과 결합해 더 풍부한 추론과 계획을 수행하도록 확장하는 것이 제시됐다.

주요 인사이트

• 이 접근의 핵심은 표현의 통일이다. 관절 각도와 버튼 입력은 서로 번역되지 않지만, '앞으로 화면이 어떻게 보여야 하는가'는 어느 환경에서나 같은 형식으로 쓸 수 있다. 공통 인터페이스를 찾는 순간 여러 환경의 데이터가 하나로 합쳐진다.
• 계획을 영상으로 내놓는다는 것은 사람이 중간 결과를 눈으로 검증할 수 있다는 뜻이기도 하다. 정책이 무엇을 하려는지 숫자 벡터가 아니라 장면으로 드러나므로, 실패의 원인을 진단하기가 쉬워진다.
• 텍스트를 목표 표현으로 쓰면 언어의 조합성이 그대로 따라온다. 학습에서 본 적 없는 물체 배치나 관계도 문장으로 합성할 수 있고, 그 덕분에 새 지시에 대한 일반화가 가능해진다.
• 계층적 계획은 탐색 공간 폭증에 대한 실용적인 답이다. 긴 구간을 한 번에 촘촘히 그리려 하지 않고, 듬성듬성한 뼈대를 먼저 잡은 뒤 시간축 초해상도로 채워 넣는 순서가 계획의 일관성을 지켜 준다.
• 영상 품질 지표만으로는 과제 성공 여부를 충분히 판단할 수 없었다는 점이 눈에 띈다. 생성 모델을 제어에 쓸 때는 '보기 좋은 영상'과 '실행 가능한 계획'을 구분해 재는 별도의 지표가 필요하다.

자주 묻는 질문

관련 AI 소식