RDT-1B 논문 리뷰: 확산 모델로 만든 양팔 로봇 조작 파운데이션 모델

핵심 메시지

• RDT-1B는 12억 개 파라미터 규모의 확산 기반 로봇 파운데이션 모델로, 양팔 조작의 일반화를 목표로 한다.
• 회귀 방식은 여러 해법을 평균 내버리지만, 확산 정책은 가능한 행동의 분포 전체를 다뤄 이 문제를 피한다.
• 여러 로봇의 이질적인 데이터를 하나의 통합 행동 공간으로 묶어 사전학습한 뒤, 목표 로봇에 소량 데이터로 미세조정한다.
• 이미지 토큰과 언어 토큰을 층마다 번갈아 주입해 시각 정보에만 쏠리는 문제를 완화했다.
• 처음 보는 물체 조작에서 기존 최고 성능 모델 대비 성공률이 크게 앞섰고, 새 기술도 한두 번의 시연으로 습득했다.

쉽게 이해하기

딥러닝논문읽기모임에서 발표된 이 리뷰는 양팔 로봇 조작을 위한 확산 파운데이션 모델 RDT-1B를 다룬다. 언어 모델이 토큰을, 비전 모델이 픽셀과 이미지 토큰을 학습해 일반화 능력을 얻었듯, 로봇도 행동과 궤적을 대규모로 학습해 물리 세계에 대한 일반적인 사전 지식을 갖추게 하자는 발상이다. 발표자는 이 모델이 확산 트랜스포머 위에 다중 모달 인코딩과 로봇별 구조 변경, 통합 행동 공간을 결합한 아키텍처라고 정리했다.

먼저 정책의 종류를 비교한다. 회귀로 행동을 만드는 명시적 정책은 하나의 분포로만 답을 내려 하기 때문에, 같은 과제를 여러 방법으로 풀 수 있는 상황에서도 해법이 한쪽으로 몰리고 학습 분포를 벗어난 상황에 약하다. 암묵적 정책은 여러 갈래의 행동 분포를 표현할 수 있지만 샘플링을 반복해 최적화해야 해 비용이 크다. 확산 정책은 노이즈에서 실제 행동을 복원하는 방식으로 여러 갈래의 분포를 다루면서도 더 빠르게 행동을 생성한다는 것이 이 계열의 장점이다.

양팔 조작이 어려운 이유도 짚는다. 행동 공간의 차원이 한 팔보다 훨씬 높고, 흔한 형태의 로봇이 아니어서 데이터가 부족하며, 여러 갈래의 행동을 표현하기가 까다롭다. 기존 연구들은 데이터 수집 인터페이스를 개선하거나, 두 팔을 각각 한 팔처럼 나눠 다루고 동작 단위를 매개변수화하는 식으로 요구 데이터를 줄였지만, 하드웨어 형태에 묶이거나 적용 범위가 한정된다는 한계가 있었다.

RDT-1B의 해법은 사전학습과 미세조정의 분리다. 여러 로봇에서 모은 100만 건이 넘는 궤적으로 사전학습해 일반적인 행동 능력을 얻은 뒤, 실험에 쓴 양팔 로봇에서 직접 모은 6천여 건의 궤적으로 미세조정한다. 서로 다른 로봇의 이질적인 데이터를 함께 쓰기 위해 128차원의 통합 행동 공간을 두고, 각 로봇의 물리적 형태에 맞는 자리만 유효 값으로 채우고 나머지는 마스킹하는 방식을 택했다.

구조의 세부에서는 학습 안정성과 모달리티 균형이 핵심이었다. 로봇의 상태와 행동은 값이 불안정해 그래디언트가 튀기 쉬운데, 이를 잡기 위해 정규화 기법을 적용했다. 또 시각 정보가 언어 지시보다 중요하게 다뤄지면서 지시를 따르지 않는 문제가 생기자, 이미지 토큰과 언어 토큰을 층마다 번갈아 주입하는 방식으로 완화했다. 행동을 한 스텝씩 만들면 오차가 누적되므로, 여러 스텝을 묶은 청크 단위로 생성하고 이어지는 청크 사이에 손실을 걸어 행동이 튀지 않게 했다.

실험은 다섯 가지 질문으로 설계됐다. 처음 보는 물체와 장면에 대한 일반화, 지시 따르기, 소수 시연만으로 새 기술을 배우는 능력, 정교한 조작, 그리고 모델 크기를 키웠을 때의 확장성이다. 발표자는 처음 보는 물체를 다루는 과제에서 기존 최고 성능의 비전-언어-행동 모델들보다 성공률이 크게 앞섰고, 지시 따르기에서는 거의 완벽에 가까운 성공률이 나왔다고 전했다. 새 기술 습득에서는 물건 건네주기를 다섯 번, 옷 개기를 한 번의 시연만으로 익혔다.

주요 인사이트

• 회귀 기반 방식의 약점은 성능 수치보다 실패 양상에서 잘 드러난다. 가능한 여러 해법을 평균 내버리면 물체 위치가 조금만 달라져도 집지 못하는 상황이 생긴다.
• 여러 로봇의 데이터를 함께 쓰려면 행동을 표현하는 공간부터 통일해야 한다. 통합 행동 공간과 마스킹은 형태가 다른 로봇들을 하나의 모델로 묶는 열쇠였다.
• 모달리티 사이의 불균형은 성능이 아니라 지시 불이행으로 나타난다. 이미지 토큰과 언어 토큰을 번갈아 주입하지 않으면 시각 정보에 쏠려 언어 지시를 무시하는 현상이 확인됐다.
• 제거 실험에서 사전학습 없이 처음부터 학습한 모델은 처음 보는 물체 과제를 거의 수행하지 못했다. 대규모 다중 로봇 사전학습이 일반화의 실질적인 원천임을 보여준다.
• 정교한 조작 과제의 성적은 소수 시연 학습만큼 높지 않았다. 발표자는 이 모델의 강점이 정밀한 손재주보다 적은 데이터로 새 기술을 익히는 일반화 쪽에 있다고 해석했다.

자주 묻는 질문

관련 AI 소식