확산 모델 로봇 제어의 현주소: MIT 6.S184 강의로 본 로봇 학습의 성과와 한계

핵심 메시지

• 로봇용 확산 모델은 이미지를 복원하는 대신, 카메라 영상과 로봇 자세를 조건으로 2초 앞의 궤적 웨이포인트를 노이즈에서 복원한다.
• 예측한 궤적을 전부 실행하지 않고 절반쯤 쓰다가 새 예측으로 덮어쓰는 폐루프 구조라, 추론이 1초 안에 끝나야 로봇이 환경 변화에 반응할 수 있다.
• 수백 번의 시연만으로 옷 개기, 커피 닦기 같은 동작이 학습되고, 프로그래밍하지 않아도 실패 후 재시도가 나타난다.
• 가장 큰 약점은 데이터 부족에서 오는 취약성이다. 카메라를 조금만 옮겨도 정책이 무너지고, 기억이 1초 남짓이라 순서가 뒤바뀔 수 있는 긴 작업에서 갈피를 잃는다.
• 현재 해법은 언어 조건화와 사전학습 시각언어 모델(VLM) 위에 행동을 얹는 일반화 모델이며, 좋은 특화 모델은 좋은 일반화 모델에서 나온다는 것이 연구진의 관점이다.

쉽게 이해하기

MIT의 생성모델 강의 6.S184에서 토요타 리서치 인스티튜트(TRI)의 벤저민 버치필이 확산 모델을 로봇에 적용한 경험을 소개했다. 그는 대규모 언어 모델에 빗대 '대규모 행동 모델(Large Behavior Model)'을 만드는 팀을 이끌고 있다. 핵심 구조는 이미지 확산과 거의 같다. 다만 언어 프롬프트 대신 로봇 카메라 영상과 팔의 자세를 조건으로 주고, 이미지 픽셀 대신 앞으로 2초간의 궤적 웨이포인트를 노이즈에서 복원한다. 결정적 차이는 폐루프 제어라는 점이다. 예측한 궤적을 끝까지 실행하지 않고, 다음 추론이 끝나면 곧바로 새 계획으로 갈아탄다. 로봇 쪽에는 저수준 컨트롤러와 안전 계층이 있고 그 위에 명령 버퍼가 쌓이는데, 16~32개 정도의 행동을 예측해 버퍼에 넣고 절반쯤 실행한 시점에 새 예측으로 덮어쓴다. 그래서 추론은 적어도 1초 안에 끝나야 하고, 그렇지 않으면 로봇이 예상 밖의 상황에 반응하지 못한다.

이 단순한 조리법으로 할 수 있는 일은 놀라울 만큼 많다. 행동별로 코드를 따로 쓰지 않고 수백 건의 시연만 모으면 되고, 시각적으로 모델링하기 까다로운 대상도 구조를 명시하지 않은 채 데이터가 말하게 두면 된다. 발표자는 3~4년 전이라면 한 팀이 1년을 매달려야 겨우 깨지기 쉬운 데모를 만들 수 있었을 일을 이제 며칠 만에 해낸다고 말했다. 실제로 셔츠 접기, 옷걸이에서 옷 벗기기, 흘린 커피를 시각적으로 다 닦일 때까지 계속 닦기 같은 동작이 시연됐다.

설계 세부에서 얻은 교훈도 흥미롭다. 고정된 장면 카메라만 쓰면 정책이 카메라 위치를 전제로 학습해 조금만 건드려도 무너진다. 그런데 손목 카메라를 추가하고 이미지 인코더를 공유하자, 늘 움직이는 손목 영상이 일종의 데이터 증강 역할을 하면서 이 취약성이 크게 줄었다. 또 위치 명령을 힘 명령으로 바꾸는 임피던스 제어를 쓰기 때문에, 명령은 위치처럼 보여도 정책이 사실상 접촉력을 인지하게 된다. 병뚜껑 조이기처럼 촉각이 필요한 작업에는 젤이나 공기막 뒤에 카메라를 둔 촉각 센서를 붙였는데, 코드를 거의 바꾸지 않아도 조임을 느끼면 멈추는 정책이 나왔다.

실패 유형은 대부분 데이터 부족에서 온다. 행동 하나를 매번 처음부터 학습하기 때문에 분포를 조금만 벗어나도 동작이 뚝뚝 끊기고, 심하면 무작위로 팔을 휘두른다. 기억이 1초 남짓이라 '금붕어 효과'라 부를 만한 문제도 있다. 컵을 먼저 치울지 수건을 먼저 집을지처럼 순서가 갈리는 장기 작업에서 어느 쪽을 골랐는지 잊고 우물쭈물한다. 시연자가 잠시 멈춰 생각하면 로봇은 '이 상황에서는 가만히 있어야 한다'고 배워버리기도 한다.

그래서 좋은 시연 데이터를 만드는 데 기술이 필요하다. 일부러 작은 실수와 복구 과정을 보여주되 지나치면 안 되고, 조작자는 자기 눈이 아니라 로봇 카메라를 통해 봐야 하며, 원하는 강건성은 데이터에 직접 담아야 한다. 다만 이 방식은 확장되지 않는다. 현재 연구 흐름은 다양한 출처의 데이터를 끌어모으고, 사전학습된 언어·시각언어 모델 위에 행동 예측을 얹는 쪽이다. 발표자는 특화 모델이 필요한 자리는 앞으로도 있겠지만, 가장 좋은 특화 모델은 일반화 모델에서 나올 것이라고 정리했다.

주요 인사이트

• 로봇 학습이 이미지 생성과 결정적으로 다른 점은 데이터 규모다. 10Hz로 1분짜리 동작을 100회 모아도 수만 개 샘플에 불과해, 이미지 모델에서는 걱정하지 않는 과적합이 곧바로 문제가 된다.
• 손목 카메라가 정확도가 아니라 강건성을 위해 도움이 됐다는 점이 시사적이다. 계속 움직이는 시점 자체가 특징 학습의 무작위화 역할을 했다.
• 확산 모델은 좌우 회피처럼 짧은 시간 규모의 다중 모드는 잘 다루지만, '무엇을 먼저 할까' 수준의 장기 다중 모드에서는 기록이 짧아 헤맨다. 메모리 길이는 구조가 아니라 데이터의 한계다.
• 구조를 모델에 새겨 넣기(등변성 설계)보다 데이터와 보조 손실로 유도하는 편이 낫다는 관점은, 세상이 항상 그 구조를 따르지는 않기 때문이라는 실용적 근거에 기대고 있다.
• 물리 로봇 평가가 병목이 되자 시뮬레이션 평가로 옮겨간 점도 눈에 띈다. 최근 한두 달 사이에만 50만 회 이상의 시뮬레이션 롤아웃을 돌렸다고 한다.

자주 묻는 질문

관련 AI 소식