MIT 케일블링 교수의 로봇 지능론: 세계 모델과 계획이 정책 학습보다 강한 이유

핵심 메시지

• 표본 효율의 열쇠는 데이터 양이 아니라 세계 구조에 잘 맞는 편향(bias)이며, 케일블링은 3차원 물리 세계·행동 효과의 희소성·사용자 요구의 다양성 세 가지를 그 편향의 출발점으로 삼는다.
• 미리 학습한 정책은 일어날 수 있는 모든 상황에 대한 반응을 통째로 담아야 해서 비효율적이며, 대신 실행 시점에 세계 모델로 추론해 행동을 고르는 편이 낫다는 것이 이 강연의 핵심 주장이다.
• 세계 모델은 요소별로 쪼개지고(factored), 변화가 몇 개 변수에만 영향을 주며(sparse), 특정 물체가 아니라 물체 일반에 적용되는(lifted) 형태여야 재사용과 점진적 학습이 가능하다.
• Tip-Top 시스템은 추가 학습 없이 인식 모델과 VLM, 과제·동작 계획기를 조합해 처음 보는 물체를 정리하고, 방해가 되는 캔을 먼저 치우는 식의 판단까지 해낸다.
• 시연 학습에서 배워야 할 것은 궤적이 아니라 시연자의 의도이며, 연구팀은 그 의도를 파이썬 프로그램 형태의 '설명'으로 추론해 시연 한두 번으로 새로운 장면에 일반화했다.

쉽게 이해하기

UC버클리 EMBER 센터 세미나에 선 MIT의 레슬리 케일블링 교수는 자신의 목표를 '지능이 무엇인지 이해하는 것'이라고 밝히며 강연을 시작했다. 그는 엔지니어가 로봇 프로그램을 직접 다 써 내려가기에는 인간의 서술 능력이 부족하고, 반대로 학습 알고리즘만으로 아무런 사전 지식 없이 로봇 프로그램을 찾아내기에는 데이터 효율이 너무 나쁘다고 정리했다. 결국 남는 질문은 계산량과 데이터, 사람의 설계 시간을 모두 아끼면서 실제 가정집에서 통하는 로봇을 만드는 설계 과정이 무엇이냐는 것이다.

그가 제시한 답의 출발점은 '편향'이다. 기계학습에서 적은 데이터로 배우려면 세계의 구조에 잘 맞는 가정을 넣어야 하는데, 케일블링이 믿는다고 밝힌 세 가지 가정은 이렇다. 우리는 물건과 물질로 이뤄진 3차원 물리 세계에 살고 있고, 로봇 행동의 효과는 희소하고 국소적이며(리모컨을 던져도 호텔 방 전체가 바뀌지는 않는다), 사용자는 로봇에 매우 다양한 요구를 한다. 이 세 가정은 각각 외부 세계에 대한 믿음을 명시적으로 모델링할 것, 행동의 효과를 다룰 것, 효용 함수로 요구를 표현할 것이라는 설계 지침으로 이어진다.

핵심 논점은 행동 선택을 어떻게 만들 것인가다. 요즘 널리 쓰이는 방식은 이미지와 지시를 받아 한 번의 순전파로 로봇 명령을 뱉는 신경망, 즉 정책이다. 케일블링은 이것이 추론 속도 면에서는 유리하지만 근본적으로 낭비라고 봤다. 정책이라는 신경망은 세상에서 일어날 수 있는 모든 일에 대한 반응을 미리 담고 있어야 하기 때문이다. 그는 갑자기 천장 스프링클러에서 물이 쏟아지는 상황을 예로 들며, 사람은 그 상황에 대한 반응을 미리 외워두지 않았어도 그 자리에서 추론해낸다고 지적했다.

그래서 그가 택한 길은 실행 시점에 세계 모델로 계획을 세우는 방식이다. 다만 세계 모델의 표현이 중요하다. 영상에서 영상으로 가는 비디오 세계 모델은 데이터가 너무 많이 들고 긴 시간 지평의 계획이나 점진적 수정에 맞지 않는다. 케일블링은 대신 '자연을 관절에서 자르라'는 플라톤식 비유를 들어, 서로 잘 얽히지 않는 지점에서 세계를 쪼개야 한다고 말했다. 그 결과가 상태를 구성 요소로 쪼개고(factored), 다음 시점의 요소가 이전 시점의 몇 개 요소에만 의존하며(sparse), 특정 개체가 아니라 물체 일반에 적용되는(lifted) 인과 행동 모델이다.

강연 후반부는 이 틀 위에서 진행된 구체적 연구들로 채워졌다. Tip-Top은 기존 비전-언어-행동 모델과 같은 입출력 규격을 갖되 내부는 인식·계획 파이프라인으로 구성한 시스템이고, 시연 해석 연구는 파이썬 프로그램을 '설명'으로 놓고 베이지안 추론을 돌린다. 마지막으로 그는 대형 사전학습 모델을 인식과 상식의 저장고로는 적극 쓰되 추론 알고리즘 자체로 쓰는 데는 회의적이라며, 부분 관측성과 물체 기반 기억이 앞으로 풀어야 할 큰 숙제라고 못박았다.

주요 인사이트

• Tip-Top은 이미지와 자연어 지시를 받아 분할·형상 복원·VLM 그라운딩으로 장면을 물체 단위로 표현한 뒤, 지시를 목표로 바꿔 GPU 가속 과제·동작 계획기에 넘긴다. 처음 보는 물체에도 추가 학습 없이 동작하고, 커피 캡슐을 쟁반에 담으라는 지시에서 충돌과 기구학을 이해해 방해가 되는 콜라 캔을 먼저 치웠다.
• 다른 로봇으로 옮기는 데 필요한 것은 기구학을 기술한 URDF 파일과 체커보드로 하는 빠른 카메라 캘리브레이션뿐이었다. 인식·계획 모듈을 새로 학습시킬 필요가 없다는 점이 모듈식 설계의 실질적 이득으로 제시됐다.
• 시연 학습 연구는 시연자가 대체로 합리적으로 행동한다고 가정한다. 도구를 손잡이가 아래로 가도록 통에 넣으려고 일부러 먼 궤적을 돌아갔다면, 그 번거로움 자체가 '그렇게 놓는 것이 의도였다'는 증거가 된다는 식이다.
• 인과 행동 모델을 배우려면 세계를 기술할 술어 어휘가 필요한데, 연구팀은 VLM에 시연을 보여주고 후보 술어를 잔뜩 생성하게 한 뒤 데이터를 잘 예측하는 것만 골라 쓰는 방식으로 이 문제를 우회했다.
• 로봇이 남는 시간에 스스로 연습하는 실험에서는, 작업에 중요하면서 아직 잘 못하고 연습하면 나아질 것 같은 기술을 골라 3시간 동안 배터리 교체만 받으며 혼자 훈련했다. 세계가 어떻게 작동하는지 알기 때문에 연습 환경을 스스로 원상복구할 수 있었다는 점이 특히 강조됐다.

자주 묻는 질문

관련 AI 소식