MIT 레슬리 켈블링 로봇 강연: 계획하는 로봇과 데이터 학습의 균형점, 시연 3회 일반화

핵심 메시지

• 적은 데이터로 배우려면 모델에 구조가 있어야 하며, 편향이 없다고 주장하는 학습 방식도 실제로는 편향을 갖고 있다.
• 켈블링 교수는 세계가 사물로 이루어져 있고 로봇 행동의 효과는 국소적이며 사용자의 요구는 매번 다르다는 세 가지 전제를 로봇 설계의 구조로 옮겼다.
• 사전 학습된 인식 모델과 계획 알고리즘을 결합한 시스템은 별도 학습 데이터 없이도 '콜라 캔을 먼저 치워야 한다'는 순서를 스스로 찾아냈다.
• 시연에서 배우는 대상은 궤적이 아니라 시연자의 의도이며, 이를 파이썬 프로그램 형태의 '설명'으로 추론하면 새로운 상황으로 일반화된다.
• 대부분의 로봇 문제는 부분 관측 문제이므로, 물체를 잡기 전에 더 나은 시야를 확보하는 식의 믿음 공간 계획이 필요하다.

쉽게 이해하기

MIT의 레슬리 켈블링 교수가 카네기멜런 대학 로보틱스 연구소 세미나에서 범용 로봇을 만드는 방법을 주제로 강연했다. 출발점은 공학적 현실이다. 이제 로봇의 동작을 사람이 일일이 프로그램으로 적기에는 상황이 너무 복잡하고, 그렇다고 아무 구조 없이 데이터만으로 학습하기에는 표본이 너무 많이 든다. 그래서 그는 '엔지니어가 최소한으로 개입해 학습에 지렛대를 만들어 주는 지점'을 찾는다.

그가 협상 대상이 아니라고 못 박은 세 가지 전제가 있다. 우리는 사물이 있는 3차원 물리 세계에 살고, 로봇 행동의 효과는 드물고 국소적이며, 사용자는 매번 다른 요구를 한다는 것이다. 이 세 전제는 각각 세계 상태에 대한 믿음, 행동의 결과를 예측하는 세계 모델, 무엇을 원하는지 표현하는 효용 함수로 옮겨진다. 밖에서 로봇의 행동을 보고 합리성을 짐작하는 대신, 합리성을 로봇의 머릿속 설계 원리로 삼겠다는 것이 강연의 뼈대다.

예전에 이 접근을 가로막던 병목은 인식이었지만, 지금은 이미지 한 장에서 꽤 쓸 만한 3차원 장면 모델을 얻을 수 있다. 그의 연구진이 만든 시스템은 이미지와 자연어 지시를 받아, 사전 학습된 인식 모델로 장면을 복원하고 과제·동작 계획기를 돌려 로봇을 움직인다. 이 물체들에 대해 따로 학습한 적이 없는데도, 컵 받침 위에 캡슐을 놓으라는 지시에 '그 자리를 차지한 콜라 캔을 먼저 옮겨야 한다'는 계획을 세웠다. 그는 같은 문제에서 최신 파운데이션 모델들은 이 순서를 찾아내지 못했다고 말했다.

시연 학습에 대해서도 그는 질문을 바꾼다. 시연 하나에서 배울 수 있는 것은 궤적일 수도, 물체의 최종 위치일 수도, 시연자의 의도일 수도 있는데, 무엇을 배울 수 있는지는 이미 무엇을 알고 있는지에 달렸다는 것이다. 연구진은 시연자가 어떤 숨은 목표를 거의 최적으로 추구했다고 가정하고, 시각 언어 모델에게 '무엇을 하려던 것 같으냐'는 후보를 여러 개 받은 뒤 계획기로 그 가정에서 이 시연이 나올 법한지 점수를 매긴다. 그 결과 숟가락 손잡이를 아래로 세워 담는 것처럼 굳이 품을 들인 행동까지 의도로 해석해, 시연 한두 번만으로 새 장면에 옮겨 놓는다.

강연 후반부는 로봇이 스스로 실력을 키우는 이야기다. 낮에 실패한 로봇이 사람들이 잠든 밤에 내려와, 중요하면서도 아직 나아질 여지가 있는 기술을 골라 연습한다. 미끄러운 제도용 책상 위에 고리를 올리는 데 성공하자 그 부분을 반복 연습해 세 시간 동안 배터리 교체만으로 자율 훈련을 했고, 다음 날 같은 과제를 해냈다. 중간에 사람이 장난감을 손 닿지 않는 선반 위로 옮겨 놓아도, 책상을 밀고 올라가는 기술을 이미 알고 있었기에 계획을 다시 짜서 문제를 풀었다.

주요 인사이트

• 편향과 데이터는 맞바꾸는 관계다. 인과적 행동 모델은 영상 기반 세계 모델보다 훨씬 강한 가정을 넣지만, 그 대가로 시연 세 번만에 쓸 만한 것을 배운다.
• 정책(policy)은 일어날 수 있는 모든 상황에 대한 반응을 미리 계산해 두는 것에 가깝다. 사용자의 요구와 환경이 크게 달라지는 범용 로봇에서는 모델을 갖고 그때그때 추론하는 편이 오히려 단순하다.
• 시각 언어 모델은 정답 기계가 아니라 좋은 제안 기계로 쓸 때 가치가 있다. 켈블링 교수는 이들을 신뢰하지는 않지만 세계를 나누는 개념과 사람의 의도 후보를 제안하는 용도로는 적극 활용한다고 밝혔다.
• 탁자 위에 물건이 한 겹으로 놓인 실험 환경은 부분 관측 문제를 지워 버린다. 실제 환경에서는 물체를 찾고, 아직 보지 않은 공간에 들어가지 않고, 잡기 전에 형태를 확인하는 판단이 함께 필요하다.
• 로봇의 자율 연습은 무작위 탐색이 아니라 목적이 있는 훈련이다. 스스로 세계를 원래 상태로 되돌려 놓고 다시 시도하는 능력이 있어야 실패에서 데이터를 얻을 수 있다.

자주 묻는 질문

관련 AI 소식