로봇 러닝 입문: ETH 취리히 강의로 보는 모라벡의 역설과 로봇 파운데이션 모델

핵심 메시지

• ETH 취리히가 커리큘럼의 빈자리를 메우려 신설한 '로봇 러닝' 강의는 모방학습·강화학습 같은 기본 알고리즘부터 로봇 파운데이션 모델까지를 한 학기에 다룬다.
• 체스나 복잡한 수학 같은 추상적 사고는 AI에 오히려 쉬웠지만, 유아도 해내는 감각운동 능력은 여전히 어렵다는 '모라벡의 역설'이 로봇 학습의 출발점이다.
• 2007년 스탠퍼드의 PR1은 방을 치우는 시연을 해냈지만 사람이 원격조종한 것이었고, 그 뒤 부족했던 것은 하드웨어가 아니라 두뇌였다.
• 로봇 문제를 이미지·언어·행동을 함께 다루는 멀티모달 시퀀스 예측으로 재정의하면 비전과 자연어 분야의 성과를 그대로 끌어올 수 있다.
• 다만 로봇 데이터는 사람이 직접 원격조종해 모아야 해 비싸고, 실시간 제어라는 제약 때문에 모델 크기도 마음대로 키울 수 없다.

쉽게 이해하기

스위스 취리히 연방공대(ETH 취리히)가 로봇 학습을 정면으로 다루는 정규 강의를 새로 열었다. 강의를 소개한 마크 폴레페이스 교수는 학내 커리큘럼에 로봇 러닝에 집중한 과목이 없다는 점을 확인하고 이 강의를 만들었다고 밝혔다. 강의는 마이크로소프트 공간 AI 랩에서 로봇 학습을 이끌고 있는 오이어 메스가 맡았고, 첫 학기에만 290명이 수강 신청했다.

강의는 먼저 '왜 로봇인가'라는 질문에서 출발한다. 행성 탐사나 심해처럼 사람이 살아남기 힘든 환경, 지하 광산 같은 위험한 작업, 재난 현장의 수색과 구조가 대표적인 이유로 꼽혔다. 여기에 더해 서구 사회의 고령화로 돌봄 수요가 커지는 상황에서, 가정에서 개인화된 도움을 줄 수 있는 로봇이 의료 시스템의 부담을 덜어줄 수 있다는 기대도 언급됐다.

역사를 보면 출발점은 1966년 스탠퍼드 연구소의 로봇 '셰이키'다. 카메라로 주변을 보고 계획을 세운 뒤 움직이는 이 로봇을 위해 A* 경로 탐색 알고리즘이 만들어졌다. 이후 산업용 로봇 팔은 같은 '감지-계획-행동' 구조를 훨씬 정밀하게 구현했지만, 결국 사람이 짜 넣은 논리만큼만 똑똑한 상태 기계였고 조립 라인의 부품이 조금만 달라져도 대응하지 못했다.

강의가 짚은 핵심 개념은 모라벡의 역설이다. 1988년에 정리된 이 관찰에 따르면 사람이 어려워하는 추상적 추론은 AI에 상대적으로 쉬운 반면, 동물이나 아기도 쉽게 해내는 물리적 상호작용은 지독히 어렵다. 강의자는 박사과정 시절 로봇이 머그컵을 너무 세게 쥐어 두 동강 내는 실패 영상을 직접 보여주며, 인터넷에서 긁어모을 수 없는 감각운동 데이터가 문제의 뿌리임을 설명했다.

그렇다면 왜 로봇에는 아직 '챗GPT 순간'이 오지 않았을까. 강의는 사람이 학습 데이터를 전부 읽는 데 걸릴 시간으로 규모를 환산해 보였다. 이미지넷은 약 2년, GPT-2의 학습 말뭉치는 약 60년, 라마 3는 약 9만 년이 걸린다. 반면 로봇 데이터는 사람이 일일이 원격조종해 만들어야 해 비교가 되지 않는다. 200곳이 넘는 기관이 22종의 로봇 데이터를 모아 만든 오픈 X-임바디먼트 데이터셋은 이 격차를 좁히려는 시도다.

강의 후반부는 최근 흐름을 정리했다. 관측 이미지와 자연어 지시를 받아 행동 시퀀스를 내놓는 로봇 정책은, 이미지를 받아 설명을 내놓는 비전-언어 모델과 구조가 같다. 답이 문장 대신 로봇의 행동일 뿐이라는 것이다. 다만 데이터 부족, 로봇마다 다른 센서와 구동부, 실시간 제어에 필요한 작은 모델 크기, 실물 하드웨어 평가 비용이라는 네 가지 차이가 남는다. 수업은 전반부에 시뮬레이션 과제를, 후반부에 준비된 SO-101 로봇 50대로 실물 프로젝트를 진행한다.

주요 인사이트

• 하드웨어 병목은 생각보다 오래전에 풀렸다. 2007년 PR1이 원격조종으로 방을 치웠다는 사실은, 그 뒤 오랫동안 모자랐던 것이 몸이 아니라 두뇌였음을 보여준다.
• 보스턴 다이내믹스의 아틀라스 시연 영상에 QR 코드가 곳곳에 붙어 있었다는 지적은 인상적이다. 화려한 동작 뒤에는 '환경을 완벽히 안다'는 전제가 깔려 있었고, 몇 센티미터만 어긋나도 넘어질 수 있었다.
• 알파고의 37수처럼 사람이 생각하지 못한 수를 두는 순간이 로보틱스에도 필요하다는 비유가 나온다. 손으로 규칙을 적어 넣던 시대에서 로봇이 스스로 물리적 해법을 발견하는 시대로 넘어가자는 것이다.
• 실시간성이 모델 크기를 규정한다는 지적은 실용적이다. 1000억 파라미터급 모델의 응답을 1분씩 기다릴 수 없으니, 로봇용 모델은 애초에 다른 설계 압력을 받는다.
• 강의 설계에도 이 철학이 보인다. 기말시험 없이 논문 발표·비평 20%, 개인 과제 40%, 실물 로봇 그룹 프로젝트 40%로 평가하며, 한 조가 논문을 발표하면 다른 조가 '리뷰어 2'가 되어 비판하는 방식을 택했다.

자주 묻는 질문

관련 AI 소식