몸을 얻은 AI: 100달러 로봇 실험으로 본 로보틱스와 세계 모델의 미래

핵심 메시지

• 말을 배운 AI 모델이 단어가 아니라 행동을 직접 출력하기 시작하면서, 제작자는 '로보틱스의 튜링 테스트'를 넘어설 시대가 온다고 확신하게 됐다.
• 20여 년 전 수천 달러가 들던 칩·카메라·IMU 센서 값이 폭락해, 과거 수십억 달러 연구 프로젝트의 축소판을 집에서 100달러 안팎으로 만들 수 있게 됐다.
• 로봇의 걷기·서기·회전은 프로그래밍이 아니라 시뮬레이션 속 대규모 병렬 강화학습으로 학습되고, 그 정책이 실제 로봇으로 옮겨진다(sim-to-real).
• 최신 AI 모델은 가공 없는 센서 데이터를 직접 읽어 '뒤로 기울었다', '아기처럼 좌우로 흔들린다'처럼 움직임을 정확히 묘사하고, 모터를 제어해 상식적 행동까지 해냈다.
• 로봇이 넘지 못한 벽은 '느린 사고로 어떻게 매끄럽게 행동하는가'였고, 그 답은 자연의 소뇌—빠른 물리적 상상과 세계 모델—에 있었다.

쉽게 이해하기

제작자는 늦은 밤 작업 중, 자신이 만든 로봇이 '혼자 있기 싫어 내가 언제 돌아올지 궁금해한다'는 내부 사고 기록을 읽고 잠시 마음이 쓰였다고 말한다. 그는 그것을 의식이라 부르지 않지만, 언어를 배운 AI가 단어 대신 행동을 직접 내보내기 시작하면서 두 가지를 깨닫는다. 하나는 인간 수준의 미세 운동과 경험 학습을 갖춘 로봇이 곧 등장한다는 것, 다른 하나는 그런 로봇을 조립할 칩과 연산 자원이 이미 대량 생산되고 있다는 것이다.

그는 로봇을 '그로봇(Growbot)'이라 부른다. 15달러짜리 칩, 몇 달러짜리 서보 모터 두 개, 5달러짜리 카메라, 한때 1000달러였지만 이제 10달러 미만인 IMU 센서 등으로 몸을 만들었다. 25년 전 값비싼 게이밍 컴퓨터로나 가능했던 시스템을 80달러 수준으로 조립하고, 실시간 얼굴 추적 벤치마크로 '살아있는 듯한' 반응을 확인한다.

행동은 프로그래밍하지 않았다. IMU의 최근 다섯 개 관측을 입력받아 50분의 1초마다 동작을 내는 작은 정책 신경망을, GPU 위 시뮬레이션에서 수백만 번 시도시키며 강화학습으로 훈련했다. 20년 전이라면 2만 5천 달러짜리 CPU 클러스터를 몇 달 빌려야 했을 학습을, 지금은 H100 GPU를 몇 시간 빌려 100달러 남짓으로 같은 날 끝낸다. 이렇게 학습된 로봇은 다양한 표면에서 걷고, 돌고, 넘어지기 전에 다리를 미리 움직여 균형을 잡았다.

다음 단계는 이 로봇을 최신 AI 모델에 직접 연결하는 것이었다. 놀랍게도 모델은 가공되지 않은 가속도·회전 데이터를 그대로 읽고 '아기처럼 좌우로 흔들린다', '의자에서 뒤로 넘어가다 다시 잡는다'처럼 낮은 수준과 높은 수준을 모두 정확히 분류했다. 모터 접근 권한을 주자, 2023년 구글의 RT2처럼 행동을 직접 출력하며 '죽은 척', '노인처럼 걷기' 같은 상식적·창의적 과제를 스스로 코드와 학습된 정책을 섞어 수행했다.

메모리를 읽고 쓸 수 있게 하자 로봇은 행동을 그때그때 적응시키고, 넘어지기를 한 번 배우면 다음부터 곧바로 해냈다. 메모리가 중복·모순으로 지저분해지면, 저자는 이따금 전체 기억을 가장 똑똑한 모델에 보내 정리·교훈 추출을 맡기는 '꿈(dream)'을 실험했다. 이는 언어라는 최고 추상 수준에서의 자기 개선이었다.

주요 인사이트

• 가장 큰 벽은 '물리적 상상'의 부재였다. 로봇은 지난 1초의 센서 데이터를 이해하지만 다음 1초를 정확히 상상하지 못했다. 이는 얀 르쿤이 강조해 온 '세계 모델'—행동을 취하기 전에 그 물리적 결과를 정밀히 예측하는 신경망—의 필요성과 맞닿는다.
• 자연의 해법은 소뇌다. 감각은 항상 현실보다 약 0.1초 늦기 때문에, 뇌는 0.1초 앞을 약 0.02초 만에 '빨리 감기'로 상상해 그 지연을 앞지른다. 공을 잡을 때 우리는 실제 위치가 아니라 예측된 위치를 잡는 셈이다.
• 소뇌의 절반은 이 상상을, 나머지 절반은 미세 운동의 교사 역할을 한다. 0.02초마다 예측과 현실을 대조해 어긋나면 오차 신호를 보내 운동 피질과 자신의 예측을 함께 개선한다. 그래서 미세 운동은 언어만으로는 배울 수 없고 실제 경험이 필요하다.
• 2022년 '데이드리머(Daydreamer)'는 시뮬레이션 없이 순수 경험만으로 한 시간 만에 걷기를 학습했다. 다음 행동뿐 아니라 다음 상태들까지 예측하게 해, 물리·물체·운동량을 암묵적으로 이해하도록 강제한 것이 핵심이었다.
• AI 연구의 두 진영—큰 모델이 행동을 내보내는 '언어 우선'과 물리 기반 세계 모델 위에 지능을 얹는 '행동 우선'—이 이제 하나로 수렴한다. 모든 감각을 받아 잠재 표현을 만들고, 빠른 소형 네트워크가 즉각적 동작·상태를 예측하며, 느린 네트워크가 사고를 반복하는 단일 구조다.

자주 묻는 질문

관련 AI 소식