로봇공학 난제 정리: 심투리얼 격차와 로봇 메모리, 월드 액션 모델까지 YC 페이퍼클럽 요약

핵심 메시지

• 알파고, 무조코, 대규모 원격조작 데이터 수집, 확산 정책이 나올 때마다 '내년이면 로봇이 해결된다'는 말이 반복됐지만 2026년 중반까지도 가정용 로봇은 등장하지 않았다.
• 발표자는 남은 난관을 물리 세계 모델링(심투리얼 격차), 행동 표현, 감각운동 능력, 임보디먼트 드리프트 네 가지로 정리했다.
• 현재 널리 쓰이는 로봇 정책 대부분에 메모리가 없어, 설거지를 끝없이 반복하거나 음식을 태우는 실패가 나온다는 지적이 나왔다.
• 추론을 무조건 많이 시키는 것보다 그 로봇의 몸에 맞는 추론만 골라 쓰는 '선택적 추론'이 성능을 더 끌어올렸다.
• 미래 영상을 통째로 생성하는 월드 액션 모델은 성능은 좋지만 로봇 한 대에 최고급 GPU 두 장이 필요해 경제성이 발목을 잡는다.

쉽게 이해하기

행사를 연 진행자는 자신의 경력에서 '내년이면 로봇공학이 해결된다'는 말을 들은 것이 이번이 열 번째라고 농담했다. 알파고가 나왔을 때도, 시뮬레이터로 로봇을 걷게 만들었을 때도, 양팔 원격조작 데이터 수집 방식이 화제가 됐을 때도 사람들은 이제 알고리즘은 나왔고 규모만 키우면 된다고 말했다. 그러나 2026년이 절반 넘게 지난 시점에도 살 수 있는 가정용 로봇은 없고, 대신 데모만 쏟아지는 해가 되고 있다는 것이다.

그가 꼽은 첫 번째 벽은 물리 세계 모델링이다. 영상 기반 세계 모델을 자동차 주행 같은 과제에 붙이면 물리 법칙을 제대로 지키지 않아, 가게로 돌진해도 화면이 슬며시 고속도로로 바뀌는 식의 오류가 난다. 여기에 행동을 조건으로 붙이면 필요한 데이터량이 급격히 늘어나 상황은 더 나빠진다. 두 번째 벽인 행동 표현, 즉 로봇의 행동 공간을 어떻게 나타낼 것인가도 여전히 열린 문제로 남아 있다.

세 번째 벽은 충분히 논의되지 않는 감각운동 문제다. 사람의 피부는 수직력과 접선력, 습기, 온도, 진동을 감지하고 마찰계수까지 가늠하지만, 로봇은 손끝마다 작은 힘 센서 하나와 손목 카메라 정도가 최선이다. 가방에 손을 넣어 더듬는 것만으로 충전기를 찾아내는 일을 로봇이 못 하는 이유다. 네 번째는 임보디먼트 드리프트로, 구동기에 먼지가 끼고 부식되며 배터리 출력이 달라지면 같은 명령에 실제로 실려 나가는 힘이 달라지고, 그동안 모아 둔 원격조작 데이터가 낡아 재수집과 재학습이 필요해진다.

이어진 발표들은 각자의 방식으로 이 벽에 부딪힌다. 스탠퍼드의 한 발표자는 지금의 로봇 정책 대부분이 매 순간 새 관측만 받고 이전 맥락을 전혀 모른다는 점을 지적하며, 설거지를 끝없이 계속하거나 그릴드 치즈를 새까맣게 태우는 영상을 보여 줬다. 그의 해법은 메모리를 압축해 두 층으로 나누는 것이다. 정밀한 손동작에 필요한 짧은 시각 기억은 시간 방향 어텐션을 넣은 인코더로 압축해 저수준 정책에 주고, 지난 몇 분의 사건은 글로 요약한 장기 기억으로 만들어 고수준 정책에 넘긴다. 그 결과 치즈가 익을 때까지 기다리거나 창을 닦다가 멈출 줄 아는 정책, 그리고 무엇보다 실수한 뒤 스스로 방식을 바꾸는 맥락 내 적응이 나타났다.

다른 발표는 로봇에게 '무엇을 생각하게 할 것인가'를 물었다. 연구팀은 추론 과정을 관측되지 않는 잠재 변수로 두고, 후보 추론을 생성하는 모델과 간결성·비자명성·행동 예측력으로 점수를 매기는 검증자를 돌려 몸에 맞는 추론만 남겼다. 조작 로봇에서는 이동과 그리퍼 위치에 대한 추론이 유용했고 장면 속 모든 물체를 나열하는 지각적 추론은 오히려 방해가 됐으며, 보행 내비게이션에서는 구조적 어포던스가 지형 묘사보다 중요했다. 결론은 망라적 추론보다 선택적 추론이라는 것이다.

세 번째 발표는 원격조작을 아예 건너뛴다. 시뮬레이션에서만 강화학습으로 훈련한 단일 정책이 22자유도 손과 7자유도 팔을 60Hz로 제어하며, 학습 중 본 적 없는 12가지 도구를 제로샷으로 다뤘다. 핵심은 도구 사용을 작업 이름이 아니라 '물체를 현재 자세에서 목표 자세로 옮기기'라는 하나의 목표 도달 문제로 통일한 것이다. 추론 시점에는 사람 시연 영상에서 목표 자세 열만 뽑아 정책이 따라가게 하므로, 새 작업은 새 학습이 아니라 새 목표 열이 된다. 실패의 60% 남짓이 물체 자세 추적 오류였고, 시뮬레이션에서 무작위로 물체를 밀어 떨어뜨린 덕에 망치를 놓쳐도 다시 집어 드는 복구 행동이 덤으로 생겼다.

마지막 두 발표는 현실 감각을 더한다. 한 창업자는 범용 파운데이션 모델부터 만들려 하지 말고, 돈을 내는 고객 문제 하나를 원격조작과 기성 하드웨어로 먼저 해결한 뒤 자동화 비율을 올리라고 권했다. 고객 환경 복제본을 사무실에 두고 반복 가능한 평가 기준을 직접 만드는 일이 학습의 등뼈이며, 데이터를 다 모은 뒤 나중에 학습하는 것은 큰 실수라고 했다. 다른 팀은 미래 영상과 미래 기구학을 함께 예측하는 월드 액션 모델의 비용 문제를 지적했다. 성능은 좋지만 16프레임 한 덩이를 만들려고 확산 트랜스포머를 수십 번 돌려야 해, 최적화 후에도 로봇 한 대에 7만 달러짜리 GPU 두 장이 필요하다는 것이다.

주요 인사이트

• '알고리즘은 나왔고 규모만 키우면 된다'는 서사가 10년간 반복됐다는 사실 자체가, 병목이 알고리즘이 아니라 데이터 수집과 하드웨어 감각에 있음을 보여 준다.
• 메모리가 없는 정책은 실수를 고칠 수단도 없다. 같은 자리에서 젓가락을 계속 놓치는 로봇과, 한 번 실패한 뒤 더 낮게 내려가 집어 드는 로봇의 차이가 곧 메모리의 유무였다.
• 텍스트로 기억을 쓰는 방식은 사람의 기억과 다르지만, 감독하고 디버깅할 수 있다는 실용적 장점 때문에 현재로서는 가장 현실적인 선택이라고 발표자는 설명했다.
• 추론은 많을수록 좋은 것이 아니라 예산을 두고 배분해야 할 자원이다. 직선 주행처럼 아무 일도 없는 순간에 매번 계획을 세우면 지연만 늘어난다.
• 시뮬레이션에서 무작위 외력을 넣은 도메인 랜덤화가 의도치 않게 '떨어뜨리면 다시 집는' 복구 능력을 만들어 냈다. 훈련 중 실패를 겪게 하는 설계가 견고함으로 이어진 사례다.
• 실제 로봇 평가는 100회쯤 돌리지 않으면 통계적으로 의미 있는 수치가 안 나와, 시뮬레이션 자동 평가와 사람의 판단을 함께 쓸 수밖에 없다는 현장의 고충도 공유됐다.

자주 묻는 질문

관련 AI 소식