피지컬 AI와 휴머노이드 로봇: 강화학습 보행이 바꾼 것과 한국이 뒤처진 진짜 이유

핵심 메시지

• 휴머노이드의 하체는 강화학습, 상체는 모방학습 기반의 로봇 파운데이션 모델이라는 두 축으로 나뉜다.
• 과거의 모델 기반 제어는 계획대로 흘러갈 때는 정교하지만, 마찰이나 1cm 오차처럼 계획을 벗어난 상황에 취약했다.
• 걷기 학습에 필요한 계산 자원 자체는 크지 않고, 실제 병목은 실험할 로봇과 로보틱스·AI를 함께 아는 인재였다.
• 상체 조작은 이미지를 넣으면 행동이 나오는 구조로, 생성형 AI의 입출력 경계가 허물어진 흐름이 그대로 로봇에 옮겨 왔다.
• 블록을 좌우로 분류하는 단순 작업 하나를 학습시키는 데도 발표자 회사는 GPU 임대료로 5천만 원을 썼다.

쉽게 이해하기

발표자는 휴머노이드에 들어가는 피지컬 AI 기술을 하체의 보행과 상체의 조작으로 나눠 설명한다. 예전에는 로봇을 걷게 하려면 발바닥의 접지면을 정의하고 무게중심 궤적을 그 안에 유지시키는 식으로, 사람이 모든 상황을 수식으로 모델링해야 했다. 이 방식으로 정점에 오른 곳이 보스턴 다이내믹스였고, 실제로 발바닥의 미래 궤적을 미리 계산해 움직이는 제어를 매우 잘했다.

문제는 계획이 어긋나는 순간이었다. 밸브를 잡지 못했는데 잡았다고 판단하면 돌리려다 넘어지고, 점프할 때 1cm가 모자라면 대형 사고가 난다. 미끄러짐 같은 변수를 하나씩 모델에 넣다 보면 모델이 끝없이 커진다. 여기서 강화학습으로 넘어가면서, 최근에는 밀치고 괴롭혀도 벌떡 일어나 춤추고 공중제비를 도는 로봇 영상이 흔해졌다.

발표자는 강화학습을 그네에 비유한다. 네 살 아이가 2년 뒤 서서 그네를 잘 타게 되는 것은 위치 에너지와 운동 에너지를 계산해서가 아니라 경험이 쌓였기 때문이고, 로봇은 그 경험을 시뮬레이션에서 빠르게 축적한다. 관절 30여 개와 관성 센서를 합친 40개 남짓의 입력을 넣으면 30개 관절 명령이 나오는 정도의 작은 신경망이라, 학습이 끝난 뒤에는 로봇에 탑재해 CPU 수준으로도 돌릴 수 있다.

그렇다면 왜 한국은 더뎠나. 발표자는 학습에 필요한 계산 자원은 수백만 원대 GPU 한 대면 될 정도라며, 진짜 문제는 실험할 로봇이 없었다는 점을 든다. 휴머노이드 하드웨어는 사실상 특정 중국 업체가 공급을 독점하다시피 해 미국도 한국도 그 로봇을 사서 쓰고, 로보틱스와 AI를 함께 아는 인재는 실리콘밸리와 중국으로 빠져나간다. 하드웨어 쪽에서는 감속비를 낮춰 거의 직접 구동에 가깝게 만든 모터 개념이 등장하면서 시뮬레이션과 실제의 간극이 줄었고, 이것이 미국·중국의 속도를 앞당겼다는 설명이다.

상체는 이야기가 다르다. 텍스트를 넣으면 텍스트가 나오던 생성형 AI가 그림, 음성, 영상, 코드까지 입출력의 경계를 지우자, 로봇도 1인칭 이미지를 넣으면 행동이 나오게 하자는 발상이 자연스러워졌다. 발표자 회사는 스테레오 카메라 세 대를 달고 사람이 직접 수천 번 시연해 데이터를 모은 뒤 GPU 여덟 장으로 일주일씩 학습시켜 블록 분류를 성공시켰지만, 시연자의 습관이 그대로 반영되어 오른손잡이 로봇이 되거나, 이미지만으로는 상황을 혼동해 멀티모달 입력으로 넘어가야 했다. 발표는 휴머노이드가 이제야 기술 사이클의 '봄'에 들어섰다는 비유로 마무리된다.

주요 인사이트

• 휴머노이드의 도약은 새 하드웨어보다 학습 패러다임의 교체에서 왔다. 사람이 모든 상황을 수식으로 적던 제어가, 시뮬레이션에서 경험을 쌓는 방식으로 바뀌면서 예외 상황에 강해졌다.
• 보행 정책은 입력 40개·출력 30개 수준의 작은 모델이라는 점이 중요하다. 거대 모델이 아니어도 로봇 위에서 실시간으로 돌 수 있어야 실제 제품이 된다.
• 국내 격차의 원인이 돈이나 알고리즘이 아니라 '실험할 로봇'과 사람이었다는 진단은, 지원 정책의 초점이 어디여야 하는지를 시사한다.
• 모방학습 데이터는 사람이 몸으로 만든 것이라 시연자의 버릇과 속도가 그대로 모델에 새겨진다. 데이터 수집 설계가 곧 로봇의 성격이 된다.

자주 묻는 질문

관련 AI 소식