로봇 보행 제어와 단순함의 미덕: 무작위 샘플링 MPC와 단일 선형 모델이 휴머노이드를 걷게 하다

핵심 메시지

• 발표자는 마찰과 충돌 검사, 물리 시뮬레이션, 상태 추정, 제어를 모두 최적화 문제로 놓고 서로 끼워 넣는 '조합 가능한 최적화' 연구를 수년간 밀어붙였다.
• 부등식 제약을 로그 배리어로 매끄럽게 만들면 음함수 정리로 도함수를 뽑을 수 있어, 최적화 문제 하나를 그냥 미분 가능한 함수처럼 다른 문제 안에 넣을 수 있다는 것이 그 스택의 핵심 장치였다.
• 그러나 그는 이 방식이 학생을 훈련시키기도 남이 구현하기도 너무 어렵다고 인정하고, 정말 이렇게까지 복잡해야 했는지 스스로 되물었다. 답은 아니라는 쪽이었다.
• 짧은 지평의 제어 궤적을 무작위로 뽑아 굴려보고 가장 좋은 것을 실행하는 '예측 샘플링'만으로 사족보행 로봇이 걷고 상자를 밀었다. 접촉을 특별히 다루는 장치는 전혀 없다.
• 서 있는 자세 한 곳에서 전신 동역학을 선형화한 단일 LTI 모델과 QP만으로 사족보행 로봇과 오래된 유압식 휴머노이드가 모두 걸었다.

쉽게 이해하기

발표는 화성 탐사 로버 이야기로 시작한다. 13년 동안 36km를 달린 것은 놀랍지만 나눠 보면 하루 7.5m이고, 몇 도 넘는 경사나 큰 바위를 만나면 멈춰 서서 지구에 도움을 청한다. 그러면 엔지니어들이 JPL의 모래밭에서 주변 환경을 재현하고 궤적을 손으로 설계해 리허설한 뒤에야 명령을 올려보내므로, 금요일 밤에 막히면 수십억 달러짜리 장비가 월요일까지 그대로 서 있게 된다.

그 뒤로 발표자는 자기 연구실이 지난 5~6년간 해온 일을 훑는데, 관통하는 관점은 '모든 것은 최적화'다. 상태와 제어, 모델, 제약, 비용함수를 적고 이산화해 수치 최적화로 푸는 최적제어 문제가 출발점이고, 연구의 상당 부분은 그 문제를 온라인에서 빠르게 푸는 솔버에 들어갔다. 한쪽 끝에서는 180MHz급 ARM 마이크로컨트롤러에서 200Hz로 도는 MPC를 만들었고, 반대쪽 끝에서는 GPU 병렬화로 아틀라스급 로봇의 전신 동역학을 2kHz로 푸는 데까지 갔다. GPU 쪽 트릭이 특히 재미있는데, 그는 QP 솔버를 학습 없이 해석적으로 가중치를 공유하는 ReLU 네트워크로 바꿔 썼다.

ADMM 한 번의 반복에서 선형계를 푸는 부분은 미리 인수분해해 두면 행렬-벡터 곱이 되고 양의 직교체에 대한 근접 연산자는 값을 잘라내는 연산이라 ReLU 활성화와 정확히 같으니, 반복 한 번이 층 하나가 되고 스무 번 반복하고 싶으면 스무 층을 쌓아 파이토치로 추론하듯 돌리면 된다. 물리 자체도 같은 방식으로 다뤘다. 최소작용 원리를 궤적 최적화로 읽으면 라그랑지언이 단계 비용이 되고, 그러면 부등식 제약을 그대로 얹을 수 있다. 덕분에 벽돌이 책상을 뚫을 수 없다는 제약의 그래디언트가 법선 방향이 되고 라그랑주 승수가 수직항력이 되므로, 어설픈 스프링-댐퍼 접촉 모델이나 뻣뻣한 미분방정식을 걱정할 필요가 없다. 쿨롱 마찰은 마찰원뿔 안에서 운동에너지를 가장 많이 빼앗는 힘이라는 최대 소산 원리로, 충돌 검사는 두 볼록 물체를 균일 배율로 부풀리거나 줄여 딱 한 점에서 닿게 하는 문제로 옮겨 놓았다. 이 배율이 1보다 크면 떨어져 있고 1이면 접촉, 1보다 작으면 겹쳐 있는 것이라 모든 경우가 한 식으로 덮이고 미분도 깔끔하다.

그런데 발표의 후반부는 이 아름다운 스택에 대한 자기반성이다. 수학도 솔버 구현도 어려워 학생을 그 위에 올려놓기 힘들고 따라 만들려던 사람들도 고전했으니, 정말 이렇게까지 복잡해야 했는지 다시 물었다는 것이다. 그래서 눈을 돌린 것이 예측 샘플링으로, 짧은 지평의 제어 궤적을 무작위로 여러 개 뽑아 전부 굴려본 뒤 비용이 가장 낮은 하나의 첫 스텝만 실행하고 다음 순간에는 직전 최선값을 중심으로 다시 뽑는 방식이다. 그래디언트를 쓰지 않으니 접촉의 비매끄러움을 다룰 장치가 아예 필요 없고, 제어 궤적을 3차 스플라인으로 매개화해 수십 개 샘플만으로 약 100Hz에서 돌렸는데도 비용함수가 '상자가 목표 지점에 있을 것' 하나뿐인 상태에서 로봇이 머리로 상자를 밀어붙이는 행동이 그냥 튀어나왔다.

마지막 주장은 선형 모델을 어디까지 밀 수 있느냐다. 평범한 보행에서 관절 각도 변화가 기껏해야 ±10~15도라 소각 근사 안에 들어가므로, 서 있는 기준 자세 한 곳에서 전신을 선형화한 시불변 모델 하나와 QP만으로 사족보행 로봇이 걷고 목표 자세까지 일어나 이동했으며 구동기 특성이 나쁜 오래된 유압식 휴머노이드도 같은 방식으로 걸었다. 요각이 크게 도는 문제는 항공우주 쪽 관행대로 동역학과 오차를 동체 좌표계에서 기술해 넘겼고, 선형 모델이라 행렬 인수분해를 미리 계산해 둘 수 있어 kHz급 피드백도 가능하다.

주요 인사이트

• 알고리즘이 아니라 계산기가 문제였던 사례가 인상적이다. 반복적 LQR이나 미분 동적 계획법은 10년도 더 된 교과서 수준의 방법인데, 발표자는 이제야 실기에서 실시간으로 도는 이유를 GPU뿐 아니라 CPU도 훨씬 빨라졌기 때문이라고 봤다.
• QP 솔버를 ReLU 네트워크로 바꾸는 트릭은 '최적화를 신경망으로 근사한다'가 아니라 그 반대다. 학습은 전혀 없고, 최적화 반복이 원래 그 모양이라는 사실을 이용해 하드웨어를 갈아탄 것에 가깝다.
• 그가 방향을 튼 계기로 든 것은 선형 정책과 그래디언트 없는 가장 단순한 무작위 탐색만으로 당시 강화학습 최고 성능에 필적한 2018년 결과 같은 논문들이었고, 그의 정리는 단순한 것을 되게 하려면 오히려 정말 영리해야 한다는 쪽이었다. 다만 단순한 방법이 통한다는 말이 정교한 도구를 버리자는 뜻은 아니다. 발표자는 딥러닝 정책도 어떤 동작점 주변에서는 국소적으로 선형이므로, 고전 선형 시스템 이론과 안정성 분석 도구를 그 위에 그대로 들이대야 한다고 주장했다.
• 픽셀에서 토크를 뽑는 실험에서 학습된 관측기 이득 행렬의 각 행을 이미지로 되돌려 보니, 카트 위치를 갱신하는 행은 아래쪽 카트 근처만, 막대 각도를 갱신하는 행은 막대 위아래의 좁은 띠만 값이 살아 있었다. 가림에 강인한 이유가 성질이 아니라 구조에서 그냥 읽히는 셈이다.
• 그는 데이터 주도 로보틱스에서도 시뮬레이션이 여전히 병목이라고 봤다. 영상만으로는 접촉력 같은 조각이 비어 있어 시뮬레이션으로 메워야 하는데, 연질체나 텍스처가 있는 조작은 아직 잘 다루지 못한다는 것이다.

자주 묻는 질문

관련 AI 소식