휴머노이드 로봇 학습의 병목과 해법: 사람 동작 데이터, 몸을 반영한 신경망, 15분 만의 보행 학습까지

핵심 메시지

• 휴머노이드 학습의 진짜 병목은 관측이 아니라 행동 차원이다. 손이 달린 로봇은 61개 축을 제어해야 하는데, 손을 떼어 19개로 줄이자 같은 알고리즘의 걷기 학습 성능이 눈에 띄게 좋아졌다.
• 사람 동작을 로봇 관절로 옮길 때 자세만 맞추면 팔이 물체에서 10cm 떠 있는 식으로 접촉이 깨진다. 사람·로봇·물체·환경의 점들을 함께 묶어 상호작용까지 보존하는 방식으로 이 문제를 풀었다.
• 이렇게 만든 동작으로 학습한 정책은 무거운 의자를 옮겨 발판으로 삼아 단을 오르고, 뛰어내린 뒤 낙법으로 충격을 흡수하는 동작까지 해냈다. 이 정책들은 카메라 없이 움직이는 '눈먼' 정책이었다.
• 로봇 몸을 그래프로 보고 이웃한 마디끼리만 주의를 주고받게 만든 신경망은 연산량을 절반 이하로 줄이면서 성능도 함께 올랐다.
• 관심사는 샘플 효율에서 벽시계 시간으로 옮겨갔다. 오프폴리시 알고리즘을 대규모 병렬 시뮬레이션에 맞게 재조합하자 보급형 GPU 한 장으로 15분 만에 보행 정책을 학습했다.

쉽게 이해하기

UC 버클리 EMBER 세미나에서 카를로 스페라차(Carlo Sferrazza)는 휴머노이드 로봇 학습이 다른 로봇 학습과 무엇이 다른지를 주제로 발표했다. 그는 최근 몇 년 사이 사람 형태와 사람 손을 그대로 본뜬 로봇이 쏟아진 흐름을 'AI 겨울'에 빗대 '휴머노이드 여름'이라 불렀다. 사람 형태를 고집하는 이유는 분명하다. 사람이 쓰라고 만든 환경과 도구를 그대로 쓸 수 있고, 사람과 몸 구조가 비슷해 사람의 동작 데이터를 그대로 참고할 수 있기 때문이다.

문제는 그만큼 배우기 어렵다는 점이다. 그가 참여한 벤치마크에서는 이동과 조작을 함께 요구하는 과제 대부분에서 최신 강화학습 알고리즘이 무너졌다. 원인을 파고들어 얻은 결론은 알고리즘이 큰 행동 공간을 감당하지 못한다는 것이었다. 실제로 손을 포함하면 61차원인 행동 공간을 손을 떼어 19차원으로 줄이자 걷기 학습의 누적 보상이 뚜렷하게 개선됐다. 그동안 강화학습은 픽셀처럼 큰 관측 공간은 다뤄봤지만 행동 차원은 많아야 10~20개 수준이었고, 여기서 격차가 벌어진다는 설명이다.

그의 가설은 두 가지가 함께 필요하다는 것이다. 하나는 사람과 물리 법칙에서 오는 사전지식으로 학습을 안내하는 '구조', 다른 하나는 학습 자체를 빠르게 만드는 '가속'이다. 구조 쪽의 출발점은 사람 동작 데이터다. 모션캡처로 얻은 사람 동작을 로봇 관절 공간으로 옮기고(리타기팅), 시뮬레이션에서 추종 제어기를 학습시킨 뒤 실제 로봇으로 옮기는 방식은 이미 널리 쓰인다. 다만 자세만 맞추는 소박한 리타기팅은 로봇의 팔다리 비율과 관절 한계가 사람과 달라 환경 맥락을 통째로 놓친다. 팔이 물체를 10cm 비껴가 접촉이 사라지는 식이다.

그래서 이들은 사람과 로봇뿐 아니라 물체와 바닥에도 점을 찍어 하나의 상호작용 그물망으로 묶고, 그 형태 변형의 차이를 최소화하는 최적화 문제로 리타기팅을 다시 정의했다. 자세가 아니라 접촉 관계를 보존하는 것이 핵심이다. 최적화 문제로 정리해 둔 덕에 로봇의 초기 위치나 물체 크기를 바꿔 데이터를 늘리는 것도 가능해졌다. 이렇게 만든 참조 동작으로 학습한 정책은 크기가 제각각인 상자를 집어 들고, 높이가 다른 단에 올라서고, 무거운 의자를 끌어와 발판 삼아 올라선 뒤 뛰어내려 낙법으로 착지 충격을 흡수했다. 발표자가 짚은 대목은 이 정책들이 모두 시각 정보 없이 움직이는 '눈먼' 정책이라는 점이다.

이어 공개한 후속 연구는 이 낱개 동작들을 이어 붙여 하나의 정책으로 만든다. 컴퓨터 그래픽스에서 쓰던 모션 매칭으로 '이동 → 장애물 통과 기술 → 이동' 형태의 긴 동작을 합성하고, 정답 지형 정보와 참조 동작을 아는 여러 교사 정책을 강화학습으로 학습시킨 뒤, 자기 몸 감각과 깊이 영상만 보는 학생 정책 하나로 증류했다. 증류에는 모방학습과 강화학습 손실을 함께 썼는데, 모방 손실만으로는 발판 꼭대기에 닿을 만큼 큰 힘을 주는 것과 모자란 힘을 주는 것을 구분하지 못하기 때문이다. 결과는 정해진 코스에 맞춰 짜인 동작이 아니라, 장애물 배치가 바뀌어도 깊이 영상을 보고 그때그때 대응하는 정책이었다.

가속 쪽에서는 신경망 구조와 알고리즘, 시뮬레이션 기반이 함께 다뤄졌다. 로봇 몸을 그래프로 보고 센서와 구동기를 각 마디에 배치한 뒤, 각 층에서 자기 자신과 바로 옆 마디에만 주의를 주도록 트랜스포머를 제한한 구조는 연산량을 두 배 이상 줄이면서도 성능이 떨어지지 않았고, 오히려 과적합이 덜했다. 알고리즘 쪽에서는 GPU 가속 시뮬레이션이 보급되면서 관심이 '샘플을 몇 개 쓰느냐'에서 '실제 시간으로 얼마나 빨리 끝나느냐'로 옮겨갔다는 진단이 나왔다. 널리 쓰이는 PPO는 모은 데이터를 한 번 쓰고 버리는 방식이라 현실에서의 미세조정에는 불리하다. 이에 이들은 오프폴리시 알고리즘에 대규모 병렬 환경, 큰 배치, 값 분포 학습 같은 이미 알려진 요소를 다시 조합했고, 보급형 GPU 한 장으로 15분 만에 보행 정책을 학습하는 결과를 얻었다.

주요 인사이트

• 휴머노이드 문제를 '데이터가 부족한 문제'로만 보면 절반만 본 것이다. 손을 떼자 학습이 잘 됐다는 실험은 병목이 자유도, 즉 제어해야 할 축의 개수에 있다는 점을 드러낸다.
• 사전지식을 넣는 것이 종단간 학습을 포기하는 것과 같지 않다는 관점이 일관되게 흐른다. 몸의 구조를 신경망에 반영하거나 진행 방향에 따라 앞뒤 카메라의 중요도를 조절하는 식으로, 탐색 공간을 막지 않으면서 학습을 안내한다.
• 복잡한 동작이 반드시 정교한 알고리즘에서 나오는 것은 아니다. 발표자는 강화학습 쪽은 거의 손대지 않고 참조 동작의 품질만 끌어올려 의자를 밟고 올라가 뛰어내리는 동작을 얻었다고 밝혔다.
• 시뮬레이션이 싸지면서 알고리즘 설계의 목표 자체가 바뀌었다. 데이터를 아끼는 설계보다 병렬성을 최대한 활용해 벽시계 시간을 줄이는 설계가 우선이 됐고, 다만 현실 로봇에서 미세조정하려면 샘플 효율이 다시 중요해진다.
• 발표자가 직접 밝힌 한계가 이 분야의 다음 과제를 그대로 보여준다. 기술 라이브러리에 없는 접촉 상황은 보장할 수 없고, 깊이 영상은 형태만 알려줄 뿐이라 물건이 옮길 수 있는 것인지 깨지기 쉬운 것인지는 판단하지 못한다.

자주 묻는 질문

관련 AI 소식