휴머노이드 행동 파운데이션 모델이란: 엔비디아 기어랩 연구원이 설명한 BFM-0와 소닉의 차이

핵심 메시지

• 행동 파운데이션 모델은 로봇을 실제로 움직이는 저수준 제어를 담당하는 일반화된 정책으로, 이족·사족처럼 제어기 학습이 필요한 로봇에서 특히 화두가 되고 있다.
• BFM-0은 보상 함수를 그대로 던지면 재학습 없이 해당 행동을 만들어 내는 모델로, 순방향·역방향 표현을 쓰는 비지도 강화학습 위에 세워졌다.
• BFM-0에는 학습 중 종료 조건이 없어 로봇이 바닥에서 버둥거리는 상태까지 두루 겪고, 그 결과 넘어졌다 일어나는 전환이 자연스럽다.
• 소닉은 게임용으로 만든 700시간 분량 모션 캡처를 그대로 밀어붙인 모션 트래킹 모델로, 데이터·모델 크기·연산을 함께 키워야 성능이 올랐다.
• 발표자는 BFM-0을 흥미로운 연구, 소닉을 실전에 가까운 방식으로 구분하며 정밀도가 필요한 곳에는 모션 트래킹을 다시 섞어야 한다고 봤다.

쉽게 이해하기

엔비디아 기어랩 연구원 젠 루오가 UC버클리 EMBER 센터 세미나에서 휴머노이드용 행동 파운데이션 모델을 주제로 발표했다. 언어 모델이 텍스트를 다루듯, 행동 파운데이션 모델은 움직이는 환경 속 에이전트를 제어하는 일반화 모델을 뜻한다. 그는 이 개념이 유독 휴머노이드 분야에서 뜨거운 이유로, 바퀴형 로봇과 달리 이족·사족 로봇은 제어기 자체를 학습으로 만들어야 한다는 점을 들었다.

첫 번째 모델 BFM-0은 인터페이스 문제에서 출발했다. 지금까지 휴머노이드에 지시를 내리는 방법은 대개 목표 자세나 상태를 지정하는 모션 트래킹이었는데, 원하는 자세를 만들어 내는 일 자체가 아직 풀리지 않은 문제다. 언어는 직관적이지만 '손을 몇 센티미터 옮기라'는 식의 정밀도를 담지 못한다. BFM-0의 답은 보상 함수였다. 골반 높이나 이동 속도 같은 조건을 수식으로 적어 넣으면 재학습 없이 그 행동이 사람다운 움직임으로 나온다.

이 능력은 메타 FAIR 연구진이 여러 해 쌓아 온 순방향·역방향 표현 위에 있다. 정책은 잠재 코드에 조건화되고, 순방향 함수와 역방향 함수의 내적이 미래 상태 방문 분포를 근사한다. 보상을 정의하면 이 구조에서 Q 함수를 풀어낼 수 있고, 상태 묶음을 보상으로 가중해 잠재 코드를 계산하면 그 보상을 최적화하는 정책이 곧바로 나온다. 다만 순수 비지도 학습만으로는 사람다운 움직임이 나오지 않아, 모션 캡처를 쓰는 판별기와 실기 이식용 보조 보상을 함께 얹었다.

두 번째 모델 소닉은 방향이 반대다. 새로운 패러다임 대신 모션 트래킹을 극단까지 키웠다. 학계 최대 데이터셋이 수십 시간 수준일 때, 게임 제작용으로 만들어진 사내 모션 캡처 700시간을 끌어와 35만 개 시퀀스를 학습했다. 흥미로운 점은 GPU를 8장에서 64장으로 늘리면 학습이 빨라지는 데 그치지 않고 최종 성능 자체가 좋아졌다는 관찰이다. 데이터, 모델 크기, 연산 세 가지를 함께 키워야 최선의 결과가 나왔다고 했다.

소닉이 중요한 이유는 원격 조작에 있다. 게임패드, VR 헤드셋, 영상 기반 자세 추정 등 서로 다른 입력을 각각의 인코더로 받아 하나의 잠재 토큰 공간에 담았기 때문에, 사람 동작을 리타기팅 없이 그대로 로봇 동작으로 옮길 수 있다. 이렇게 모은 전신 원격 조작 데이터로 기어랩의 그루트 모델을 미세 조정해 물건을 집고 놓는 작업까지 연결했다. 발표자는 최근 화제가 된 피규어의 휴머노이드 시연 역시 대규모 모션 트래킹이 뒷받침한 사례로 보인다고 덧붙였다.

주요 인사이트

• 제어 모델의 진짜 병목은 성능이 아니라 인터페이스다. 사람이 원하는 동작을 어떤 형식으로 전달할지가 자세, 언어, 보상 함수 사이에서 아직 정해지지 않았다.
• 종료 조건 없이 학습해 실패 상태까지 폭넓게 겪게 하면, 넘어진 뒤 일어나는 것 같은 상태 전환이 따로 설계하지 않아도 자연스러워진다.
• 규모 확장은 데이터만의 문제가 아니었다. 같은 데이터라도 GPU 수와 모델 크기를 함께 키웠을 때 도달하는 성능 수준 자체가 달라졌다.
• 모션 트래킹이 좋아지면 원격 조작으로 데이터를 모으기 쉬워지고, 그 데이터가 상위 로봇 파운데이션 모델을 학습시키는 순환 구조가 만들어진다.
• 발표자는 계획 수립과 동작 생성이 저수준 제어와 아직 끊겨 있다는 점을 남은 과제로 꼽았다. 현재의 동작 생성기는 로봇의 실제 상태를 모르는 개루프에 가깝다.

자주 묻는 질문

관련 AI 소식