로봇 추론과 테스트타임 스케일링 정리 — ETH 취리히 로봇 학습 강의가 짚은 네 가지

핵심 메시지

• 데이터를 더 모으면 행동의 사전 확률은 좋아지지만, 분포 밖 상황을 스스로 헤쳐 나가는 능력은 따라오지 않는다.
• 행동 예측 전에 계획과 위치, 그리퍼 궤적 같은 중간 추론을 생성하게 하자 같은 데이터로 일반화 성능이 약 30% 올랐다.
• 추론의 이득은 대부분 표현 학습에서 오기 때문에, 학습 때만 추론을 쓰고 추론 시점에는 떼어 내 속도를 되찾을 수 있다.
• 테스트 시점 연산은 사전학습과 맞바꿀 수 있는 새로운 확장 축이지만, 모델이 애초에 모르는 답은 아무리 탐색해도 나오지 않는다.
• 멀티모달 환경에서는 최종 답만 채점하면 환각한 추론이 통과하므로, 추론 과정 자체를 검증해야 한다.

쉽게 이해하기

ETH 취리히의 로봇 학습 강의에서 오이어 메스는 지금 이 분야의 최전선으로 체화된 추론과 테스트 시점 연산 확장을 꼽았다. 그는 데이터가 중요하지 않다는 말이 아니라고 못 박으면서도, 데이터가 주는 것은 시연 분포를 가중치 안에 압축한 사전 확률일 뿐이라고 정리했다. 많은 작업을 해내는 로봇을 만들어도 지능적으로 판단하지 못하면 쓸모가 크지 않다는 것이다.

첫 사례는 체화된 사고 사슬이다. 이미지와 지시에서 곧바로 행동으로 가지 않고, 계획과 하위 작업, 대상 물체의 위치, 그리퍼가 앞으로 그릴 궤적 같은 중간 추론을 먼저 만들게 한다. 이 주석은 사람이 달 수 없으니 인터넷 규모의 파운데이션 모델로 기존 로봇 데이터에 자동으로 붙였다. 결과는 같은 원격조종 데이터로 오픈VLA 대비 약 30% 향상이었고, 550억 파라미터의 구글 RT2-X보다 70억 파라미터 모델이 더 나은 성적을 냈다.

부수 효과도 있었다. 추론 단계가 사람이 읽을 수 있는 형태라 실패 원인을 볼 수 있고, 실행 도중 잘못된 계획을 사람이 고치면 행동 토큰이 그 수정에 조건화되어 스스로 궤도를 되찾는다. 한 번도 본 적 없는 로봇의 데이터에도 그럴듯한 추론을 만들어 냈는데, 추론 과제가 비전-언어 모델의 사전학습 과제와 비슷해 이미 안에 있던 능력이 열린 것에 가깝다는 설명이었다.

문제는 속도였다. 초당 네 번 행동하던 70억 파라미터 모델이 추론을 붙이자 한 번 행동에 4초가 걸렸다. 강연자는 왜 이 방법이 통하는지부터 따져야 한다며 세 가지 가설을 소개했다. 표현 학습이 좋아진다는 것, 어려운 과제로 가는 학습 커리큘럼 역할을 한다는 것, 그리고 토큰이 늘어난 만큼 계산 여유가 생긴다는 것이다. 실험 결과 의미 없는 토큰만 늘리는 방식은 오히려 손해였고, 추론으로 먼저 사전학습한 뒤 행동만 예측하게 하거나 학습 중 추론을 확률적으로 떼어 내는 방식이 원래 성능에 가까우면서 속도는 그대로였다.

후반부는 테스트 시점 연산 확장으로 넘어간다. 알파고에서 탐색 없이 3,000 엘로였던 정책망이 몬테카를로 트리 탐색을 붙이자 5,000점을 넘었고, 언어 모델에서도 같은 연산량이라면 작은 모델을 오래 생각하게 하는 편이 14배 큰 모델보다 나았다. 다만 어려운 문제에서는 결과가 뒤집혔는데, 테스트 시점 연산은 모델이 이미 가진 것을 증폭할 뿐이어서 정답이 분포 안에 아예 없으면 탐색이 소용없기 때문이다.

강의는 네 가지 정리로 끝난다. 테스트 시점 연산은 사전학습과 맞바꿀 수 있는 새 확장 축이라는 것, 연속 제어에서는 추론을 학습에 내재화하고 실행 시점에는 떼어 내도 된다는 것, 강화학습은 보상을 최대화하는 최선의 전략이 추론이기 때문에 추론을 스스로 발현시킨다는 것, 그리고 멀티모달 에이전트에서는 답만이 아니라 추론 과정도 검증해야 환각을 막을 수 있다는 것이다.

주요 인사이트

• 성능 향상의 원인을 따지지 않으면 언제 실패할지도 모른다는 태도가 강의 전반을 관통한다. 실험이 성공했을 때도 실패했을 때와 같은 엄밀함을 적용해야 한다는 것이다.
• 추론을 학습에 쓰되 실행에서 떼어 내는 설계는, 정확도와 지연시간을 동시에 요구하는 현장 시스템 전반에 옮겨 쓸 수 있는 발상이다.
• 강화학습이 추론을 만들어 내려면 기반 모델이 어려운 문제를 가끔은 맞히는 수준이어야 한다. 강화할 좋은 시도가 없으면 학습은 출발조차 하지 못한다.
• 비전 과제에서는 환각한 설명과 맞는 답이 동시에 나올 수 있어, 답만 보상하는 방식이 무너진다. 중간 근거의 위치까지 채점하는 접근이 필요해진다.
• 고수준 계획은 강화학습으로 훈련한 추론이, 저수준 제어는 내재화된 추론이 맡는 2단 구조가 로봇 정책의 현실적인 그림으로 제시됐다.

자주 묻는 질문

관련 AI 소식