로봇 학습과 트랜스포머: 행동 토큰화와 액션 청킹으로 보는 VLA 모델의 작동 원리

핵심 메시지

• 관측 한 장면만 보고 다음 동작 하나를 정하는 '반응형 정책'은 기억이 없고 움직임이 끊겨, 현실 로봇에서 쉽게 무너진다.
• 해법은 로봇 제어를 시퀀스 예측 문제로 다시 정의하는 것이며, 그 도구가 어텐션 기반 트랜스포머다.
• 언어에서 서브워드, 이미지에서 패치가 그랬듯 로봇에게도 적절한 '토큰 단위'를 찾는 일이 성능을 좌우한다.
• 행동을 시간 단계마다 단순히 잘게 쪼개면 고주파 제어에서 학습 신호가 사라져 모델이 직전 동작을 베끼는 함정에 빠진다.
• 주파수 영역 압축으로 행동을 토큰화하자 자기회귀 모델이 초당 50회 제어 같은 정교한 작업까지 소화했다.

쉽게 이해하기

강의는 로봇 정책의 가장 기본적인 한계에서 출발한다. 지금까지 다룬 방식은 카메라 이미지 한 장을 정책에 넣어 다음 동작 하나를 뽑는 구조인데, 현실에서는 한 장면이 상태 전부를 담지 못한다. 빙판길 주행이나 보행자의 움직임처럼 속도와 맥락이 필요한 상황에서는 정지된 이미지만으로 판단할 수 없고, 매 순간 독립적으로 결정을 내리다 보니 궤적이 떨리고 끊긴다.

그래서 강의는 문제를 '다음 동작 하나 맞히기'에서 '궤적 전체를 모델링하기'로 옮긴다. 확률의 연쇄법칙을 쓰면 아무리 복잡한 결합분포도 조건부 확률의 곱으로 분해할 수 있고, 남는 질문은 그 조건부를 무엇으로 계산하느냐다. 순환신경망이 첫 답이었지만 장거리 의존성, 병렬화 불가, 고정 크기 벡터라는 정보 병목 세 가지에 걸렸다. 어텐션은 시퀀스의 어느 두 위치든 한 번에 연결해 이 세 문제를 동시에 푼다.

이어서 강의는 트랜스포머가 규모를 키우며 얻은 것들을 짚는다. 순서 정보를 넣는 위치 인코딩은 절대 방식에서 상대 거리 기반으로, 다시 회전 방식으로 발전했고, 어텐션 행렬을 통째로 저장하지 않는 기법이 긴 시퀀스의 메모리 한계를 풀었다. GPT 계열이 커지며 지시하지 않은 과제를 수행하는 능력과 프롬프트 안의 예시만으로 패턴을 따라 하는 능력이 나타났는데, 이는 설계로 넣은 것이 아니라 규모에서 '창발'했다는 점이 핵심이다.

규모를 어떻게 키울지에 대한 답도 정리된다. 같은 연산 예산이라면 모델 크기와 데이터를 같은 비율로 늘리는 편이 낫고, 파라미터당 대략 20개 토큰이 계산 효율의 기준선으로 제시됐다. 다만 최근 모델들이 이 기준보다 훨씬 많은 데이터로 학습되는 이유는 따로 있다. 수많은 사용자에게 서비스할 때는 학습비보다 추론비가 중요하므로, 일부러 작은 모델을 오래 학습시키는 선택을 한다는 것이다.

마지막 단계가 로봇이다. 이미지가 패치 토큰으로, 텍스트가 서브워드 토큰으로 같은 자리에 들어올 수 있게 되자 로봇 행동도 같은 방식으로 섞자는 발상이 나온다. 연속값인 행동을 분위수로 정규화해 256개 구간으로 나누고 언어 모델 어휘의 잘 안 쓰는 토큰 자리에 덮어쓰면, 구조를 바꾸지 않고도 '다음 토큰 예측'만으로 로봇을 움직일 수 있다.

주요 인사이트

• 움직임이 끊기는 문제의 해법으로 제시된 '액션 청킹'은 다음 한 스텝이 아니라 앞으로의 여러 스텝을 한 번에 예측하는 방식이다. 양팔 로봇 연구에서는 초당 50회 제어, 14개 관절, 100스텝 예측이라는 조건에서 한 번의 순전파로 1,400개 값을 내놓았고, 배터리 삽입처럼 오차 여유가 거의 없는 작업을 매끄럽게 해냈다.
• 긴 청크를 끝까지 실행하면 그동안 로봇이 새 관측을 반영하지 못해 '눈을 감고 움직이는' 구간이 생긴다. 매 스텝 다시 질의해 겹치는 예측들을 지수적으로 감쇠하는 가중치로 합치면, 부드러움과 반응성을 함께 얻을 수 있다.
• 고주파 제어에서 자기회귀 학습이 무너지는 이유가 명쾌하다. 제어 주기가 빨라질수록 이웃한 행동 토큰이 서로 거의 같아지고, 새 토큰이 주는 정보량이 0에 가까워진다. 그러면 모델은 직전 토큰을 복사하는 것만으로 손실을 낮출 수 있어 정작 정교한 기술을 배우지 못한다.
• 돌파구는 신호 처리에서 왔다. 로봇 궤적은 매끄러운 신호라 에너지가 저주파에 몰려 있으므로, JPEG 압축과 같은 원리인 이산 코사인 변환으로 주파수 영역에 옮긴 뒤 남은 정수열에 서브워드 병합을 적용하면 조밀한 토큰 열이 된다. 이 방식으로 학습한 모델은 흐름 기반 생성 방식과 같은 성능에 5배 빠르게 수렴했다고 소개됐다.
• 강의를 관통하는 원칙은 '쓰라린 교훈'의 로봇 버전이다. 영리한 도메인 지식을 손으로 넣기보다, 표현 방식을 제대로 정한 뒤 일반적이고 확장 가능한 구조에 데이터와 연산을 밀어 넣는 쪽이 결국 이긴다는 것이다.

자주 묻는 질문

관련 AI 소식