액션 청킹과 생성형 제어: 로봇 모방학습의 오차 누적을 제어이론으로 해부한 CMU 세미나

핵심 메시지

• 언어처럼 이산적인 문제에서 모방학습의 오차는 문제 길이에 비례해 선형으로만 쌓이지만, 연속 제어에서는 가장 유리한 조건을 다 주더라도 지평선에 지수적으로 커진다는 하한이 제시됐다.
• 이 하한은 행동 복제에만 적용되는 것이 아니다. 보상 함수를 알고 있는 오프라인 강화학습을 포함해, 전문가와 같은 형태의 정책을 내놓는 어떤 알고리즘도 이 한계를 벗어나지 못한다.
• 액션 청킹은 여러 스텝의 행동을 한꺼번에 예측해 정책을 비마르코프로 만든다. 청크 길이가 시스템 특성으로 정해지는 임계값을 넘으면 오차 누적이 단순히 줄어드는 게 아니라 사라진다.
• 생성형 제어 정책의 강점은 흔히 알려진 '다봉 분포 학습'이 아니었다. 노이즈 64개를 평균 내 다봉성을 일부러 없애도 성능은 2%밖에 떨어지지 않았다.
• 실제로 기여한 것은 확률성과 지도된 반복 계산의 결합이었고, 둘을 최소 형태로만 구현한 회귀 기반 정책이 플로우 모델과 대등한 성능을 냈다.

쉽게 이해하기

모라벡의 역설은 AI가 상징적 추론보다 물리적 행동을 훨씬 어려워한다는 오래된 관찰이다. 발표는 2023년 무렵 로봇 학습에 찾아온 변곡점을 두고, 흔히 말하는 '데이터가 늘어서'라는 설명만으로는 부족하다고 본다. 그 시기에 도입된 몇 가지 알고리즘적 개입이 없었다면 당시의 작은 데이터로는 학습 자체가 되지 않았을 것이라는 주장이다.

출발점은 행동 복제의 구조적 결함이다. 학습은 전문가가 방문한 상태 분포 위에서 이뤄지지만 배포된 정책은 자기가 도달한 상태에서 행동해야 하고, 그 간극에서 오차가 누적된다. 이산 공간에서 맞고 틀림만 따지는 손실이라면 이 누적은 지평선에 선형으로 그친다는 고전적 결과가 있다. 그러나 연속 상태와 연속 행동에서는 완벽한 행동을 정확히 맞히는 일이 불가능해 항상 미세한 거리 오차가 남고, 학습은 제곱 손실 위에서 이뤄질 수밖에 없다.

발표의 핵심 이론 결과는 이 미세한 거리 오차가 지수적 폭발의 씨앗이 된다는 것이다. 동역학이 결정론적이고 전문가 정책이 매끄러우며 시스템이 안정적이고 학습자가 정답 후보 집합까지 알고 있는, 가능한 한 가장 유리한 조건에서도 성립한다. 데이터에서 구분할 수 없는 두 개의 세계를 만들 수 있고, 어느 쪽인지 모르는 학습자는 둘 다 안정화할 수 없기 때문이다. 이 하한은 보상을 아는 오프라인 강화학습에도 그대로 적용된다.

첫 번째 처방은 액션 청킹이다. 여러 스텝의 행동을 한 번에 예측하면 현재 상태에만 의존하는 마르코프 제약이 깨져 앞의 하한이 적용되지 않는다. 개루프 안정 시스템에서 청크 길이가 임계값을 넘으면 오차 누적이 아예 사라지고 그 이후로는 효과가 포화한다는 것이 정리의 내용이며, 임계값은 정책의 립시츠 상수와 시스템의 수축성 같은 제어 특성으로 결정된다. 실험에서도 길게 예측하는 것보다 실제로 길게 실행하는 쪽이 지배적 요인이었다. 관절 토크를 직접 내보내는 대신 위치 추종 제어를 쓰는 관행이 이미 시스템을 개루프 안정 영역으로 밀어 넣고 있었다는 해석도 덧붙는다.

두 번째 처방인 생성형 제어 정책은 세 요소로 분해된다. 분포 학습, 확률성, 반복 계산이다. 아키텍처를 공정하게 맞추자 대부분 과제에서 회귀 정책이 플로우 정책과 대등했고, 플로우가 앞선 과제는 다봉성이 큰 과제가 아니라 도구 삽입처럼 높은 정밀도를 요구하는 과제였다. 확률성과 반복 계산만 최소로 흉내 낸 정책이 플로우와 맞먹는다는 절제 실험까지 더해, 발표자는 생성형 정책의 이득이 분포 표현이 아니라 오차를 국소 행동 다양체 위로 몰아넣는 귀납 편향에서 온다고 결론짓는다. 다양체 위의 오차는 도구를 조금 빠르게 넣거나 느리게 넣는 차이지만, 다양체를 벗어난 오차는 삽입 자체를 실패하게 만든다.

주요 인사이트

• 회귀 정책이 약해 보였던 이유 중 하나는 비교가 불공정했기 때문이다. 확산 모델에 쓰이던 트랜스포머 구조를 그대로 회귀에 적용하자 대부분 과제에서 격차가 사라졌다.
• 오차의 총량보다 방향이 중요하다. 플로우 모델은 검증 손실이 회귀와 같아도 오차를 다양체를 벗어나는 방향이 아니라 다양체를 따라가는 방향으로 배치했고, 그것이 성능 차이를 예측했다.
• 액션 청킹은 공짜가 아니다. 정책의 반응성을 떨어뜨리고, 로봇 몸체는 안정화해도 조작 대상인 외부 세계까지 안정화하지는 못한다. 발표자는 이를 장기적으로는 사라질 과도기적 개입으로 본다.
• 노이즈를 섞어 데이터를 모으면 오차 누적을 원리적으로 없앨 수 있다는 고전 결과가 있지만 실제 하드웨어에서는 위험하다. 플로우 모델은 데이터를 더 모으지 않고도 비슷한 효과를 귀납 편향으로 얻는 것으로 보인다.
• 연구 난이도와 경제적 가치가 역상관한다는 지적도 남았다. 돈이 되는 과제는 데이터를 사서 풀 수 있고, 정말 어려운 과제는 데이터 수집 비용을 대줄 사람을 찾기 어렵다.

자주 묻는 질문

관련 AI 소식