제너럴리스트 로봇 정책 정리: ETH 취리히 강의가 짚은 데이터·모델링·평가 3대 관문과 VLA 학습법

핵심 메시지

• 로봇 학습의 목표는 하나의 모델로 여러 로봇과 여러 작업을 다루는 '제너럴리스트 로봇 정책'이며, 데이터 확보·이종 데이터 모델링·평가 비용이 세 가지 관문이다.
• 전 세계 연구실의 자투리 데이터를 한 형식으로 모은 Open X-Embodiment 데이터셋은 100만 건이 넘는 실제 로봇 에피소드와 20종 이상의 로봇 형태를 담아, 통합 학습 모델이 특화 모델을 앞서는 첫 사례를 만들었다.
• Octo와 CrossFormer는 언어·이미지·행동을 모두 토큰으로 바꿔 하나의 트랜스포머에 넣는 방식으로, 로봇 팔부터 사족보행·내비게이션까지 단일 체크포인트로 제어했다.
• 최근 VLA(비전-언어-행동 모델)는 웹 데이터와 로봇 행동 토큰을 함께 학습한 VLM 백본 위에, 그래디언트를 끊어 놓은 별도의 행동 전문가를 얹는 조합으로 수렴하고 있다.
• 실물 로봇 평가가 느리고 깨지기 쉬워지면서, 절대 성공률 대신 정책 간 순위를 재현해 주는 시뮬레이션 평가가 대안으로 연구되고 있다.

쉽게 이해하기

ETH 취리히의 로봇 학습 강의에서 오이에르 메스는 최근 몇 년간 주목받은 ACT나 확산 정책 같은 방법들이 손재주가 필요한 작업을 놀랍도록 잘 해내지만, 근본적으로는 한 가지 작업에 맞춘 '특화 모델'에 가깝다는 점을 지적했다. 로봇이 바뀌거나 작업이 바뀌면 정책을 다시 학습시켜야 한다는 것이다. 그래서 학계가 겨냥하는 목표는 자기 로봇에 맞는 '두뇌'를 인터넷에서 내려받으면 바로 쓸 만한 행동이 나오는 세계, 즉 여러 로봇과 여러 환경, 여러 작업을 하나의 모델로 감당하는 제너럴리스트 로봇 정책이다.

그 앞을 가로막는 첫 번째 벽은 데이터다. 자연어나 이미지처럼 대규모 공개 데이터가 쌓여 있는 분야와 달리 로봇 데이터는 사람이 직접 원격 조작으로 시연을 모아야 해서 비싸고 희소하다. 여기에 로봇마다 센서 구성과 관측·행동 공간이 다르다는 이질성, 실시간 제어가 필요하다는 제약까지 겹친다. 강의가 소개한 해법은 발상의 전환이었다. 세계 각지의 연구실이 각자 논문을 위해 모아 두고 방치한 데이터를 모두 모아 공통 형식으로 변환한 Open X-Embodiment 프로젝트는 100만 건이 넘는 실제 로봇 에피소드를 확보했고, 여기서 여러 데이터셋을 함께 학습한 단일 모델이 특정 로봇에 맞춘 기존 최고 방법을 앞서는 조짐이 처음 관찰됐다.

두 번째 벽인 모델링에서는 로봇 제어를 멀티모달 시퀀스 예측 문제로 보는 관점이 핵심이다. 이미지와 지시문을 넣고 답을 내놓는 구조는 비전-언어 모델과 같고, 다만 답이 문장 대신 행동일 뿐이라는 것이다. 이 관점 위에서 만들어진 오픈소스 정책 Octo는 언어 인코더와 얕은 CNN으로 만든 토큰을 트랜스포머에 넣고 확산 헤드로 행동을 내놓는 구조로, 여러 로봇을 별도 학습 없이 제어하고 규모가 훨씬 큰 비공개 모델과 견줄 성능을 냈다. 후속 모델 CrossFormer는 양팔 조작·이동·보행 데이터까지 섞어 로봇 종류별 출력 헤드를 두는 방식으로, 제어 주기가 초당 5회인 로봇부터 50회인 로봇까지 하나의 체크포인트로 다뤘다.

강의 후반부는 실제로 이런 모델을 학습시킬 때 부딪히는 실무 문제에 할애됐다. 행동을 토큰으로 바꿔 언어 모델 어휘에 끼워 넣는 VLA 학습에서는 행동 토큰 정확도가 95% 근처에 이르기 전에는 실물 실험을 하지 말라는 경험칙, 길이가 제각각인 데이터를 묶을 때 패딩 대신 시퀀스 패킹을 쓰면 연산 낭비는 줄지만 어텐션 마스크와 위치 인코딩을 직접 관리해야 한다는 트레이드오프, 셔플 버퍼가 작으면 배치가 서로 닮아 일반화가 무너진다는 실패담이 이어졌다. 특히 한 연구에서는 데이터 정규화 방식이 아키텍처 변경보다 최종 성능에 더 큰 영향을 줬다는 결과도 소개됐다.

마지막 관문은 평가다. 카메라가 살짝 밀리거나 모터를 교체해 관절 값이 달라지는 것만으로도 정책이 무너지고, 실물 시연은 한 번에 몇 분씩 걸린다. 강의는 실제 데이터로 학습한 정책을 시뮬레이션에서 평가하려는 시도를 소개했는데, 제어기 특성을 실측으로 맞추고 시뮬레이션 물체를 실제 배경에 합성하거나 실제 물체의 질감을 입히는 식으로 격차를 줄이는 방식이다. 다만 이 방법이 알려 주는 것은 절대 성공률이 아니라 정책 A가 B보다 낫다는 상대적 순위이며, 그 순위는 조명·카메라 위치·방해물이 달라져도 실제 환경과 상관관계를 유지했다.

주요 인사이트

• 로봇 분야에서 '데이터가 없다'는 말은 절반만 맞다. 강의가 보여 준 것은 이미 존재하지만 형식이 달라 쓰이지 못하던 데이터를 공통 규격으로 묶는 작업만으로도 판이 바뀔 수 있다는 점이다.
• 이질적인 로봇을 하나로 묶을 때는 모든 것을 통일할 필요가 없다. Octo 팀은 좌표계는 정렬하지 않은 채 두면서도 그리퍼 신호의 의미(열림 1, 닫힘 0)만은 통일했는데, 초기 실패가 대부분 집게 동작에서 나왔기 때문이다.
• 테스트 시점에 모델이 '지금 어떤 로봇을 움직이는지' 아는 방법은 두 갈래다. 로봇별 헤드를 둔 구조에서는 사용자가 직접 지정하지만, 단일 행동 전문가 구조에서는 카메라 시점과 관절 값, 지시문이 단서가 되어 모델이 스스로 추론한다.
• 최신 VLA 학습법의 핵심은 '섞되 침범하지 않기'다. 웹 데이터를 함께 학습해 언어·시각 능력의 망각을 막고, 행동 전문가는 백본을 읽되 그 가중치를 갱신하지 못하게 막아 의미 이해 능력을 보존한다.
• 사전학습의 효용은 데이터가 적을 때 가장 크다. 대규모 사전학습을 거친 정책은 새 작업에 적응할 때 훨씬 적은 시연으로 같은 수준에 도달했고, 이 이점은 후속 학습 데이터가 부족할수록 두드러졌다.

자주 묻는 질문

관련 AI 소식