LAPA 논문 정리: 액션 라벨 없는 VLA 사전학습이 OpenVLA를 앞선 이유와 30배 학습 효율

핵심 메시지

• LAPA는 로봇의 실제 액션 라벨 없이 인터넷 규모 영상으로 VLA를 사전학습하는 비지도 방식이다.
• 연속한 두 프레임 사이의 변화를 코드북에 담아 이산적인 '잠재 액션' 토큰으로 바꾸는 것이 핵심 아이디어다.
• 사전학습에는 라벨이 필요 없지만, 잠재 액션을 실제 로봇 동작으로 옮기려면 소량의 라벨 데이터로 파인튜닝해야 한다.
• 라벨을 쓴 최신 모델보다 수행 정확도가 6% 이상 높으면서 사전학습 효율은 30배 이상 좋았다.
• 사람이 일상 물체를 다루는 영상 22만 개만으로 사전학습한 모델이 실제 로봇 실험 평균에서 OpenVLA를 넘어섰다.

쉽게 이해하기

로보틱스용 VLA 모델은 언어 토큰과 비전 토큰을 정렬한 뒤 로봇 액션 데이터로 파인튜닝해 학습한다. 문제는 그 데이터다. 대부분의 실제 로봇 데이터셋은 사람이 직접 조종하는 원격조작으로 모으기 때문에 규모를 키우기 어렵다. 대안으로 유튜브 같은 인터넷 영상이 늘 거론되지만, 웹 영상에는 회전·이동 같은 명시적 액션 라벨이 없고 로봇의 몸과 환경이 영상 속 상황과 다르다는 간극도 있다.

LAPA는 라벨을 만들지 말고 영상 사이의 변화 자체를 액션으로 삼자고 제안한다. 첫 단계인 잠재 액션 양자화 모델은 인코더-디코더 구조로, 인코더가 현재 프레임과 일정 간격 뒤의 미래 프레임을 함께 받아 잠재 액션을 내놓고, 디코더는 현재 프레임과 그 잠재 액션만으로 미래 프레임을 복원하도록 학습한다. 인코더는 공간 정보를 보는 트랜스포머와 시간 관계를 보는 트랜스포머를 함께 쓰고, 얻어진 임베딩은 코드북에서 가장 가까운 벡터로 이산화된다. 코드북은 쉽게 말해 단순화된 행동들의 사전이다.

두 번째 단계인 잠재 사전학습에서는 앞서 만든 인코더를 역동역학 모델처럼 써서 모든 프레임 쌍에 잠재 액션 라벨을 붙인다. 그다음 영상 클립의 언어 지시와 현재 이미지가 주어졌을 때 그 잠재 액션을 맞히도록 사전학습된 VLM을 학습시킨다. 이때 기존 언어 모델 헤드 대신 코드북 크기에 맞춘 별도의 잠재 액션 헤드를 붙이고, 비전 인코더는 고정한 채 언어 모델만 학습한다. 두 벡터를 단순히 더하는 대신 크로스 어텐션을 써서 관계를 학습하도록 구성한 점도 특징이다.

세 번째 단계는 파인튜닝이다. 잠재 액션은 실제 엔드이펙터 변위나 조인트 값이 아니어서 로봇에서 바로 실행할 수 없으므로, 실제 행동이 붙은 작은 데이터셋으로 매핑을 학습한다. 평가는 두 개의 시뮬레이션 환경과 세 종류의 실제 로봇 작업, 아홉 개 작업 범주에서 이뤄졌다. 블록을 미는 시뮬레이션 데이터셋으로 18만 1천 개 궤적을 사전학습한 뒤 1천 개 궤적만으로 파인튜닝했고, 실제 로봇 실험에는 7자유도 프랑카 에미카 판다를 썼다. 비교 대상은 사전학습 없이 바로 파인튜닝한 모델, 비디오 디퓨전을 쓰는 방식, 역동역학 모델로 유사 라벨을 만드는 방식, 실제 라벨을 그대로 쓴 상한선 모델, 그리고 97만 개 실제 로봇 데모로 학습된 OpenVLA였다.

결과는 방향이 일관됐다. 사전학습에 라벨을 쓰지 않았는데도 밑바닥 학습을 크게 앞섰고, 상한선으로 둔 라벨 사용 모델과의 격차도 작았다. 특히 사전학습 환경과 파인튜닝 환경이 다른 설정에서 강점이 두드러졌는데, 논문은 라벨로 사전학습한 모델들이 특정 로봇의 액션 공간에 과적합돼 분포가 달라지면 적응이 어려워지는 반면 LAPA는 그 함정을 피한다고 분석한다. 학습 비용도 8장의 H100으로 34시간, 총 272 GPU 시간 수준이어서 기존 방식 대비 훨씬 가벼웠다.

주요 인사이트

• 액션 라벨이 없다는 약점이 오히려 강점이 됐다. 특정 로봇의 액션 공간에 묶이지 않기 때문에 몸이 다른 로봇으로 옮길 때 분포 변화에 덜 흔들린다.
• 잠재 액션은 엔드이펙터 위치나 조인트 토크 같은 기존 표현과 달리 행동의 단위나 세밀함에 대한 사전 지식을 요구하지 않고, 주어진 영상에서 끝에서 끝까지 학습된다.
• 사람이 물건을 다루는 영상만으로 사전학습해도 긍정적 전이가 일어났다. 로봇 데이터 수집이라는 병목을 웹 영상으로 우회할 여지를 보여준 대목이다.
• 라벨이 100개 수준으로 희소한 설정에서는 비디오 디퓨전으로 계획을 그리는 방식이 크게 무너졌다. 계획 자체는 그럴듯해도 7자유도 연속 행동을 정확히 뽑아내지 못했기 때문이다.
• 남은 과제도 분명하다. 물건을 집는 것 같은 세밀한 동작 생성은 약하고, 실시간 추론 지연 문제가 있으며, 매니퓰레이션 영상 밖의 응용은 아직 탐색되지 않았다.

자주 묻는 질문

관련 AI 소식