VLA 로봇 파운데이션 모델 일반화 한계: 파인튜닝 후 암기 현상과 스탠퍼드 연구실의 해법

핵심 메시지

• π0·π0.5 같은 범용 로봇 정책(VLA)은 소규모 데이터로 파인튜닝하면 언어 지시를 사실상 무시하고 학습 때 본 동작을 그대로 재생한다.
• 연구팀은 이를 시각 배경만 보고 과제를 단정하는 '개념 고착'과 동작이 특정 방향으로 쏠리는 '공간 고착' 두 가지로 정리했다.
• 이미지 인코더 가중치가 사전학습 값에서 멀어지지 않도록 규제하는 것만으로 새 데이터 없이 20번 중 19번 성공까지 회복됐다.
• 확산 기반 동작 헤드는 학습된 동작 조각을 거의 그대로 꺼내 쓰지만, 데이터가 희박한 상황에서는 오히려 그 암기가 안전한 선택일 수 있다.
• 발표자는 기업이 내놓는 비공개 모델 논문이 홍보물과 연구의 경계를 넘나든다며 학계의 재현 검증 역할을 강조했다.

쉽게 이해하기

UC 버클리 EMBER 센터 세미나에서 스탠퍼드대 맥 슈웨거 교수가 최근 로봇 학습의 주역으로 떠오른 VLA(비전-언어-행동) 모델을 검증한 결과를 발표했다. VLA는 인터넷 규모로 학습된 시각·언어 모델을 뼈대로 삼고, 그 위에 동작을 만들어내는 별도의 헤드를 붙인 구조다. 카메라 이미지와 관절 각도가 들어가면 짧은 시간 동안 수행할 동작 묶음이 나오고, 언어로 과제를 지시할 수 있어 '범용 정책'으로 불린다.

슈웨거 교수는 이 분야에 유입된 자본 규모부터 짚었다. 대표 기업인 피지컬 인텔리전스는 50억~60억 달러 가치로 평가받으며 10억 달러를 조달했고, 스킬드 AI는 140억 달러 가치로 거론된다. 2024년에는 옥토, OpenVLA 같은 공개 모델이 나왔지만 최근 π0.6·π0.7처럼 다시 비공개로 돌아서는 흐름이 나타났다고 설명했다.

연구실이 던진 질문은 단순했다. 사용자가 자기 로봇과 작업에 맞춰 파인튜닝한 뒤에도 이 모델들이 정말 일반화하느냐는 것이다. 리베로 벤치마크에서 '책을 캐디에 넣어라'로 학습시킨 모델에게 '머그컵을 캐디에 넣어라'를 지시하자 모델은 혼란에 빠졌다. 머그컵을 집는 법은 다른 과제에서 배웠는데도, 눈에 익은 배경을 보고 학습 때 하던 일을 그대로 하려 했다. 흰 컵과 노란 컵의 위치를 서로 바꾸라는 지시도 무시됐다.

해법은 의외로 단순했다. 파인튜닝 때 이미지 인코더의 가중치가 사전학습 값에서 크게 벗어나지 않도록 손실 함수에 항을 하나 더하자, 새 데이터 없이도 미학습 과제 20건 중 19건을 성공했다. 지시와 의미적으로 가장 반대인 프롬프트를 찾아 그 동작을 빼주는 '대조 프롬프트 유도'는 성공률을 0에서 11~13건으로 끌어올렸다. 잃어버린 능력이 아니라 파인튜닝 과정에서 덮인 능력이었다는 뜻이다.

동작 헤드 자체를 들여다본 후속 연구는 더 노골적인 결과를 내놨다. 추론 시점에 나오는 동작 묶음이 학습 데이터의 특정 묶음과 거의 정확히 일치했고, 두 데이터의 중간값을 만들어내는 보간은 일어나지 않았다. 희소 오토인코더로 내부 표현을 탐침한 결과 리베로로 파인튜닝한 π0.5는 토큰 표현의 97~98%가 단 하나의 학습 예시에서만 반응하는 '암기' 상태였다.

주요 인사이트

• 암기가 무조건 나쁜 것은 아니다. 과제당 200개 안팎의 시연으로 학습하는 환경에서 어설픈 보간은 엉뚱한 동작을 낳기 쉬우므로, 검증된 동작 조각을 골라 쓰고 빠르게 다시 판단하는 방식이 실제로는 더 안정적일 수 있다는 것이 연구팀의 해석이다.
• 실제로 이미지를 잠재 공간에 인코딩해 가장 가까운 학습 이미지의 동작 묶음을 그대로 꺼내 쓰는 '조회 테이블' 정책을 만들었더니 잘 작동했고, 모델이 작아 훨씬 빠르게 돌았다.
• 현재 VLA는 기억도 상태도 없는 되먹임 제어기에 가깝다. 같은 이미지를 주면 작업 초반이든 후반이든 같은 동작을 내놓기 때문에, 지금 무엇을 하고 있고 얼마나 진행됐는지 스스로 아는 '메타인지'가 다음 과제로 지목됐다.
• 모방 학습이 강화 학습을 제친 이유는 단순함이다. 시뮬레이터가 필요 없어 현실과의 격차 문제가 사라지고, 보상 함수를 설계할 필요도 없다. 대신 원격 조작 작업대에서 사람이 반복 시연한 데이터를 사고파는 산업이 생겨났다.
• 발표자는 언어가 유한한 토큰으로 닫힌 체계인 반면 물리 세계는 훨씬 고차원이라며, 데이터를 늘리는 것만으로 따라잡을 수 있을지에 회의적인 시각을 내비쳤다.

자주 묻는 질문

관련 AI 소식