VLA 로봇 모델의 한계와 촉각·힘 센싱 연구 정리: ForceVLA부터 Octopi-1.5까지

핵심 메시지

• VLA(비전-언어-행동) 모델은 무엇을 해야 하는지 이해하는 능력은 빠르게 좋아졌지만, 얼마나 세게 잡아야 하는지 같은 접촉 정보는 카메라 영상만으로 드러나지 않는다.
• 핀을 구멍에 끼우는 작업처럼 1mm만 어긋나도 큰 힘이 발생하는 상황에서, 힘 변화를 못 느끼는 로봇은 계속 밀어붙여 부품을 손상시킨다.
• ForceVLA는 6축 힘·토크 신호를 토큰으로 바꿔 모델에 넣고, 상황에 따라 시각 정보와 힘 정보의 비중을 바꾸는 전문가 혼합 모듈을 둔다.
• VLA-Touch는 기존 VLA를 다시 학습시키지 않고 촉각을 계획 단계와 제어 단계에 각각 붙여, 계획 효율을 최대 40%, 조작 성공률을 최대 35% 높였다고 보고했다.
• 촉각 데이터는 이미지·텍스트처럼 인터넷에 무한히 쌓여 있지 않다. Octopi-1.5는 새 촉각-물체 짝을 데이터베이스에 넣고 찾아 쓰는 검색 증강(RAG) 방식으로 이 한계를 우회한다.

쉽게 이해하기

VLA는 카메라로 세상을 보고 사람의 언어 명령을 이해해 로봇 행동으로 연결하는 모델이다. 최근 로봇 파운데이션 모델들이 다양한 작업을 해내며 가능성을 보여줬지만, 영상은 여기서 한 가지 질문을 던진다. 현장에서 일하려면 보는 것과 이해하는 것만으로 충분한가.

사람은 컵을 잡을 때 눈으로만 판단하지 않는다. 손끝에서 느껴지는 압력, 미끄러짐, 무게감, 저항감을 계속 느끼며 힘을 조절한다. 반면 기존 VLA는 주로 카메라 이미지와 언어, 그리고 로봇 자신의 관절 위치를 중심으로 학습돼 왔다. 겉으로는 잡은 것처럼 보여도 실제로는 미끄러지고 있을 수 있고, 잘 들어간 것처럼 보여도 한쪽 벽에 걸려 있을 수 있다.

첫 번째 흐름은 힘과 촉각을 VLA 안에 직접 넣는 방향이다. ForceVLA는 6축 힘·토크 피드백을 별도 토큰으로 변환해 시각·언어 정보와 함께 다루고, 접촉 전에는 시각 정보를, 접촉 후에는 힘 정보를 더 쓰도록 전문가를 골라 쓰는 모듈(FVLMoE)을 둔다. Tactile-VLA는 촉각을 모델 내부에서 토큰 단위로 융합해 서로 참조하게 만들고, 위치 제어와 힘 제어를 함께 쓰는 하이브리드 제어기와 촉각 피드백 기반 추론 모듈을 붙였다. 칠판을 닦다 실패했을 때 '위치가 틀렸나'가 아니라 '접촉은 했지만 압력이 부족했다'고 해석해 힘을 올려 회복하는 실험이 대표적이다.

VLA-Touch는 접근이 다르다. 촉각 데이터가 대규모로 없다는 현실을 인정하고, 기존 VLA를 손대지 않은 채 밖에 두 개의 촉각 모듈을 붙인다. 계획 단계에서는 촉각-언어 모델이 센서 신호를 '이 물체는 딱딱하다', '스펀지가 더 부드럽다' 같은 언어 설명으로 바꿔 계획을 돕고, 제어 단계에서는 VLA가 만든 행동 묶음을 촉각 신호에 맞춰 다듬는다. 두 단계 모두에 촉각을 넣는 편이 한쪽만 넣는 것보다 좋았다는 결과도 함께 제시됐다.

두 번째 흐름은 촉각 자체를 하나의 언어로 보는 방향이다. TLA는 촉각 이미지 시퀀스와 로봇 행동 궤적을 함께 담은 데이터셋(약 2만 4천 개 시퀀스)으로 70억 파라미터 규모 멀티모달 언어 모델을 학습시켜, 촉각 관측과 명령을 받아 다음 이동 방향을 예측한다. Octopi-1.5는 행동을 출력하는 모델은 아니지만, 사람이 직접 들고 쓰는 촉각 그리퍼로 모은 신호를 언어 모델과 연결해 '이 물체를 세게 잡아도 되는지', '둘 중 어느 쪽이 더 부드러운지'에 답한다. 영상은 여기까지를 1편으로 정리하고, 인간 시연에서 물리량을 모으는 흐름과 월드 파운데이션 모델·디지털 트윈으로 물리적 미래를 예측하는 흐름은 2편으로 넘겼다.

주요 인사이트

• VLA의 병목은 '무엇을 할지 아는 것'에서 '어떻게 닿을지 아는 것'으로 옮겨갔다. 목표 위치를 맞히는 문제는 상당히 풀렸지만, 접촉 이후의 힘 조절은 별개의 문제다.
• 같은 문제의식에도 해법은 두 갈래로 갈린다. 모델 내부에 감각을 통합하는 쪽은 성능 상한이 높지만 재학습이 필요하고, 바깥에 모듈을 붙이는 쪽은 데이터가 적어도 기존 모델을 그대로 쓸 수 있다.
• 촉각을 언어로 번역하는 발상이 반복 등장한다. 언어 모델이 이미 '유리컵은 조심히 잡는다' 같은 상식을 갖고 있으니, 센서 신호를 언어 쪽으로 옮기면 그 상식을 끌어 쓸 수 있다는 계산이다.
• 촉각 데이터의 희소성은 구조적 제약이다. 모든 물체의 촉감을 파라미터에 미리 넣을 수 없으니, 새로 만져본 것을 저장하고 검색하는 방식이 현실적인 타협안이 된다.
• 카메라가 가장 못 보는 지점이 바로 가장 중요한 지점이다. 로봇 손이 물체를 잡는 순간 접촉면은 손에 가려지는데, 그때 촉각은 시야 가림과 무관하게 정보를 준다.

자주 묻는 질문

관련 AI 소식