촉각 반응형 로봇 조작 T-Rex: VLA에 손끝 감각을 결합한 최신 논문 분석

핵심 메시지

• 지금의 VLA(비전-언어-행동) 모델은 '무엇을 할지' 이해하는 능력은 빠르게 좋아졌지만, 실제 물체에 닿은 뒤의 힘 조절·미끄러짐 대응 같은 촉각 기반 미세 조작에는 여전히 약하다.
• T-Rex(Tactile Reactive Dexterous Manipulation)는 '느린 시각 계획'과 '빠른 촉각 보정'을 서로 다른 속도로 분리해 처리하는 것이 핵심 아이디어다.
• 촉각은 시각과 성격이 다른 신호이므로, 그냥 추가 입력으로 붙이면 오히려 성능이 떨어질 수 있다. 모델 구조 자체가 촉각 반응에 맞게 설계돼야 한다.
• 12개의 촉각 반응형 조작 작업 실험에서 T-Rex는 평균 성공률 65%로, 가장 강한 베이스라인(약 35%)을 크게 앞섰다.
• 대규모 사전학습 덕분에 새로운 작업을 적은 시연 데이터만으로 빠르게 익히는 데이터 효율성도 함께 보였다.

쉽게 이해하기

얇은 카드를 좁은 슬롯에 끼우거나, 열쇠를 자물쇠에 넣고 돌리거나, 치약을 적당한 힘으로 짜는 일. 사람은 이런 작업을 눈으로만 하지 않는다. 손끝에서 느껴지는 미세한 압력, 물체가 미끄러지는 느낌, 표면이 눌리는 감각을 끊임없이 사용한다. 그러나 현재의 많은 VLA 모델은 이런 촉각 정보를 제대로 다루지 못했다. 2026년 6월 공개된 T-Rex 논문은 바로 이 지점을 파고든다.

T-Rex의 핵심은 시간 스케일이 다른 두 과정을 분리하는 것이다. '치약을 칫솔 위에 짜야겠다'는 판단(시각·언어 기반 계획)은 상대적으로 느려도 괜찮지만, 튜브를 누르는 순간 손끝 힘 변화에 반응하는 과정은 훨씬 빨라야 한다. 논문은 이를 '저주파 시각 운동 계획'과 '고주파 촉각 보정'의 분리로 설명한다.

구조적으로 T-Rex는 하나의 멀티모달 모델 안에서 세 개의 전문가(Expert) 모듈을 둔다. 미래의 시각 표현을 예측하는 Latent Expert, 시각·언어를 바탕으로 약 5Hz의 저주파 행동 계획을 만드는 Action Expert, 그리고 약 20Hz로 촉각 신호를 반영해 행동을 빠르게 보정하는 Tactile Expert다. 시각·언어 맥락은 한 번 계산해 캐시로 저장하고, 촉각 보정 단계에서는 무거운 이미지 처리를 반복하지 않고 새 촉각 토큰만 빠르게 반영한다.

촉각은 단순히 '지금 힘이 몇 뉴턴'이라는 숫자 하나가 아니다. T-Rex는 최근 힘의 이력(시간 패턴), 현재 힘 벡터(즉각성), 그리고 센서 표면이 어디서 얼마나 눌렸는지를 보여주는 변형 지도(공간 패턴)를 각각 다른 방식으로 인코딩한 뒤 하나의 촉각 토큰으로 합친다. 힘의 흐름은 손가락별로 압축하고, 현재 힘은 별도로 넣어 즉각성을 보존하며, 변형 지도는 이미지처럼 합성곱 인코더로 처리한다.

학습은 세 단계로 이뤄진다. 먼저 사람의 1인칭 시점 대규모 영상(약 2만 2천 시간대)으로 시각·언어·손동작의 일반 감각을 익히고, 이어 촉각이 동기화된 로봇 데이터(약 100시간 규모)로 실제 센서·접촉 감각에 맞춰 정렬한 뒤, 특정 작업에 대해 소량의 시연으로 미세 조정한다.

주요 인사이트

• 촉각 정보를 기존 VLA에 그냥 벡터로 덧붙인 베이스라인은 오히려 평균 성공률이 낮게 나왔다. 촉각은 넣는다고 좋아지는 게 아니라 '어디에, 어떤 속도로, 어떤 역할로' 넣느냐가 관건임을 보여준다.
• 촉각을 제거한 조건에서는 성능이 크게 떨어졌고(특히 자물쇠 열기·카드 빼내기처럼 걸림 해결이 중요한 작업), 이는 T-Rex의 성능 향상이 단순히 더 큰 모델이나 더 많은 데이터 때문만은 아님을 방증한다.
• 시각 계획과 촉각 보정을 같은 주기로 동기 처리하기보다, 촉각을 더 빠른 주기로 비동기 보정하는 구조가 더 나은 성능을 냈다.
• 적은 시연 데이터 구간에서 사전학습을 거친 모델과 그렇지 않은 모델의 격차가 특히 크게 벌어졌다. 촉각까지 동기화한 로봇 데이터 수집이 비싼 현실에서 데이터 효율성은 실용적으로 중요한 강점이다.
• 로봇 파운데이션 모델이 범용화되는 흐름 속에서, 촉각·힘·미끄러짐·변형 같은 물리 감각을 어떤 구조로 결합할지는 아직 여러 갈래로 열려 있는 연구 주제다.

자주 묻는 질문

관련 AI 소식