피지컬 AI 공부법 — 최신 모델을 좇기보다 ‘문제 해결의 흐름’을 읽어야 하는 이유

핵심 메시지

• 피지컬 AI는 아직 하나의 표준 구조로 수렴하지 않아 모델·데이터·시뮬레이션·배포의 여러 접근이 동시에 경쟁하고 있다.
• 새 기술을 볼 때는 ①어떤 문제를 풀려 했는지 ②어떤 아이디어로 풀었는지 ③무엇이 여전히 안 풀렸는지 세 가지를 함께 봐야 한다.
• LLM 플래닝 → VLA → 액션 청크·생성 정책 → 계층형 시스템으로 이어진 발전은 앞선 방식의 한계를 메우는 과정이었다.
• 실제 로봇 데이터의 비용 때문에 시뮬레이션·합성 데이터가 중요해졌지만, 가상과 현실의 격차(심투리얼)가 새로운 과제로 남는다.
• 정답이 정해지지 않았다는 것은 학생·개발자·창업자 모두에게 아직 기회가 열려 있다는 뜻이다.

쉽게 이해하기

로봇에게 “바나나와 같은 색 물체를 집어라”라고 말하면 사람은 쉽게 이해하지만, 로봇에게는 카메라로 장면을 인식하고 언어 명령을 이해하며 어떤 물체를 어떻게 잡을지 계획하고 제어하는 문제가 한꺼번에 얽힌다. 화자는 로봇 개발자로서 기존 로봇이 정해진 환경과 규칙 안에서는 정확하지만, 물체 위치나 조명이 바뀌고 예상치 못한 명령이 들어오는 순간 수많은 예외가 생긴다고 말한다. 이 한계를 풀 실마리로 등장한 것이 생성형 AI를 로봇과 연결하는 ‘피지컬 AI’의 흐름이다.

피지컬 AI가 빠르게 변하는 이유는 모델 구조부터 정답이 없기 때문이다. 하나의 큰 모델이 인식·추론·행동 생성을 모두 맡을 수도 있고, 복잡한 계획을 담당하는 상위 모델과 짧은 주기로 움직임을 만드는 하위 모델로 계층을 나눌 수도 있다. 행동을 출력하는 방식도 관절 명령을 언어 토큰처럼 하나씩 생성하는 방법, 여러 스텝을 하나로 묶는 ‘액션 청크’, 디퓨전·플로우 매칭 같은 생성 모델로 연속 궤적 전체를 만드는 방법이 서로 경쟁한다.

데이터 확보도 핵심 난제다. 사람이 로봇을 직접 조종해 모으거나, 여러 기관·로봇의 데이터를 통합한 오픈 데이터셋, 인터넷 이미지·영상에서 얻은 일반 지식의 전이, 시뮬레이션과 합성 데이터가 함께 쓰인다. 다만 사람과 로봇은 몸의 구조가 달라 인간의 행동을 로봇 좌표계·관절 명령으로 변환하는 과정이 필요하고, 가상에서 잘 되던 동작이 실제 로봇에서는 센서 노이즈·모터 지연·마찰 오차가 누적돼 실패하는 ‘심투리얼(sim-to-real)’ 문제가 남는다.

그래서 화자는 최신 모델의 이름과 성능을 좇기보다 각 기술이 ‘어떤 문제를 풀기 위해 등장했는지’를 이해하라고 강조한다. 초기의 LLM 플래닝은 언어 명령을 행동 계획으로 분해했지만 실제 연속적인 움직임까지 만들지는 못했고, 이 간격을 줄이기 위해 장면·언어·행동을 하나로 잇는 VLA가 나왔다. 이후 연속적이고 다양한 행동을 표현하려 액션 청크와 생성 정책이, 빠른 실행과 복잡한 추론을 함께 하려 계층형 시스템이 등장했다.

그는 『피지컬 AI 시스템 설계』를 집필하면서 특정 모델·프레임워크의 사용법 대신 조금 더 긴 시간축에서 흐름을 바라보는 데 초점을 맞췄다고 밝힌다. 빠르게 변하는 분야에서는 현재 기술의 사용법만 담으면 금세 낡기 때문이다. 정답이 정해지지 않았다는 사실은 곧 아직 다뤄지지 않은 문제를 먼저 발견하는 능력이 학생·개발자·창업자 모두에게 큰 경쟁력이 될 수 있음을 뜻한다고 그는 말한다.

주요 인사이트

• 로봇 행동은 텍스트와 달리 정답이 하나가 아니다. 같은 컵도 왼쪽·오른쪽 등 여러 궤적으로 잡을 수 있어, 여러 행동 분포를 표현하는 데 유리한 디퓨전·플로우 매칭 같은 생성 모델이 활용된다.
• 로봇은 실시간성이 중요하다. 그래서 거대한 모델의 상위 추론은 외부 연산 장치에서 수행하고, 빠른 행동 생성은 양자화·경량화한 온디바이스 모델이 맡는 분업이 연구된다.
• 피지컬 AI는 데이터 수집 → 모델 학습 → 시뮬레이션 검증 → 실제 배포 → 현장 실패 재수집 → 재학습이 반복되는 ‘순환 시스템’에 가깝다.
• 도메인 랜덤화, 디지털 트윈, 소량의 실제 데이터로 다시 조정하기는 모두 가상과 현실의 격차(심투리얼)를 줄이기 위한 방법들이다.
• 지금 주목받는 기술이 최종 표준으로 남지 않더라도, 기존 접근의 한계를 드러내고 다음 연구의 방향을 제시하는 중요한 중간 단계가 될 수 있다.

자주 묻는 질문

관련 AI 소식