엔비디아 ASPIRE 논문 분석: 실행 기록으로 실패를 디버깅하고 스킬을 축적하는 로봇 에이전트

핵심 메시지

• ASPIRE는 카메라 영상에서 행동을 바로 만들어내는 VLA와 달리, 언어 모델이 로봇 기능을 조합해 실행 가능한 프로그램을 쓰고 실행 결과를 보며 그 코드를 고쳐 나가는 '코드 애즈 폴리시' 방식이다.
• 핵심은 성공·실패 여부만 보는 대신 각 동작 전후의 장면과 반환값을 묶은 실행 기록을 남기는 데 있다. 언어 모델은 이 기록을 따라가며 물체 탐지·경로 계획·파지 중 어디에서 문제가 시작됐는지 좁힌다.
• LIBERO-Pro 구성 요소 비교에서 실행 엔진과 진화적 탐색을 뺀 기본 시스템의 평균 성공률은 14%였고, 실행 엔진을 더하자 62%, 진화적 탐색까지 적용하자 72%가 됐다.
• 한 작업에서 검증된 해결법은 적용 조건과 코드 예시를 붙여 스킬 라이브러리에 쌓이고, 다른 작업을 맡은 에이전트가 이를 참고한다. 축적한 작업 수가 늘수록 처음 보는 장기 작업의 제로샷 성능도 함께 올라갔다.
• 시뮬레이션에서 얻은 스킬을 구조와 제어 API가 다른 실제 양팔 로봇에 참고 지식으로 넘겼더니 음료 캔 들어 올리기 성공률이 20회 중 13회에서 19회로 올랐고, 첫 성공 프로그램까지 쓴 토큰은 약 6,194만 개에서 658만 개로 줄었다.

쉽게 이해하기

로봇 AI 분야에서는 그동안 카메라 영상과 자연어 명령을 입력받아 로봇의 행동을 곧바로 만들어내는 VLA 모델이 주류였다. 반면 소프트웨어 개발 쪽에서는 다른 형태의 AI가 자리를 잡았다. 코덱스나 클로드 코드 같은 코딩 에이전트는 코드를 쓴 뒤 직접 실행하고, 오류 기록을 확인하고, 문제가 풀릴 때까지 수정을 반복한다. 한 번의 추론으로 답을 내는 대신 실행 환경과 계속 주고받는 구조다. 이 영상이 소개하는 ASPIRE는 바로 이 흐름을 로봇에 옮겨온 연구로, 2026년 6월 말 엔비디아와 미국 여러 대학 연구진이 함께 공개했다. 언어 모델이 로봇의 행동을 프로그램으로 작성하면 실행 엔진이 이를 로봇 동작으로 옮기고, 실행 과정에서 남은 기록이 다시 에이전트에게 전달돼 코드 수정의 근거가 된다.

왜 실행 기록이 중요한지는 실패의 성격을 보면 드러난다. 로봇이 물체를 집지 못했다는 결과 하나에도 원인은 여러 가지다. 카메라가 목표를 잘못 찾았을 수도, 위치는 맞게 계산했지만 그 지점까지 이동하지 못했을 수도, 도달은 했지만 안정적으로 잡지 못했을 수도 있다. 성공 여부만으로는 어디를 고칠지 알 수 없다. ASPIRE의 실행 엔진은 각 동작이 호출된 전후의 장면과 그때 나온 결과를 한 덩어리로 기록하고, 언어 모델은 실패 시점과 가까운 증거부터 확인하며 범위를 좁힌다. 논문에 실린 사례에서 로봇은 집 안을 돌며 빨간 라디오를 찾아야 했다. 회전하며 탐색해 테이블 위 라디오를 발견하고 약 1.9m 떨어져 있다는 것까지 계산했으므로 탐지 단계는 정상이었다. 그런데 라디오 주변으로 이동할 목표 지점을 여러 번 만들어도 접근에 계속 실패했고, 로그에는 경로 계획 오류가 반복해 찍혔다. 선택된 지점들이 전부 테이블의 충돌 회피 영역 안에 들어 있었기 때문이다.

여기서 ASPIRE가 만든 수정안은 라디오를 중심으로 접근 방향 자체를 회전시켜 새 후보 위치를 만드는 것이었다. 한쪽이 테이블에 막혀 있다면 반대편이나 측면이 열려 있는지 확인하는 식이다. 로봇은 경로가 열린 지점을 찾아 라디오 반대편으로 이동했고, 가까운 거리에서 다시 인식한 뒤 집어 올려 작업을 마쳤다. 다만 하나의 프로그램만 반복해 고치면 처음 잡은 해결 방향에 갇히기 쉽다. 파지 위치가 잘못됐는데 그리퍼 높이만 미세 조정하는 식이다. ASPIRE는 이를 줄이려고 진화적 탐색을 함께 쓴다. 코딩 에이전트가 서로 다른 가설을 담은 여러 후보 프로그램을 한 번에 작성하고, 각 후보를 실행 엔진에서 직접 평가한 뒤, 성적이 좋았던 상위 후보와 남은 실패 기록을 재료로 다음 세대 후보를 만든다. 탐색이 끝나면 최종 프로그램을 디버깅에 쓰지 않은 별도 환경에서 다시 돌려, 특정 조건에서만 우연히 통한 해법이 아닌지 검증한다.

성능은 성격이 다른 세 벤치마크에서 측정됐다. 물체 초기 위치나 명령 표현이 바뀌어도 프로그램이 버티는지 보는 LIBERO-Pro에서 ASPIRE의 여섯 조건 평균 성공률은 72%였고, 비교 대상들은 10%대에 머물렀다. 접촉이 중요한 조작과 양팔 작업을 다루는 로봇스위트에서는 한쪽 팔이 잡은 물체를 다른 팔에 넘기는 핸드오버에서 차이가 가장 컸다. 여러 단계가 이어져 실패 지점을 특정하기 어려운 이 작업에서 비교 대상은 20%, ASPIRE는 92%였다. 장기 작업을 다루는 BEHAVIOR-1K의 라디오 집기에서는 88% 대 56%였다. 축적한 스킬이 처음 보는 작업에도 옮겨가는지 보려고 연구진은 LIBERO-90의 90개 작업에서 스킬을 모은 뒤, 추가 디버깅 없이 프로그램을 한 번만 작성해 장기 작업 벤치마크에 적용했다. 명령 표현이 달라지는 조건에서 38.3%를 기록했는데, 라이브러리가 비어 있을 때는 9.4%였고 25개, 50개, 90개 작업으로 경험을 늘릴수록 수치가 함께 올라갔다. 절대 성공률 자체는 아직 높다고 보기 어렵지만, 짧은 작업에서 얻은 해결 경험이 새 장기 작업의 일부를 실제로 풀어냈다는 점이 요지다. 마지막 실험은 시뮬레이션 밖으로 나간다. 프랑카 로봇 시뮬레이션에서 찾은 접근·파지 전략을 실제 양팔 로봇용 코딩 에이전트에게 참고 지식으로 주고, 실제 실행 결과를 보며 프로그램을 고치게 했다. 두 환경은 로봇 구조와 제어 API가 달라 코드를 새로 써야 하는데도 효과가 있었다. 음료 캔 들어 올리기는 스킬 없이 20회 중 13회 성공하던 것이 19회로 올랐고, 첫 성공 프로그램에 도달할 때까지 쓴 토큰은 약 6,194만 개에서 658만 개로 줄었다. 서랍 조작에서는 스킬이 없을 때 정해진 디버깅 예산을 다 쓰고도 성공 프로그램을 만들지 못한 반면, 스킬을 준 조건에서는 20회 중 11회 성공했다. 영상은 실제 로봇 실험이 몇 가지 작업으로 제한돼 더 넓은 검증이 필요하다는 단서를 달면서도, 앞으로의 피지컬 AI가 대규모 VLA로 갈지 경험을 쌓는 에이전트 시스템으로 갈지, 혹은 VLA가 기본 행동을 만들고 상위 에이전트가 실패를 보완하는 결합 구조가 될지는 아직 열려 있다고 정리한다.

성능은 성격이 다른 세 벤치마크에서 측정됐다. 물체 초기 위치나 명령 표현이 바뀌어도 프로그램이 버티는지 보는 LIBERO-Pro에서 ASPIRE의 여섯 조건 평균 성공률은 72%였고, 비교 대상들은 10%대에 머물렀다. 접촉이 중요한 조작과 양팔 작업을 다루는 로봇스위트에서는 한쪽 팔이 잡은 물체를 다른 팔에 넘기는 핸드오버에서 차이가 가장 컸다. 여러 단계가 이어져 실패 지점을 특정하기 어려운 이 작업에서 비교 대상은 20%, ASPIRE는 92%였다. 장기 작업을 다루는 BEHAVIOR-1K의 라디오 집기에서는 88% 대 56%였다. 축적한 스킬이 처음 보는 작업에도 옮겨가는지 보려고 연구진은 LIBERO-90의 90개 작업에서 스킬을 모은 뒤, 추가 디버깅 없이 프로그램을 한 번만 작성해 장기 작업 벤치마크에 적용했다. 명령 표현이 달라지는 조건에서 38.3%를 기록했는데, 라이브러리가 비어 있을 때는 9.4%였고 25개, 50개, 90개 작업으로 경험을 늘릴수록 수치가 함께 올라갔다. 절대 성공률 자체는 아직 높다고 보기 어렵지만, 짧은 작업에서 얻은 해결 경험이 새 장기 작업의 일부를 실제로 풀어냈다는 점이 요지다.

주요 인사이트

• 로봇 실패를 고치는 데 필요한 것은 더 큰 모델이 아니라 더 자세한 실행 기록이었다. 구성 요소 비교에서 성공률을 14%에서 62%로 끌어올린 것은 탐색 기법이 아니라 단계별 기록을 남기는 실행 엔진이었다.
• '같은 실패처럼 보여도 원인은 다르다'는 문제의식은 로봇에만 해당하지 않는다. 결과 지표 하나만 보는 시스템은 어디를 고쳐야 할지 알려주지 못하며, 이는 관측 가능성을 갖춘 소프트웨어 설계의 문제와 같은 구조다.
• 스킬 라이브러리의 실질은 '재사용 가능성 판정'에 있다. 특정 좌표는 버리고 접근 방향을 바꾸는 절차는 남기는 식으로, 환경이 달라져도 통할 추상 수준을 골라내는 코디네이터의 역할이 축적의 질을 좌우한다.
• 시뮬레이션에서 얻은 경험이 API가 다른 실제 로봇의 토큰 비용을 10분의 1 수준으로 줄였다는 결과는, 전이의 단위가 코드 자체가 아니라 '어느 방향으로 디버깅할지'라는 탐색 지침일 수 있음을 보여준다.
• 제로샷 성공률이 라이브러리 규모에 따라 단조롭게 오른다는 관찰은, 로봇 에이전트의 성능을 데이터 수집이 아니라 해결 경험의 축적량으로 끌어올리는 경로가 존재할 가능성을 시사한다.

자주 묻는 질문

관련 AI 소식