로봇 조작 시뮬레이션의 숨은 비용 줄이기: 영상 기반 장면 생성과 리셋 기반 강화학습

핵심 메시지

• 언어와 비전은 사람들이 인터넷을 쓰는 것만으로 데이터가 저절로 쌓였지만, 로봇에는 그런 수동적 데이터 흐름이 없어 원격조작으로 일일이 모아야 한다.
• 시뮬레이션 데이터가 싸다는 말은 원리상 그렇다는 뜻이고, 장면 제작과 보상 설계, 실물과의 오차 보정이라는 숨은 비용이 실제 부담의 대부분이다.
• 휴대폰으로 찍은 짧은 영상에서 서랍과 문이 실제로 열리는 상호작용 가능한 주방 장면을 자동으로 만들어 며칠 걸리던 작업을 몇 분으로 줄였다.
• 시뮬레이션은 데이터를 만드는 곳일 뿐 아니라 정책을 반복해서 평가하는 시험장이며, 실제 환경에서 학습한 정책을 그대로 옮겨 순위를 비교할 수 있었다.
• 보상 함수를 정교하게 설계하는 대신 목표 근처를 포함해 어디서든 초기 상태를 지정하는 방식으로, 희소한 보상만으로 가구 조립 같은 접촉이 많은 동작을 학습시켰다.

쉽게 이해하기

ETH 취리히의 로봇 학습 강의에 초청된 워싱턴대 아비셰크 굽타 교수는 어질러진 집을 로봇이 치우게 하려면 환경마다 제어기를 손으로 짜는 기존 방식으로는 감당이 안 된다는 문제의식에서 출발했다. 감지·계획·실행으로 이어지는 고전적 구조 대신 센서 입력에서 제어까지 하나의 신경망으로 잇는 학습 방식을 택하되, 그 방식을 실제로 굴러가게 만드는 데이터 문제를 어떻게 풀지가 강연의 주제였다.

그는 로봇 데이터가 비싼 이유를 다른 분야와 비교해 설명했다. 이미지와 텍스트 데이터는 사람들이 인터넷을 쓰는 동안 저절로 늘어났지만, 로봇 데이터는 누군가 장비를 들고 현장에 나가야 생긴다. 그래서 실제 로봇에서 나온 데이터는 아니지만 쓸모는 있는 값싼 자료, 즉 생성 모델 출력이나 대규모 영상, 그리고 시뮬레이션에 눈을 돌리게 된다. 이런 자료는 정확하지 않은 데이터지만 그래도 유용할 수 있다는 것이 전제다.

첫 번째 결과는 실제 장면을 시뮬레이션으로 옮기는 작업이다. 학생이 주방에 들어가 짧은 영상을 찍으면, 가우시안 스플래팅으로 형상과 시각을 복원하고 분할 모델과 대형 언어모델로 어떤 부분이 서랍이고 어떤 부분이 냉장고인지 판단해 경첩과 관절을 붙인다. 결과는 정지된 메시가 아니라 문을 열고 물건을 옮길 수 있는 장면이며, 사람이 블렌더에서 며칠씩 다듬던 일이 촬영과 계산만으로 대체된다.

두 번째는 그 안에서 행동을 만드는 방법이다. 강화학습의 어려움은 목표를 우연히 맞힐 때까지 헤매야 한다는 데 있고, 보통은 정교한 보상 함수로 탐색 방향을 잡아준다. 굽타 교수의 학생들은 시뮬레이션에서만 가능한 특권인 임의 리셋을 이용했다. 완성된 조립 상태에서 조금씩 흐트러뜨려 목표 근처의 초기 상태들을 잔뜩 만들고 거기서부터 학습을 시작하면, 시연도 보상 설계도 없이 물체를 밀어 돌리거나 뒤집는 동작이 저절로 나타났다. 같은 코드로 여러 과제를 학습시켰고 바꾼 것은 CAD 모델뿐이었다.

마지막은 실제 로봇으로 옮기는 단계다. 시뮬레이션은 전체 순서 같은 큰 구조는 잘 담지만 접촉력이나 세밀한 물리는 어긋난다. 그래서 시뮬레이션에서 학습한 세계 모델의 장기 예측 부분은 얼려 두고 짧은 구간의 예측만 실제 데이터로 조정하는 방식을 썼다. 처음에는 다리를 끼우지 못하던 로봇이 15분 남짓의 자율 데이터 수집으로 조립을 끝내게 됐고, 사족보행 로봇에도 같은 방법이 적용됐다.

주요 인사이트

• 정확하지 않은 데이터도 자산이 될 수 있다는 관점이 핵심이다. 실제 로봇에서 전문가가 모은 데이터만큼 좋을 수는 없지만, 무엇을 맡기고 무엇을 맡기지 않을지 나누면 비용을 크게 낮출 수 있다.
• 실제 로봇의 가장 큰 병목은 학습이 아니라 평가다. 알고리즘을 바꿀 때마다 사람이 옆에서 수백 번 시도를 돌려야 하는데, 사실적인 시뮬레이션은 이 반복을 대신 떠맡는다.
• 다만 실세계 정책을 시뮬레이션에서 평가하려면 학습 데이터에 시뮬레이션 자료를 조금 섞어야 했고, 사실감이 떨어지는 장면에서는 상관이 크게 나빠졌다.
• 조립을 학습시키는 손쉬운 방법은 거꾸로 분해해 보는 것이다. 완성 상태에서 노이즈를 더해 가며 근처 상태를 만들면 초기 상태 분포를 사람이 설계하지 않아도 된다.
• 물체의 마찰이나 강성을 정밀하게 알아내는 것보다, 적당한 파라미터 범위를 잡고 그 범위 전체에 강인한 정책을 학습시키는 편이 실용적이었다는 답변도 나왔다.

자주 묻는 질문

관련 AI 소식