로봇 학습과 사람 1인칭 영상 데이터, 2만 시간 사전학습이 보여준 확장 곡선과 남은 과제

핵심 메시지

• 원격조종은 로봇 수와 사람의 시간에 비례해서만 늘어나는 선형 확장이고, 사람이 가진 감각운동 지식을 상당 부분 잃어버리는 손실이 큰 통로다.
• 안경형 기기로 사람의 1인칭 시야와 머리·손 위치를 기록하면 로봇을 쓰지 않고도 학습 데이터를 모을 수 있고, 시각 관성 위치 추정 덕분에 흔들리는 시점을 기준 좌표계로 정렬할 수 있다.
• 사람 데이터와 로봇 데이터를 그냥 함께 학습시키면 잠재 공간에서 두 출처가 분리된 채 남는다. 최적수송으로 두 분포를 맞춰 주자 사람만 시연한 영역에서도 로봇이 동작을 만들어 냈다.
• 사람 데이터 2만 시간으로 사전학습한 30억 파라미터 모델에서 검증 오차가 데이터 양의 로그에 비례해 줄었고, 로봇 시연 한 번에 사람 시연 100여 건을 더하면 새 과제를 꽤 안정적으로 수행했다.
• 여러 형태의 로봇 데이터를 함께 학습하면 사람에서 로봇으로의 전이가 별도 정렬 없이도 나타났다. 전이를 만드는 방법이 하나가 아니라는 뜻이다.

쉽게 이해하기

발표자는 로봇 학습의 최근 진전을 원격조종의 재발견에서 찾는다. 사람이 조종기를 잡고 로봇을 움직이면서 로봇이 본 것과 취해야 할 행동을 함께 기록하면, 사람의 신체적 지능을 로봇으로 옮기는 직접적인 지도 신호가 만들어진다. 인터넷의 지식을 대규모 모델이 흡수한 것과 같은 방식을 물리 세계에 적용하려는 시도인 셈이다.

문제는 그 통로가 좁고 동시에 새고 있다는 점이다. 모을 수 있는 데이터는 로봇 대수와 사람이 조종한 시간에 비례해서만 늘고, 그마저도 사람이 의도적으로 시연할 수 있는 동작에 한정된다. 발표자는 카드를 책상 끝으로 밀어 집어 올리거나 양손이 찼을 때 발로 문을 여는 것처럼 일상에서 아무 생각 없이 하는 동작들을 예로 들며, 원격조종은 이런 행동을 로봇이 따라 하기 쉬운 형태로 단순화해 버린다고 말한다.

그래서 이 연구실의 제안은 로봇을 빼고 사람의 경험을 곧바로 기록하는 것이다. 안경형 기기로 눈높이 시야와 머리·손의 위치를 함께 담고, 시연이 아니라 실제 생활 속 자연스러운 행동을 잡는다. 사람의 시점은 끊임없이 흔들리지만 기기가 제공하는 위치 추정이 안정적이어서, 미래의 손 자세를 현재 관측 좌표계로 옮기면 로봇 학습에 쓸 수 있는 일관된 궤적이 만들어진다. 로봇 쪽에서도 사람이 쓴 것과 같은 안경을 그대로 장착해 센서 차이를 줄였다.

이렇게 얻은 사람 데이터와 로봇 데이터를 한 모델에 섞어 학습시키는 초기 방식은 잘 동작했지만, 두 데이터를 같은 과제와 같은 환경에서 모두 모아야 한다는 한계가 있었다. 사람만 보여 준 일을 로봇이 하도록 만드는 것이 목표인데, 잠재 공간을 들여다보니 두 출처가 여전히 구분되는 상태로 남아 있었다. 후속 연구에서는 최적수송으로 관측과 행동의 잠재 표현을 맞추면서 각 영역의 분포를 무너뜨리지 않는 방식을 썼고, 서랍장의 특정 구역을 사람만 시연한 실험에서 로봇이 그 구역에서도 동작을 만들어 냈다. 완벽하지는 않았지만 다른 비교 대상은 모두 실패했다.

이동하며 조작하는 과제에서는 사람 데이터의 이점이 더 분명했다. 이동 중 원격조종은 매우 어렵고 비용이 크지만 사람은 원래 늘 움직이며 일하기 때문에, 대부분이 이동인 과제는 로봇 데이터 없이도 전이됐고 조작 비중이 큰 과제만 함께 학습이 필요했다. 규모를 키운 실험에서는 2만 시간 분량의 사람 데이터를 사들여 30억 파라미터 모델을 사전학습하고 사람과 로봇이 같은 일을 하는 정렬 데이터로 중간 학습을 거친 뒤 개별 과제에 맞췄는데, 검증 데이터의 행동 예측 오차가 사전학습 시간의 로그에 비례해 줄었다. 로봇 시연 한 번과 사람 시연 100여 건이면 새 과제를 안정적으로 해냈지만, 로봇 시연을 아예 주지 않는 경우는 아직 성공률 10%를 넘기지 못했다.

주요 인사이트

• 이 연구의 진짜 주장은 '사람 영상이 로봇 데이터를 대체한다'가 아니다. 사람과 로봇이 같은 일을 하는 소량의 정렬 데이터가 다리 역할을 해야만 대규모 사람 데이터의 가치가 로봇 성능으로 옮겨온다는 것이다.
• 검증 오차가 성공률을 예측한다는 관찰은 작은 규모에서는 거의 성립하지 않던 성질이다. 규모가 커지자 예측 성능과 실제 수행 능력이 이어지기 시작했다는 점이 이 분야에 실용적인 지표를 준다.
• 전이 문제를 바라보는 두 가지 그림이 공존한다는 정리도 인상적이다. 사람 데이터를 키워 정렬로 잇는 방식과, 애초에 다양한 로봇 형태를 함께 학습시켜 전이가 저절로 나타나게 하는 방식 중 무엇이 최종 답인지는 아직 열려 있다.
• 데이터가 과학보다 빨리 늘고 있다는 발표자의 표현은 이 분야의 현재 상태를 정확히 요약한다. 카메라를 쓰고 집안일을 하면 돈을 받는 앱이 이미 나와 있고, 같은 일을 하는 회사가 100곳이 넘는다.
• 남은 병목은 시각이 아니라 접촉이다. 가방 속에 손을 넣어 물건을 잡는 것처럼 촉각 없이는 아예 알 수 없는 정보가 있고, 근전도 같은 대안은 아직 잡음이 많다는 점을 발표자가 직접 인정했다.

자주 묻는 질문

관련 AI 소식