로봇 강화학습 탐색 전략 정리: 시뮬레이터와 사람 시연 데이터를 제대로 쓰는 방법과 실제 로봇 실험 결과

핵심 메시지

• 시뮬레이터에서 배운 최적 정책을 그대로 실물 로봇에 옮기는 방식은 실패할 뿐 아니라, 실패한 시도에서 얻는 정보도 거의 없다.
• 대신 시뮬레이터로 '어떻게 탐색할지'를 배워 그 탐색 정책을 옮기면, 필요한 시행 횟수가 지수적 규모에서 다항식 규모로 줄어든다.
• 행동 복제로 만든 정책은 잘해야 절반 정도 성공하는데, 확산 정책의 노이즈 공간에서 탐색하면 사람처럼 의미 있는 시도만 하게 된다.
• 실제 로봇 실험에서 25회 남짓의 온라인 시도만으로 성공 동작을 잡아냈고, 여러 설정에서 30~90분의 온라인 경험으로 성공률을 크게 끌어올렸다.
• 사전학습 단계 자체도 행동 복제 대신 시연자 사후분포를 맞추면, 같은 초기 성능을 유지하면서 이후 미세조정 성능이 약 두 배로 좋아진다.

쉽게 이해하기

강연자는 셔츠 다림질이라는 일상적인 과제로 이야기를 연다. 그는 영상으로 방법을 익힌 뒤 직접 해 봤지만 첫 시도에서 주름을 잘못 잡았고, 몇 번의 시행착오를 거쳐서야 제대로 하게 됐다고 말한다. 로봇도 마찬가지로 경험을 통해 배워야 하는데, 지금의 로봇 학습은 대부분 시뮬레이터·인터넷 영상·사람 시연 같은 고정된 데이터에서 배우는 방식에 머물러 있다는 것이 문제의식이다.

각 데이터원에는 뚜렷한 한계가 있다. 시뮬레이터는 천 같은 복잡한 물체의 물리를 제대로 모사하기 어렵고, 인터넷 영상은 양은 많지만 로봇이 어떤 동작 명령을 보내야 하는지와 연결되지 않으며, 사람 시연은 좋지만 비싸고 늘 부족하다. 그렇다고 전통적인 탐색 방식을 쓸 수도 없는데, 사전 지식 없이 시작하는 에이전트는 이론적으로 공간 전체를 탐색해야 하고 이는 실물 로봇에서 몇 달이 걸리는 일이기 때문이다. 그래서 강연자는 질문을 바꾼다. 사람이 그러하듯, 사전 지식을 어떻게 써서 효율적으로 탐색할 것인가.

첫 번째 답은 시뮬레이터의 용도를 바꾸는 것이다. 그는 간단한 예제로 시뮬레이터와 실제 환경의 전이 확률이 조금만 달라져도 최적 정책이 완전히 뒤바뀔 수 있음을 보인다. 더 나쁜 것은 시뮬레이터의 최적 정책이 실제 환경에서 결정적인 상태에 아예 도달하지 못해, 굴려 봐야 아무 정보도 얻지 못한다는 점이다. 반면 탐색 정책은 두 환경에서 동일하게 최적일 수 있고, 이를 옮기면 다항식 수준의 표본으로 좋은 정책을 학습할 수 있다.

두 번째 답은 시연 데이터를 쓰는 방식에 있다. 확산 모델 기반 정책은 노이즈를 시연자 행동으로 바꾸는 사상이므로, 행동 공간이 아니라 노이즈 공간에서 탐색하면 사람이 시도할 법한 몇 갈래 동작만 나오게 된다. 여기에 결과를 되먹여 노이즈 선택 정책을 강화학습으로 조정하면 올바른 동작으로 수렴한다. 강연자는 이 방법이 확산 정책을 현장에서 미세조정할 길을 처음 열어 줬다고 설명한다.

마지막으로 그는 사전학습 자체를 다시 본다. 행동 복제는 시연자 사후분포의 최빈값 하나만 취하는 방식이라, 시연에 없던 동작은 아예 표현하지 못한다. 그렇다고 무작위 잡음을 섞으면 초기 성능이 떨어진다. 대신 사후분포 전체를 맞추면 데이터가 많은 상태에서는 분산이 줄고 데이터가 적은 상태에서는 분산이 커져, 초기 성능은 그대로면서 이후 학습 여지는 넓어진다.

주요 인사이트

• '시뮬레이터로 과제를 푸는 법을 배우지 말고, 탐색하는 법을 배우라'는 것이 강연 전체를 관통하는 한 줄 요약이다. 같은 시뮬레이터를 쓰더라도 무엇을 옮기느냐에 따라 이론적 복잡도가 지수와 다항식으로 갈린다.
• 실패한 정책이 나쁜 이유는 성공하지 못해서가 아니라 정보를 주지 않기 때문이라는 관점이 신선하다. 나사를 못 돌리는 정책은 '이 방법이 안 된다'는 것 외에는 아무것도 알려 주지 않는다.
• 확산 정책은 확률을 명시적으로 쓸 수 없어 표준 강화학습을 적용하기 어려웠는데, 노이즈 공간에서 탐색을 조정하는 우회로가 이 제약을 피해 간다.
• 이 접근은 논문에 머물지 않았다. 바이트댄스 연구진이 양팔 로봇의 신발 끈 묶기에 적용해 성공했고, 딥마인드·피지컬 인텔리전스·지멘스 등에서도 도입을 실험하고 있다고 강연자는 전했다.
• 행동 복제가 사실상 오늘날 기계학습 사전학습의 기본 방식이라는 점을 짚으며 사후분포 기반 사전학습이 로봇 밖에도 시사점을 준다고 덧붙였고, 다음 과제로는 모터 명령을 다듬는 행동 수준 탐색을 넘어 어느 찬장을 열어 봐야 하는지 같은 의미 수준 탐색을 인터넷 사전학습으로 가능하게 하는 방향을 제시했다.

자주 묻는 질문

관련 AI 소식