구글 딥마인드 탁구 로봇 개발기: 시뮬레이션 학습부터 아마추어 상대 45% 승률까지의 8년

핵심 메시지

• 2017년 시작한 이 프로젝트는 공 발사기를 상대로는 잘 치던 로봇이 사람과 랠리를 주고받으면 무너지는 문제에 부딪혀 약 2년의 정체기를 겪었다.
• 해법은 사람과 로봇이 주고받은 데이터로 공의 분포를 조금씩 넓혀가며 시뮬레이션 학습과 실물 미세조정을 번갈아 반복하는 방식이었다.
• 경쟁 플레이 단계에서는 하나의 거대한 정책 대신 포핸드·백핸드 등으로 특화된 저수준 스킬 라이브러리와 그중 하나를 고르는 상위 컨트롤러 구조로 바꿨다.
• 완전히 새로운 참가자들과의 사용자 연구에서 로봇은 전체 경기의 45%를 이겼고, 초급자에게는 전승했지만 상급자에게는 한 경기도 이기지 못했다.

쉽게 이해하기

구글 딥마인드에서 로봇 학습을 이끄는 판나그 산케티가 UC 버클리 EMBER 세미나에서 탁구 로봇 프로젝트의 전 과정을 공개했다. 목표는 처음부터 '사람과 경쟁적으로 겨루는 로봇'이었고, 탁구를 고른 이유는 테이블이라는 구조화된 환경 안에서 플레이는 전혀 구조화되지 않은 데다, 빠른 저수준 제어와 상대를 읽는 상위 전략이 동시에 필요한 좋은 벤치마크이기 때문이었다.

하드웨어는 2차원 갠트리 위에 6자유도 로봇 팔을 올린 형태이고, 탁구대 양옆의 스테레오 카메라가 공을 추적한다. 2019년에는 시뮬레이션에서 강화학습으로 훈련한 정책을 실물로 옮겨 공을 받아넘기는 데 성공했다. 하지만 공 발사기를 상대로 한 성공은 사람과의 랠리로 이어지지 않았고, 코로나19까지 겹치면서 팀은 2년 가까이 인식 시스템과 저수준 제어를 다시 만드는 시간을 보냈다.

핵심 깨달음은 '어떤 공이 날아오는지'가 전부라는 점이었다. 사람이 반응해서 치는 두 번째, 세 번째 공의 분포는 발사기로는 흉내 낼 수 없는데, 그 분포를 알려면 이미 랠리를 할 줄 아는 로봇이 필요한 닭과 달걀 문제였다. 팀은 사람이 멈춰 선 로봇에게 공을 넘기는 데이터로 출발해, 시뮬레이션 학습과 10~20분의 실물 미세조정을 반복하며 공의 분포를 단계적으로 넓혀 랠리를 이어가게 만들었다.

경쟁 플레이에는 또 한 번의 구조 변경이 필요했다. 하나의 정책으로는 여러 사람의 넓은 분포를 감당할 수 없어, 기본 모델 위에 포핸드·백핸드, 특정 방향으로 보내기 같은 특화 스킬을 층층이 얹은 라이브러리를 만들고, 각 스킬에는 어떤 공을 잘 처리하고 어디에 떨어뜨리는지를 적은 설명서를 붙였다. 상위 컨트롤러는 경기 중 상대의 약점과 자기 스킬의 오늘 컨디션까지 집계해 그때그때 쓸 스킬을 고른다.

약 30명을 초급·중급·상급으로 나눠 3판 2선승제로 진행한 사용자 연구에서 로봇은 초급자를 모두 이겼고 중급자와는 절반 이상 승리했지만, 상급자에게는 한 경기도 따내지 못했다. 상급자는 약점을 발견하면 집요하게 파고들었기 때문이다. 그럼에도 상급자 상대로 전체 득점의 3분의 1을 가져갔고, 참가자 대부분이 다시 와서 치고 싶다고 답했다.

주요 인사이트

• 이 프로젝트에서 가장 비싼 자원은 알고리즘이 아니라 데이터 분포였다. 팀은 나중에 완성된 분포를 미리 알았다면 반복 없이도 같은 성능에 도달했을 것이라고 검증했는데, 결국 반복 학습의 본질은 '무엇을 훈련할지 알아내는 과정'이었다.
• 스킬을 얼려두고 새 스킬을 덧붙이는 구조는 강화학습의 느린 훈련 속도를 실무적으로 우회한다. 한 번 익힌 포핸드를 다시 배울 필요가 없고, 어떤 스킬이 선택됐는지 추적할 수 있어 디버깅도 쉬워진다.
• 두 로봇이 서로 치며 알파고처럼 성장하는 방식은 실패했다. 한쪽이 분포 밖의 공을 치는 순간 다른 쪽이 멈춰버려 학습이 끊겼고, 결국 사람과의 반복 순환이 더 실용적이었다.
• 언어 모델을 저차원 파라미터의 수치 최적화기로 쓴 실험은 별도의 보상 함수 없이도 자기개선이 가능함을 보여줬다. 로봇의 궤적 기록과 목표 설명만 주면 모델이 원인을 추론해 다음 파라미터를 제안한다.

자주 묻는 질문

관련 AI 소식