파쿠르 AI 학습: 30초 영상만으로 사람처럼 움직이는 가상 캐릭터를 만든 연구와 그 한계

핵심 메시지

• 인터넷에서 모은 파쿠르 영상 19개, 합쳐서 30초 분량만으로 가상 인간이 장애물 코스를 통과하도록 학습시켰다.
• 사람 동작을 그대로 따라 하는 학습과 목표 지점에 도달하는 학습을 한 모델이 동시에 받도록 설계한 것이 핵심이다.
• 진짜 사람 동작과 AI가 만든 동작을 가려내는 '심판' 모델을 함께 훈련시켜, 사람다운 동작을 낼수록 높은 점수를 받게 했다.
• 처음 보는 장애물 배치에서도 기술을 조합해 코스를 통과했지만, 긴 코스에서는 성공률이 약 40%에 머문다.
• 논문은 무료로 공개돼 있으며 코드도 이후 공개될 가능성이 있다고 소개됐다.

쉽게 이해하기

가상 캐릭터에게 사람처럼 움직이라고 가르치는 일은 오래된 난제다. 사람의 동작을 그대로 베끼는 방식은 결과가 아름답지만 취약하고 반복적이다. 반대로 목표 달성만 좇는 방식은 상황에 잘 적응하지만 움직임이 사람 같지 않게 망가진다. 영상이 소개한 새 기법은 이 둘 중 하나를 고르는 대신, 사람의 동작을 기억하면서도 필요할 때는 각본을 벗어나겠다는 목표를 내걸었다.

가장 놀라운 대목은 학습 데이터의 양이다. 이 연구가 쓴 파쿠르 자료는 인터넷에서 구한 영상 클립 19개, 시간으로는 30초가 전부다. 영상은 기존 기법들이 같은 과제에서 어떻게 실패했는지도 보여준다. 어떤 모델은 술 취한 사람처럼 비틀거렸고, 어떤 모델은 장애물을 넘는 대신 옆으로 피해 돌아가는 편법을 찾아냈다.

학습 구조는 하나의 캐릭터를 두 개의 교실에 동시에 넣는 것에 비유된다. 첫 번째 교실에서는 사람의 동작을 따라 하는 법을 배운다. 여기서는 사람다운 움직임이 나오지만 본 적 없는 동작은 만들어낼 수 없다. 두 번째 교실에서는 새로운 장애물 코스를 푸는 법을 배우며, 두 교실 모두 캐릭터의 신체 상태와 주변 장애물, 목적지 정보를 함께 제공한다.

두 학습을 이어 붙이는 장치가 '심판' 역할을 하는 모델이다. 심판은 주변 장애물과 함께 주어진 실제 사람의 동작은 진짜로, AI가 만든 동작은 가짜로 판정하도록 훈련된다. 캐릭터는 어설픈 동작을 내면 낮은 점수를, 사람답고 상황에 맞는 동작을 내면 높은 점수를 받는다. 여기에 심판을 안정시키는 항이 하나 더 붙어, 동작이 아주 조금 달라졌다고 해서 판정이 뒤집히지 않게 만든다.

결과물은 길고 다양한 코스, 그리고 처음 보는 장애물 배치에서도 기술을 조합해 통과하는 모습을 보여준다. 다만 한계도 분명하다. 이전 기법들보다 동작 추적 오차는 줄었지만 그 대가로 성공률이 다소 떨어졌고, 긴 코스의 성공률은 약 40% 수준이다. 넘어졌다가 일어서는 복구 동작이 부자연스럽게 나오는 경우도 남아 있다.

주요 인사이트

• 데이터를 더 모으는 대신 학습 구조를 다시 설계해 30초라는 극단적으로 적은 자료로 성과를 냈다는 점이 이 연구의 핵심이다.
• '사람처럼 보이기'와 '목표 달성하기'는 서로 밀어내는 목표인데, 두 학습을 동시에 진행시켜 한쪽을 포기하지 않고 절충했다.
• 심판을 안정화하는 항처럼 눈에 잘 띄지 않는 장치가 실제 결과의 안정성을 좌우한다.
• 동작 추적 오차는 좋아졌는데 성공률은 나빠졌다는 결과는, 지표 하나만 보고 기법의 우열을 판단하면 안 된다는 점을 보여준다.
• 논문이 무료로 공개돼 있다는 사실 자체가, 이런 성과가 특정 기업 안에 갇히지 않고 누구나 확인하고 이어갈 수 있는 자산이라는 의미다.

자주 묻는 질문

관련 AI 소식