확산 정책(Diffusion Policy) 원리와 개발 뒷이야기: 로봇 모방학습의 다중 모드 문제 해결법

핵심 메시지

• 학습 방식이 무엇이든 결과물은 결국 하나의 시각-운동 정책이므로, 정책을 표현하는 방식이 빈약하면 모든 접근법이 함께 병목에 걸린다.
• 확산 정책은 이미지 대신 로봇의 행동 궤적을 생성한다. 가우시안 노이즈에서 시작해 관측 이미지를 조건으로 노이즈를 걷어내며 실행 가능한 행동 시퀀스를 만든다.
• 같은 상황에서 여러 정답이 존재하는 다중 모드 문제가 핵심이다. 행동을 함수로 회귀하면 두 정답의 평균을 내놓고, 그 평균은 대개 실패한다.
• 행동을 한 걸음씩이 아니라 묶음으로 예측하는 것이 성능의 결정적 요인이었고, 발표자는 그 이유를 아직 명확히 설명하지 못한다고 밝힌다.
• 확산 모델 자체보다 중요한 것은 '행동 시퀀스를 생성하고, 학습이 안정적이며, 다중 모드를 담을 수 있는 생성 모델'이라는 조건이다.

쉽게 이해하기

허깅페이스 로봇 연구 발표 시리즈에서 확산 정책(Diffusion Policy) 논문의 저자 청 치가 자신의 연구를 소개했다. 그는 컬럼비아대에서 박사 과정을 밟다 지도교수를 따라 스탠퍼드로 옮겼고, 발표 두 주 전 학위 논문 심사를 마친 상태였다. 발표의 전반부는 방법 설명, 후반부는 이 아이디어에 이르기까지의 과정에 할애됐다.

출발점은 단순하다. 모방학습이든 강화학습이든 최종 산출물은 로봇에 올리는 하나의 시각-운동 정책이다. 그러니 정책을 표현하는 방식 자체가 충분히 표현력 있으면 가장 단순한 행동 복제만으로도 잘 작동할 수 있다는 것이 그의 주장이다. 확산 정책은 텍스트로 이미지를 만드는 확산 모델의 구조를 그대로 가져와, 입력은 카메라 관측이고 출력은 행동 시퀀스가 되게 바꾼 것이다. 가우시안 노이즈에서 시작해 신경망이 노이즈를 걷어내는 방향을 예측하고, 이 과정을 몇 차례 반복하면 깨끗한 행동 궤적이 나온다.

이 방식이 푸는 첫 번째 문제는 다중 모드다. 발표에서 예로 든 푸시-T 과제에서는 T자 물체를 목표 위치로 밀 때 위로 돌아가도, 아래로 돌아가도 똑같이 옳다. 사람이 시연한 데이터에는 두 방식이 모두 들어 있는데, 정책을 하나의 함수로 두고 평균 제곱 오차로 학습하면 모델은 두 궤적의 평균을 배운다. 그는 나무를 피해 운전하는 상황에 빗대, 왼쪽과 오른쪽의 평균은 결국 나무로 돌진하는 것이라고 설명한다. 이런 다중 모드는 특수한 상황이 아니라 '이 정도면 됐다고 보고 다음 단계로 넘어갈지'를 사람이 그때그때 다르게 판단하는 데서 흔하게 생긴다.

기존 대안들의 한계도 짚는다. 행동 공간을 잘게 나눠 분류 문제로 푸는 방식은 차원이 늘수록 필요한 구간 수가 지수적으로 커지고, 차원마다 따로 분포를 예측해 독립적으로 표집하면 데이터에 없던 '유령 모드'가 생긴다. 가우시안 혼합 모델은 이론적으로는 표현력이 충분하지만 수치적으로 최적화하기 어렵다. 확산 모델은 불연속적이고 여러 봉우리를 가진 분포를 자연스럽게 담을 수 있고, 출력 차원이 늘어도 잘 확장돼 긴 행동 시퀀스를 예측할 수 있으며, 학습이 안정적이다. 로봇에서는 어떤 체크포인트가 좋은지 확인하려면 실제 로봇을 돌려야 해서 학습 안정성이 특히 중요하다고 그는 강조한다.

뒷이야기도 흥미롭다. 그는 에너지 기반 모델로 불연속 분포를 표현한 선행 연구에 감탄했지만 재현이 어려웠다고 말한다. 그 방법의 걸림돌은 확률 분포를 정규화하는 상수를 구할 수 없다는 점인데, 행동에 대해 미분하면 그 상수 항이 사라진다는 사실을 확산 모델 설명 그림을 보다 깨달았다는 것이다. 이후 시뮬레이션에서 곧바로 잘 작동하자 오히려 '방법이 너무 단순해 보인다'며 여름 내내 약점을 찾으려 했지만 실패했고, 결국 여러 과제와 기존 방법을 공정하게 비교하는 쪽으로 방향을 틀었다. 실제 로봇 실험에서는 한나절에 모은 160회 시연으로 학습해 첫 시도에 성공했고, 카메라 앞에서 손을 흔들거나 물체를 움직여도 동작이 유지됐다고 한다.

주요 인사이트

• 정책을 일부러 느리게 돌리면 성능이 좋아진다는 관찰이 반직관적이다. 모델은 20Hz로 돌 수 있지만 0.5초 분량의 행동 묶음을 실행하도록 2Hz로 제한했고, 발표자는 이 현상에 대한 만족스러운 이론이 아직 없다고 인정한다.
• 행동 묶음 예측은 원래 성능이 아니라 속도를 위한 임시방편이었다. 초기에는 추론 한 단계에 1초가 걸려, 로봇이 멈추지 않도록 미리 궤적을 뽑아두려던 설계가 결과적으로 성능의 핵심이 됐다. 이후 모델 크기를 줄여 3~4배, 샘플링 단계를 100단계에서 10단계로 줄여 10배를 얻어 추론이 40배가량 빨라졌다.
• 행동 묶음 방식의 다른 계열(조건부 VAE 기반)과 비교하면, 데이터가 적고 한 사람이 모은 경우에는 그쪽이 빨리 수렴하고, 여러 사람이 모아 다중 모드가 커질수록 확산 정책이 유리하다. VAE가 만든 흐릿한 이미지와 확산 모델이 만든 선명한 이미지의 차이를 유비로 든다.
• 확산 정책에는 불확실성 추정이 없지만, 분포 밖 상황에 놓이면 여러 모드 사이를 오가며 머뭇거리는 행동이 나타난다. 발표자는 이를 수학적으로 정식화하지는 못했어도 실전에서 쓸 만한 신호로 본다.
• 지금 병목은 방법이 아니라 데이터라는 것이 그의 결론이다. 그래서 후속 연구는 실험실 밖에서 데이터를 모으는 휴대용 그리퍼 장치로 옮겨갔고, 시각 백본을 얼려 쓰기보다 미세조정하는 편이 낫다는 초기 결론의 수정도 함께 언급한다.

자주 묻는 질문

관련 AI 소식