모방학습 완전 정리: 행동 복제의 한계와 DAgger·디퓨전·잠재변수 해법 (ETH 취리히 로봇 학습 3강)

핵심 메시지

• 행동 복제는 전문가의 상태-행동 쌍을 그대로 흉내 내는 회귀 문제지만, 지도학습과 달리 입력이 독립적이지 않아 작은 오차가 누적되며 방문한 적 없는 상태로 밀려난다.
• 전체 오차는 단계 수에 비례해 늘어나는 것이 아니라 제곱에 비례해 커진다는 상한이 수학적으로 유도된다.
• DAgger는 학습 중 정책을 직접 굴려 실제로 방문한 상태를 전문가에게 다시 라벨링받아 데이터에 더하는 방식으로, 이 제곱 오차를 선형으로 낮춘다.
• 히스토리를 넣으면 비마르코프 행동은 완화되지만, 모델이 엉뚱한 신호를 원인으로 착각하는 인과 혼동이 생겨 오히려 나빠질 수 있다.
• 같은 목표를 이루는 방법이 여러 가지인 멀티모달 데이터에서 평균제곱오차는 모든 시범의 평균을 찾게 만들어, 어느 쪽도 아닌 위험한 행동을 낳는다.

쉽게 이해하기

이 강의는 이미지 관측에서 행동으로 가는 정책을 어떻게 학습시킬지에 대한 가장 단순한 출발점으로 모방학습을 다룬다. 사람이 운전하거나 로봇 팔을 원격 조작해 목표를 달성한 궤적을 모아 두고, 로봇이 같은 상태에서 전문가와 최대한 비슷한 행동을 내도록 신경망 파라미터를 맞추는 것이다. 가장 직관적인 구현이 행동 복제(behavior cloning)로, 전문가의 행동과 정책의 예측 사이 차이를 평균제곱오차로 줄이는 회귀 문제로 푼다.

문제는 지도학습이 기대는 독립 동일 분포 가정이 여기서는 성립하지 않는다는 점이다. 고양이 사진 분류에서는 A 사진의 예측이 B 사진의 내용을 바꾸지 않지만, 로봇은 자신의 예측이 다음 관측을 만든다. 아주 작은 오차 하나로 학습에서 본 적 없는 상태에 들어가면 다음 예측도 어긋나고, 이 어긋남이 계속 쌓이며 궤적에서 멀어진다. 낮에 모은 데이터로 밤에 주행하는 것처럼 조명이나 날씨가 달라지는 분포 이동도 같은 문제를 키운다.

그렇다고 행동 복제가 못 쓸 기법이라는 뜻은 아니다. 강의는 2016년 엔비디아가 전방 카메라 픽셀을 조향 명령으로 바로 매핑해 자율주행을 시연한 사례를 든다. 여기서 쓰인 것이 카메라를 하나가 아니라 셋으로 두는 요령이다. 왼쪽을 보는 카메라의 영상에는 항상 '오른쪽으로 조향'이라는 라벨을, 오른쪽 카메라에는 '왼쪽으로 조향'을 붙여 가상의 복구 행동 데이터를 만든다. 사람이 실제로 차를 갓길로 몰지 않고도 복구 정책을 배우게 하는 방법이며, 같은 요령은 취리히에서 사람이 고프로 세 대를 머리에 달고 숲을 걸어 데이터를 모아 드론 비행을 학습시킨 연구에도 쓰였다.

강의는 이 실패를 정량화한다. 정책이 각 시점에서 실수할 확률이 작은 값 엡실론이고 과제 수행에 T 단계가 필요하다고 하자. 지도학습이라면 오차는 단계 수에 비례하지만, 행동 복제에서는 한 번 실수하는 순간 남은 모든 단계에서 비용을 치르게 된다. 첫 실수가 1단계에서 나면 T단계 전부, 2단계에서 나면 T-1단계를 잃는 식으로 합산되어 기대 오차가 제곱으로 커진다. 외줄 타기에서 한 번 균형을 잃으면 다시 줄 위로 올라가는 법을 보여준 시범 자체가 없다는 비유가 붙는다.

해법의 첫 갈래는 전문가가 방문한 상태와 정책이 방문한 상태를 가깝게 만드는 것이다. DAgger(데이터셋 집계)는 정책을 실제로 굴려 어떤 상태를 방문하는지 본 뒤 그 상태에서 전문가라면 어떤 행동을 했을지 라벨을 받아 기존 데이터에 더하고 다시 학습하기를 반복한다. 다만 사람에게 사후 라벨링을 시키는 비용이 크기 때문에, 로봇이 실수하려 할 때 사람이 개입해 나머지를 대신 수행하는 사람 개입형 DAgger가 더 자연스럽다. 운전 교습에서 강사가 사고 직전에만 핸들을 잡는 것과 같다. 그러면 언제 개입해야 하는지를 로봇 스스로 판단하게 만드는 문제가 남는데, 강연자는 자신의 박사과정 연구에서 자연어 지시가 모호할 때 로봇이 후보를 설명하며 사람에게 되묻게 한 사례를 소개한다.

두 번째 갈래는 비마르코프 행동이다. 사람은 현재 관측만 보고 행동하지 않는다. 자전거를 탄 사람을 볼 때도 최근 몇 초의 움직임을 추적해 판단하며, 원격 조작자는 로봇 카메라가 보지 못하는 정보까지 보고 움직인다. 그래서 최근 프레임 몇 장을 함께 넣는 방법이 떠오르지만, 여기서 인과 혼동이 발생한다. 서랍을 열 때마다 그리퍼 힘 센서가 10뉴턴 근처로 튀는 데이터를 학습하면 모델은 시각 정보 대신 그 힘 신호를 당기기 행동의 원인으로 착각하고, 실제 로봇에서 센서 값이 2뉴턴으로 읽히는 순간 아무 동작도 하지 않게 된다.

마지막이자 강의 후반부의 주제는 멀티모달 행동이다. 서랍을 닫는 방법은 손잡이를 잡을 수도, 위에서 누를 수도, 팔꿈치로 밀 수도 있어 사실상 무한하고 모두 성공한다. 이때 평균제곱오차는 모든 시범의 평균을 찾도록 강제하는데, 나무를 왼쪽으로 도는 시범과 오른쪽으로 도는 시범의 평균은 나무로 직진하는 행동이다. 대안으로 가우시안 혼합 분포, 행동 공간을 격자로 나눠 분류 문제로 바꾸는 이산화와 차원별 자기회귀(초기 VLA가 택한 방식), 노이즈를 걷어내며 행동을 만드는 디퓨전, 그리고 잠재변수 모델이 제시된다.

강의는 잠재변수와 목표 조건화를 결합한 사례 연구로 마무리된다. 사용자가 특정 과제 없이 로봇을 자유롭게 조작한 비정형 플레이 데이터에서 임의의 구간을 뽑고 마지막 프레임을 목표로 삼아, 그 구간의 행동열을 재현하도록 학습한다. 사후 인코더는 실제 실행된 행동을 알아보고, 사전 인코더는 초기 상태와 목표 상태만 보고 가능한 행동들의 분포를 내놓으며, 둘 사이의 KL 발산을 줄여 정렬한다. 테스트 시에는 사후 인코더를 버리고 계획 샘플러만 쓴다. 잠재 계획에 조건을 걸어 두면 디코더는 단일 모드 행동만 배우면 되므로 용량이 자유로워지고, 목표 이미지를 자연어 임베딩으로 바꿔 끼우면 라벨이 거의 없는 데이터에서도 언어로 지시하는 제어를 배울 수 있다.

주요 인사이트

• 행동 복제의 취약함은 모델 성능이 아니라 문제 구조에서 나온다. 정책의 예측이 다음 입력을 만들기 때문에, 아무리 잘 맞춘 회귀 모델이라도 학습 분포 밖으로 밀려나는 순간을 피할 수 없다.
• 역설적으로 데이터에 실수와 복구 과정이 들어 있을수록 모방학습은 더 잘 작동한다. 엔비디아의 3카메라 요령은 실제로 사고를 내지 않고 복구 데이터를 만들어 내는 값싼 우회로다.
• 히스토리를 넣는 것은 공짜가 아니다. 용량이 큰 모델일수록 손실을 줄이는 가장 쉬운 지름길을 찾기 때문에, 우연히 상관관계가 높은 센서 값을 인과로 오인하기 쉽다.
• 실제 세계에서는 과제의 성공 여부를 정의하는 것조차 어렵다. 미닫이문을 절반 연 것이 성공인지 아닌지 사람마다 답이 다르며, 그래서 이산적인 과제 목록보다 임의의 초기 상태에서 임의의 목표 상태에 도달하는 목표 도달 문제로 두는 편이 자연스럽다.
• 자기회귀 이산화와 디퓨전은 겉보기에 다르지만 둘 다 반복적인 절차라는 공통점이 있다. 한쪽은 행동의 차원을 따라, 다른 한쪽은 노이즈 제거 단계를 따라 반복한다.

자주 묻는 질문

관련 AI 소식