모방학습 강의 정리: 행동 복제의 복합 오차와 다봉 행동, DAgger와 디퓨전 정책

핵심 메시지

• 모방학습은 전문가의 행동을 그대로 흉내 내는 행동 복제와, 전문가가 최적화한 보상 함수를 되짚는 역강화학습으로 나뉜다.
• 행동 복제는 지도학습과 형태가 같지만, 정책이 만든 상태 분포가 전문가의 상태 분포와 어긋나면서 오차가 시간에 따라 누적된다.
• 여러 정답이 존재하는 작업에서 평균제곱오차로 학습하면 두 해법의 평균을 예측해 오히려 최악의 행동이 나온다.
• 해법은 알고리즘(DAgger), 의도적인 데이터 수집, 분포 전체를 표현하는 모델이라는 세 방향으로 정리된다.
• 행동 복제는 보상 설계가 필요 없고 구현이 쉽지만 시연 품질에 의존하고 탐색이 없어, 그 한계에서 강화학습이 등장한다.

쉽게 이해하기

이 강의는 최적 제어와 학습 기반 제어를 다루는 스탠퍼드 대학원 수업의 한 회차로, 전문가의 시연 데이터를 이용해 정책을 배우는 모방학습을 정리한다. 모방학습은 크게 두 갈래로 나뉜다. 하나는 상태와 제어 입력의 쌍으로 이루어진 시연 데이터에서 정책을 직접 근사하는 행동 복제이고, 다른 하나는 전문가가 속으로 최적화하고 있다고 여겨지는 보상 함수 자체를 추정하는 역강화학습이다.

행동 복제는 얼핏 보면 이미지에 이름표를 붙이는 지도학습과 다르지 않다. 문제는 지도학습이 데이터가 독립적이고 동일한 분포에서 나온다고 가정하는 반면, 제어에서는 정책의 예측이 다음에 마주칠 상태를 바꾼다는 데 있다. 정책이 작은 실수를 하면 전문가가 한 번도 가보지 않은 상태로 흘러가고 거기서 더 큰 실수를 하게 된다. 이론적으로는 한 걸음의 오류 확률이 일정할 때 궤적 길이의 제곱에 비례해 실수 확률이 커지는 것으로 설명된다.

두 번째 함정은 정답이 여러 개인 상황이다. 나무를 지나치는 드론이라면 왼쪽으로 돌든 오른쪽으로 돌든 똑같이 좋은 선택이지만, 이런 데이터를 평균제곱오차로 학습하면 신경망은 두 봉우리의 평균을 예측하도록 유도된다. 결과적으로 나무 정면을 향하는, 어느 쪽으로도 좋지 않은 행동이 나온다. 여러 사람이 각자 다른 방식으로 시연 데이터를 모은 경우 흔히 나타나는 문제다.

복합 오차에 대한 대표적 해법은 DAgger다. 학습 중인 정책을 환경에서 굴려 실제로 방문한 상태들을 모으고, 바로 그 상태들에 대해 전문가가 어떤 행동을 했을지 다시 라벨을 붙인 뒤 기존 데이터에 합쳐 재학습하는 과정을 반복한다. 정책이 실패하는 지점을 골라 전문가에게 물어보는 셈이라 데이터 효율이 좋지만, 전문가를 계속 불러야 하므로 상황에 따라 비용이 크다. 학습자가 확신 없는 상태에서만 질의하거나, 사람이 지켜보다가 개입하는 변형도 소개된다.

데이터 수집 단계에서 해결한 사례도 있다. 10년 전 자율주행 연구는 차량에 중앙·좌·우 세 대의 카메라를 달고, 좌우 카메라 영상을 차가 차선 중앙에서 벗어난 상황으로 간주해 되돌아오는 조향각을 붙이는 방식으로 복구 데이터를 만들었다. 등산로를 나는 드론 연구도 고프로 세 대를 머리에 얹고 걸으며 같은 방식으로 좌회전·우회전 라벨을 생성했다. 일부러 도로를 벗어나 위험한 데이터를 모으지 않고도 교정 행동을 학습시키는 요령이다.

주요 인사이트

• 완벽한 시연만 모으는 것이 오히려 독이 될 수 있다. 실수가 전혀 없는 좁은 데이터로 배우면, 실제 배치 후 정책이 실수했을 때 어떻게 되돌아와야 하는지에 대한 정보가 데이터에 없다.
• 다봉 분포를 담으려면 출력 표현부터 바꿔야 한다. 행동을 이산화하면 교차 엔트로피만으로도 여러 봉우리를 표현할 수 있지만 차원이 커지면 칸 수가 폭발하고, 가우시안 하나로는 두 봉우리를 담지 못한다.
• 차원 폭발을 피하는 방법으로 결합 분포를 조건부 분포의 곱으로 분해해 한 차원씩 순차 예측하는 방식이 쓰인다. 로봇 정책에 트랜스포머를 쓰는 구현이 정확히 이 형태로, 조향각을 먼저 예측하고 그것을 조건으로 가속을 예측하는 식이다.
• 최근에는 잡음에서 출발해 목표 분포의 표본으로 옮겨 가는 디퓨전과 플로우 매칭이 연속 행동 분포 표현에 널리 쓰인다. 플로우 매칭은 잡음 표본과 데이터 표본을 직선으로 잇고 그 속도장을 학습하는 방식으로 설명된다.
• 한 번에 한 행동이 아니라 앞으로 K 스텝의 행동을 한꺼번에 예측하는 액션 청킹이 현재 로봇 정책의 주류다. 추론 시간을 벌 수 있고, 매 스텝 정책을 새로 호출할 때 생기는 흔들림이 줄어 제어가 부드러워진다.
• 보상을 다시 끌어들이는 절충안도 있다. 누적 보상이 기준을 넘는 궤적만 걸러 쓰거나 가중치를 주는 방법, 그리고 목표 상태나 목표 성능을 조건으로 주는 정책이 대표적이다. 목표 조건부로 보면 실패한 궤적도 '그 상태에 도달하는 법'의 좋은 예시가 된다.

자주 묻는 질문

관련 AI 소식