모방학습 강화학습 차이 정리 — 스탠퍼드 AA203 14강, 행동 복제부터 역강화학습과 가치 함수까지

핵심 메시지

• 모방학습에는 무엇이 좋은 행동인지 알려 주는 교사가 있고, 강화학습에는 행동이 얼마나 좋은지 점수로만 알려 주는 척도가 있다. 강의는 이 차이가 두 방법론의 출발점이라고 짚는다.
• 행동 복제는 전문가 시연을 지도학습으로 흉내 내는 가장 단순한 방식이지만, 학습된 정책이 스스로 만들어 낸 상황을 다시 마주하면서 학습 데이터와 실제 상황의 분포가 어긋나는 문제를 안고 있다.
• 역강화학습은 정책이 아니라 보상 함수를 시연에서 되찾는 접근으로, 좋은 운전처럼 수치로 적어 내기 어려운 목표를 다룰 때 쓸모가 있다.
• 강화학습은 보상이 늦게 도착하기 때문에 어떤 행동이 성과에 기여했는지 가려내는 신용 할당 문제를 안고 있고, 데이터가 독립 동일 분포라는 통계 학습의 기본 가정도 깨진다.
• 최신 자율 시스템 스택은 모방학습과 강화학습 중 하나를 고르지 않는다. 사전학습, 지도 미세조정, 강화학습이 단계별로 역할을 나눠 쌓이는 구조라는 것이 강의의 마무리다.

쉽게 이해하기

스탠퍼드 온라인이 공개한 AA203(최적 제어와 학습 기반 제어) 14강은 앞선 강의에서 다룬 학습 기반 제어를 정리한 뒤 모방학습과 강화학습으로 넘어간다. 앞부분의 복습은 시스템 식별과 적응 제어를 다시 짚는데, 강사는 기준 모델을 따라가도록 파라미터를 직접 갱신하는 방식과 데이터 적합 오차를 줄여 파라미터를 추정하는 방식의 성격 차이를 설명한다. 후자는 모델과 제어기를 자유롭게 조합할 수 있는 대신 파라미터 추정이 정확해야 안정성을 보장하기 쉽다는 점이 함께 언급된다.

본론에서 강사는 두 학습 방식을 철학의 차이로 소개한다. 모방학습은 전문가가 어떤 행동을 했는지 알려 주는 데이터를 쓰고, 강화학습은 어떤 행동이 얼마나 좋았는지를 알려 주는 보상만 쓴다. 그래서 모방학습은 시연을 만든 사람의 실력 이상으로 잘하기 어렵다는 한계를 처음부터 갖는다고 강의는 지적한다.

모방학습의 대표적인 방법인 행동 복제는 전문가 시연 데이터셋을 모아 지도학습으로 정책을 학습시키는 구조다. 강사는 이를 오차 최소화로도, 최대 가능도 추정으로도 쓸 수 있다고 설명하면서 실제로는 음의 로그 가능도를 최소화한다고 덧붙인다. 실제로 작동한 초창기 사례로는 1980년대 후반 카네기멜런대의 자율주행 연구가 언급된다.

행동 복제가 일반적인 지도학습과 달라지는 지점은 데이터가 고정돼 있지 않다는 데 있다. 학습된 정책이 실제로 움직이기 시작하면 정책 스스로가 마주하는 상태의 분포가 학습 데이터와 달라지고, 이미지 데이터처럼 인터넷에서 긁어모을 수 있는 것과 달리 로봇 시연 데이터는 수집 비용도 훨씬 비싸다. 이런 문제를 다루는 기법들은 다음 강의로 넘긴다.

강화학습 파트에서는 상태, 행동, 보상, 정책 같은 구성 요소를 정의한 뒤 가치 함수를 중심에 놓는다. 가치 함수는 특정 상태에서 특정 정책을 따를 때 기대되는 누적 보상을 뜻하며, 정책에 종속된 개념이라는 점이 강조된다. 알고리즘 분류는 모델을 추정하거나 알고 쓰는지에 따라 모델 기반과 모델 프리로, 목적 함수를 직접 최적화하는지 가치 함수를 거쳐 가는지에 따라 정책 기반과 가치 기반으로 나뉘며, 선택 기준은 표본 효율과 안정성 사이의 절충이라고 정리된다.

주요 인사이트

• 모방학습의 한계는 알고리즘이 아니라 데이터의 성격에서 온다. 시연이 곧 정답이라고 가정하는 순간 성능 상한이 시연자에게 묶이므로, 데이터 품질 관리가 곧 성능 관리가 된다.
• 분포 이동은 지도학습에 없던 문제라는 설명이 실무적으로 중요하다. 학습과 배포가 분리된 일반 모델과 달리, 스스로 행동해 다음 입력을 만드는 시스템은 배포 자체가 데이터 분포를 바꾼다.
• 역강화학습의 가치는 보상을 대신 써 준다는 데 있다. 무엇이 좋은 결과인지 사람마다 해석이 다른 문제에서는 목표를 수식으로 적기보다 사례에서 뽑아내는 편이 현실적일 수 있다.
• 체스 예시로 설명된 신용 할당 문제는 보상이 드물고 늦은 과제 전반에 해당한다. 가치 함수를 추정하려는 시도 대부분이 결국 이 문제를 우회하려는 장치라는 관점이 강의의 뼈대다.
• 강의 마지막의 자율주행 사례는 방법론 선택보다 조립이 중요해졌음을 보여 준다. 인터넷 규모 사전학습, 시연 기반 미세조정, 마지막 성능을 끌어올리는 강화학습이 한 파이프라인 안에 층으로 쌓인다.

자주 묻는 질문

관련 AI 소식