모델 기반 강화학습 핵심 정리: PPO부터 불확실성 추정과 앙상블까지, 스탠퍼드 AA203 강의

핵심 메시지

• PPO는 정책이 이전 버전에서 지나치게 멀어지지 않도록 확률 비율을 잘라내는 방식으로, 제약 조건을 푸는 복잡한 최적화 없이 TRPO의 목표를 근사한다.
• 환경과 상호작용해 모은 데이터로 동역학 모델을 학습한 뒤 계획을 세우는 기본 레시피는 단순한 시스템에서만 잘 작동하고, 복잡한 비선형 문제에서는 분포 이동 때문에 무너진다.
• 가장 큰 위험은 계획 알고리즘이 모델의 오차를 '좋은 결과'로 착각해 적극적으로 이용해 버린다는 점이다.
• 가우시안 프로세스와 부트스트랩 앙상블은 모델이 얼마나 확신하는지를 수치로 만들어, 보상을 기댓값으로 평가할 수 있게 해준다.
• 모델 기반 방식의 실질적 이점은 최종 성능보다 표본 효율성이며, 강연자는 실무에서는 여전히 PPO나 소프트 액터-크리틱이 더 성숙한 선택이라고 말한다.

쉽게 이해하기

스탠퍼드의 최적·학습 기반 제어 강의 마지막 회차는 모델 없이 학습하는 강화학습을 마무리하고 모델 기반 강화학습으로 넘어간다. 앞부분에서는 정책 최적화의 대리 목적함수를 다루는데, 로그 확률에 이득(advantage)을 곱한 형태와 이전 정책 대비 확률 비율을 쓰는 중요도 샘플링 형태가 미분하면 같은 정책 경사를 준다는 점을 짚는다. 두 번째 형태가 유용한 이유는 이전 정책으로 모은 데이터에서도 목적함수가 유효해, 새 데이터를 모으기 전에 여러 번 연속으로 정책을 갱신할 수 있기 때문이다.

갱신을 거듭할수록 원래 정책에서 멀어져 이득 추정이 부정확해지므로, TRPO는 두 정책이 만들어내는 행동 분포 사이의 KL 발산을 일정 값 이하로 묶는 신뢰 영역을 도입한다. 파라미터 공간이 아니라 정책 분포 공간에서 거리를 재는 것이 핵심이지만, 제약이 붙은 최적화가 되면서 구현이 까다로워지고 깊은 합성곱 신경망이나 대형 트랜스포머에서는 성능이 약했다. PPO는 같은 목표를 2차 최적화 없이 달성하려는 시도로, 확률 비율을 1-ε과 1+ε 사이로 잘라낸 항과 자르지 않은 항 중 작은 값을 취해 성능에 해로운 방향으로 크게 벗어날 때만 경사가 포화되게 만든다. 강연자는 PPO가 지금 가장 널리 쓰이는 강화학습 알고리즘이라고 평가한다.

모델 기반 강화학습의 기본 레시피는 단순하다. 임의의 정책을 환경에서 굴려 상태·행동·다음 상태 삼중항을 모으고, 회귀나 최대 우도 추정으로 동역학을 학습한 뒤 최적제어 도구로 계획을 세운다. 선형 시불변 시스템처럼 구조가 잘 알려진 경우에는 통하지만, 복잡한 비선형 동역학을 신경망 같은 고용량 모델로 근사하면 학습 때 보지 못한 영역에서 외삽이 어긋난다. 학습된 모델로 계획하는 순간 방문하는 상태 분포가 달라지는, 모방 학습에서 보던 분포 이동 문제가 그대로 재현되며 모델 예측 제어나 데이터 재수집은 부분적 완화책일 뿐이다.

그래서 이날의 본론은 불확실성 정량화다. 데이터가 적을 때 고용량 모델이 과적합하면, 그 위에서 돌아가는 최적화기는 오차가 보상을 부풀리는 방향을 정확히 찾아내는 블랙박스 탐색기가 되어버리기 때문이다. 강의는 관측에 내재한 잡음인 우연적 불확실성과 모델 자체에 대한 인식적 불확실성을 구분하고, 출력 분포의 엔트로피만으로는 후자를 담지 못한다고 지적하며 파라미터에 대한 사후분포를 다루는 베이즈적 접근을 소개한다.

구체적 수단은 가우시안 프로세스와 부트스트랩 앙상블 두 가지다. 전자는 데이터 효율이 높고 사후분포의 해석적 표현을 주지만 행렬 역연산 때문에 고차원 확장이 어렵고, 후자는 독립적으로 학습한 여러 모델이 데이터에서 멀어질수록 갈라지는 성질을 이용해 다봉 사후분포를 경험적으로 근사한다. 이렇게 얻은 불확실성으로 사후분포에서 모델을 뽑아 궤적을 전개하고 보상을 평균 내면 기대 보상을 추정할 수 있으며, 신경망 앙상블과 교차 엔트로피 방법, 모델 예측 제어를 결합한 PETS가 대표적 구현으로 소개된다. 성능 비교에서 모델 기반 방법의 이점은 최종 성능이 아니라 훨씬 적은 환경 상호작용으로 같은 수준에 도달하는 표본 효율성에 있었다.

주요 인사이트

• 정책이 '얼마나 바뀌었는가'를 파라미터 거리로 재는 것과 행동 분포 거리로 재는 것은 전혀 다르다. TRPO가 KL 발산을 택한 이유이자, PPO의 클리핑이 근사하려는 대상도 결국 이 분포 거리다.
• 학습된 모델 위에서 최적화를 돌리는 일은 본질적으로 위험하다. 최적화기는 모델이 틀린 지점 중 보상을 과대평가하는 곳을 정확히 찾아내는 능력을 갖고 있기 때문이다.
• 출력 분포의 분산과 모델 자체의 불확실성은 다른 문제다. 데이터를 똑같이 잘 설명하는 서로 다른 모델이 공존할 수 있다는 사실은 엔트로피만으로는 표현되지 않는다.
• 앙상블이 불확실성 추정으로 작동하는 근거는 정교한 이론이 아니라, 독립적으로 학습된 모델들이 데이터가 없는 곳에서 자연히 갈라진다는 경험적 성질이다.
• 강의가 마지막에 강조한 것은 이 기법들이 경쟁 관계가 아니라는 점이다. 자율주행 스택에서 상위 결정은 폐루프·동적계획 계열이, 궤적 생성은 개루프 기법이, 추종은 모델 예측 제어가, 최종 구동은 PID가 맡으며 종단간 학습은 인지에서 시작해 아래로 내려오는 중이다.

자주 묻는 질문

관련 AI 소식