PPO 클리핑 원리 쉽게 이해하기: 강화학습에서 큰 정책 업데이트가 위험한 이유와 해법

핵심 메시지

• 지도학습에서 잘못된 한 번의 업데이트는 그 단계만 낭비되지만, 강화학습에서는 망가진 정책이 이후 학습 데이터를 계속 수집하기 때문에 피해가 누적된다.
• 정책 경사법은 '기대보다 좋았던 행동의 확률을 높인다'는 규칙만 있을 뿐, 얼마나 크게 밀어야 하는지는 알려주지 않는다.
• PPO는 새 정책과 데이터를 모은 옛 정책의 확률 비율을 감시하고, 그 비율을 1 주변의 좁은 구간(예: 0.8~1.2)으로 잘라낸다.
• 클리핑만으로는 부족하고, 잘린 항과 자르지 않은 항의 최소값을 취하는 부분이 실제로 하중을 견딘다. 이득은 제한하되 손해는 제한하지 않는 구조다.
• PPO는 TRPO가 2차 최적화로 강제하던 신뢰 영역을 몇 줄의 코드로 근사해, 사람 피드백 기반 ChatGPT 미세조정의 기본 알고리즘이 됐다.

쉽게 이해하기

강화학습이 지도학습보다 까다로운 이유는 실수의 파급 범위에 있다. 이미지 분류에서 잘못된 기울기 한 번은 그 업데이트 하나를 버리는 것으로 끝나지만, 강화학습에서는 방금 망가뜨린 정책이 곧 다음 학습 데이터를 수집하는 주체다. 한 걸음을 너무 크게 내디디면 성능이 무너지고, 그 뒤로 모이는 표본은 전부 망가진 정책에서 나온다.

출발점은 단순한 규칙이다. 정책은 각 상태에서 취할 수 있는 행동에 확률을 매기고, 결과가 기대보다 좋았던 행동은 확률을 올리고 나빴던 행동은 내린다. '기대보다 얼마나 좋았는가'는 어드밴티지로 측정하며, 이 규칙은 결국 어드밴티지로 가중한 로그 확률에 대한 경사 상승이다. 문제는 이 규칙 어디에도 '얼마나 멀리 밀어라'가 없다는 점이다.

그래서 PPO는 원시 로그 확률 대신 새 정책과 데이터를 모은 옛 정책의 비율을 본다. 비율이 1이면 아무것도 변하지 않은 것이고, 1.5로 오르면 그 행동이 50% 더 그럴듯해졌다는 뜻이다. 여기에 어드밴티지를 곱한 대리 목적함수를 그대로 최적화기에 넘기면, 최적화기는 비율을 끝없이 밀어붙여 우려하던 파국적인 한 걸음을 만들어낸다.

PPO의 해법은 민망할 만큼 단순하다. 비율을 1 주변의 좁은 창, 예를 들어 0.8에서 1.2 사이로 자르고 창을 벗어나면 경계값으로 붙여버린다. 어드밴티지가 양수일 때 창 안에서는 목적함수가 올라가지만 1+엡실론을 넘어서면 곡선이 평평해지고, 평평한 목적함수는 기울기가 0이므로 최적화기는 그 행동을 더 밀 유인을 잃는다.

다만 진짜 핵심은 클리핑이 아니라 잘린 항과 자르지 않은 항 중 최소값을 취하는 부분이다. 어드밴티지가 음수인데 업데이트가 실수로 나쁜 행동의 확률을 크게 올려버린 경우, 클리핑만 있으면 그곳도 평평해져 기울기가 0이 되고 실수가 고정된다. 최소값은 이때 자르지 않은 항을 선택해 크게 음수인 값을 남기므로, 기울기가 비율을 계속 되돌린다. 개선은 상한이 있지만 피해는 상한이 없는 비관적 하한이 만들어지는 셈이다.

주요 인사이트

• PPO를 '정책을 제약하는 장치'로 이해하면 절반만 맞다. 영상의 표현대로 클리핑은 정책을 묶는 것이 아니라 멀리 헤맬 유인을 제거한다.
• 목적함수가 비관적 하한이기 때문에 오히려 강하게 최적화해도 안전하다. 쉽게 얻을 수 있는 이득이야말로 이 목적함수가 쫓기를 거부하는 대상이기 때문이다.
• 선행 알고리즘 TRPO는 정책 분포의 이동량에 하드 제약을 걸어 같은 아이디어를 구현했지만 무거운 2차 최적화가 필요했다. PPO는 비율 하나와 클립 하나로 사실상 같은 신뢰 영역을 얻는다.
• 목적함수가 비관적이라 한 배치의 경험을 여러 에폭 동안 재사용해도 안정적이며, 이 단순함과 표본 재사용이 PPO를 기본 선택지로 만들었다.
• 어드밴티지의 부호에 따라 클리핑의 역할이 비대칭이라는 점이 핵심이다. 양수일 때는 천장을 만들고, 음수일 때는 천장을 걷어내 되돌림을 살려둔다.

자주 묻는 질문

관련 AI 소식