강화학습 정책 경사(Policy Gradient) 원리: 퐁 게임과 PPO로 이해하기

핵심 메시지

• 정책을 신경망으로 표현해, 공과 패들의 위치·속도를 입력받아 위로 움직일지 아래로 움직일지 확률을 출력하게 만든다.
• 코치가 매 순간 정답을 알려주면 지도학습이지만, 코치 없이 ‘이 행동들의 연속이 패배(또는 승리)로 끝났다’만 알 때가 강화학습이다.
• 어떤 행동이 잘못인지 모르므로, 패배한 게임의 모든 행동에 벌점을, 승리한 게임의 모든 행동에 보상을 준다. 이렇게 하면 강화학습이 지도학습 문제로 바뀐다. 승패는 대개 끝에서 갈리므로 후반 행동에 더 큰 가중치를 준다.
• 정책을 확률적으로 만들면(예: 0.7은 70% 확률로 위로) 무작위성이 생겨, 경사 하강이 빠지기 쉬운 지역 최솟값(local minima)에서 빠져나올 수 있다.
• 위치를 직접 주지 않고 화면 픽셀만 입력해도, 신경망은 ‘어떻게 행동할지’뿐 아니라 ‘어떻게 볼지’까지 학습한다. 이 방식이 정책 경사(policy gradient)이며, 갱신 크기를 제한한 변형이 PPO다.

쉽게 이해하기

영상은 초창기 비디오 게임 퐁으로 시작한다. 왼쪽 상대는 공을 따라 위아래로 움직이는 단순한 정책을 쓰고, 우리는 이와 겨룰 AI 에이전트를 학습시킨다. 정책은 공의 x·y 위치, 두 패들의 위치와 속도 등 여덟 개 입력을 받는 신경망으로, 각 값에 가중치를 곱해 더한 뒤 시그모이드로 0~1 값을 내고 0.5보다 크면 위로 움직인다.

무작위 가중치로 시작한 에이전트는 구석에 숨는 형편없는 플레이어다. 만약 코치가 매 단계 ‘공이 패들 위에 있으니 위로’처럼 정답을 알려준다면, 출력이 0.2(아래)로 틀렸을 때 이를 1.0에 가깝게 밀어붙이도록 오차 함수를 정의하고 가중치를 최적화할 수 있다. 수천 번의 행동으로 학습하면 가중치가 수렴해 제법 괜찮은 플레이어가 된다.

하지만 코치가 없다면? 우리가 아는 것은 ‘이 행동 연속은 패배, 저 연속은 승리’뿐이다. 어느 행동이 책임인지 모르므로 패배한 게임의 모든 행동을 벌하고 승리한 게임의 모든 행동을 강화한다. 이렇게 하면 앞서 푼 지도학습 문제로 환원된다. 다만 승부는 대체로 끝에서 결정되므로 후반 행동을 더 크게 벌하거나 보상하는 편이 낫다. 3000판쯤 학습하면 상대와 비슷해지고, 1만 2000판쯤에서는 패들 모서리로 공을 빠르게 쳐내는 요령을 스스로 발견해 대부분 이긴다.

이 접근의 문제는 신경망이 오차 함수를 경사 하강으로 최소화하다 지역 최솟값에 갇힐 수 있다는 점이다. 그래서 정책을 확률적으로 만들어(0.7이면 70%만 위로, 30%는 아래로) 약간의 무작위성으로 더 넓은 정책을 탐색하게 한다. 정리하면, 무작위 초기 가중치 → 지도학습 → 강화학습 미세조정 순서인데, 놀랍게도 중간 단계를 건너뛰고 무작위에서 바로 강화학습을 돌려도 많은 문제에서 작동한다.

더 나아가 공과 패들 위치 대신 화면 사진(픽셀 뭉치)만 준다면, 정책은 무엇이 공이고 패들인지도 스스로 배워야 한다. 이전 프레임과의 차이로 속도 정보를 넣고, 픽셀을 한 줄로 펼쳐 11개 뉴런의 작은 신경망에 연결한다. 약 600만 판(맥북에어로 거의 일주일)을 학습하면 컴퓨터를 이기며, 특정 뉴런의 가중치를 이미지로 시각화하면 공의 궤적과 패들 위치에 주목하는 패턴이 드러난다. 즉 단순한 신경망이 ‘보는 법’을 익힌 것이다.

주요 인사이트

• 강화학습의 핵심 아이디어는 승패라는 성긴 신호를, 모든 행동에 벌점·보상을 나눠주어 지도학습 문제로 바꾸는 것이다. 어떤 행동이 결정적이었는지 몰라도, 후반 행동에 더 큰 책임을 지우는 방식으로 실용적으로 학습이 가능해진다.
• 확률적 정책은 단순한 무작위성 이상의 역할을 한다. 결정론적 정책은 경사 하강의 지역 최솟값에 갇히기 쉬운데, 행동에 확률을 부여하면 에이전트가 그 함정에서 빠져나와 더 나은 정책을 탐색할 수 있다.
• 시행착오로 배우는 강화학습은 때때로 코치조차 모르는 요령(예: 패들 모서리로 공을 가속)을 스스로 발견한다. 이는 정해진 정답을 모방하는 지도학습과 구별되는 강화학습의 강점이다.
• 위치 대신 픽셀만으로 학습하면 정책이 행동뿐 아니라 지각(보는 법)까지 배운다. 이렇게 정책을 직접 최적화하는 방법을 정책 경사라 하며, 각 갱신 크기를 제한한 변형이 PPO다. 이 기법들이 알파고와 챗GPT 같은 응용을 뒷받침한다.

자주 묻는 질문

관련 AI 소식