강화학습 정책 경사법 수학 풀이, 신경망 파라미터가 보상으로 갱신되는 과정 단계별 정리

핵심 메시지

• 정답을 미리 알 수 없는 상황에서는 일반적인 역전파로 신경망을 학습시킬 수 없어, 추측하고 결과를 받아 보정하는 강화학습 방식을 쓴다.
• 먼저 신경망의 출력 확률로 교차 엔트로피를 정의하고, 연쇄 법칙을 세 번 적용해 그 값을 파라미터로 미분한다.
• 미분값은 '내 추측이 옳았다면'이라는 가정 위에서 계산된 것이므로, 실제 결과에 따른 보상을 곱해 방향을 확정한다.
• 추측이 틀렸을 때 보상을 음수로 두면 미분의 부호가 뒤집혀, 잘못된 방향으로 가던 갱신이 반대 방향으로 교정된다.
• 보정된 미분값을 경사 하강법에 넣어 스텝 크기를 구하고 파라미터를 갱신하는 과정을 반복하면 값이 특정 지점으로 수렴한다.

쉽게 이해하기

스탯퀘스트의 조시 스타머는 신경망에 강화학습을 적용할 때 실제로 어떤 계산이 일어나는지를 하나도 건너뛰지 않고 보여준다. 예제는 단순하다. 감자튀김을 사러 두 가게 중 어디로 갈지 정하는 문제이고, 입력은 배고픔 정도, 출력은 한쪽 가게로 갈 확률이다. 어느 가게가 큰 양을 줄지 미리 알 수 없기 때문에 정답 레이블을 쓰는 일반 역전파를 적용할 수 없고, 그래서 정책 경사법이 등장한다.

출발점은 신경망을 한 번 실행해 확률을 얻는 것이다. 배고픔을 0으로 넣으면 한쪽 확률이 0.5로 나오고 나머지 확률도 0.5가 된다. 이 확률을 길이 1의 선분으로 늘어놓은 뒤 0과 1 사이 난수를 뽑아 어느 쪽으로 갈지 정한다. 여기서 중요한 것은 이 선택이 정답이 아니라 어디까지나 추측이라는 점이다.

추측한 쪽이 옳다고 가정하면 그 확률은 1이어야 하므로, 이상적인 값과 신경망 출력 사이의 차이를 교차 엔트로피로 잰다. 그다음 이 교차 엔트로피를 최적화하려는 파라미터로 미분한다. 교차 엔트로피는 출력 확률로, 출력 확률은 시그모이드 입력으로, 시그모이드 입력은 다시 파라미터로 이어지므로 연쇄 법칙을 따라 세 개의 미분을 곱하면 된다. 영상은 로그 미분과 시그모이드 미분을 각각 유도해 우리가 교과서에서 흔히 보는 형태가 어떻게 나오는지까지 보여준다.

여기서 이 방법의 핵심이 나온다. 계산된 미분값은 '추측이 옳았다'는 전제 위에 있으므로 그대로 쓰면 안 된다. 실제로 감자튀김을 받아 본 뒤, 배가 고프지 않은데 적게 받았다면 좋은 선택이었으니 보상을 1로, 배가 고프지 않은데 잔뜩 받았다면 잘못된 선택이었으니 보상을 -1로 둔다. 이 보상을 미분값에 곱하면, 추측이 맞았을 때는 방향이 그대로 유지되고 틀렸을 때는 부호가 뒤집혀 반대 방향으로 파라미터가 움직인다.

보정된 미분값을 경사 하강법에 넣어 스텝 크기를 구하고 기존 파라미터에서 빼면 새 값이 나온다. 영상은 이 과정을 두 번 반복해 보여 주는데, 배고프지 않을 때 잘못된 선택을 한 쪽의 확률이 0.5에서 0.4로, 다시 0.2로 줄어드는 것을 확인한다. 입력값을 0부터 1까지 두루 넣으며 갱신을 충분히 반복하면 파라미터 값이 한 지점 근처에서 안정되고, 그때 학습이 끝난다.

주요 인사이트

• 정책 경사법의 수식이 복잡해 보여도 뼈대는 단순하다. 지도학습과 똑같이 미분을 구한 다음, 그 결과에 보상을 곱해 방향만 결정해 주는 구조다.
• 추측을 먼저 하고 나중에 보상으로 방향을 정정한다는 설계 덕분에, 정답 레이블이 존재하지 않는 문제에서도 경사 하강법을 그대로 재사용할 수 있다.
• 보상을 음수로 두는 것은 벌점을 준다는 상징적 의미가 아니라, 미분 벡터의 부호를 실제로 뒤집어 갱신 방향을 반대로 돌리는 구체적 계산 장치다.
• 현실에서는 보상 함수가 훨씬 정교하게 설계되지만, 역할은 동일하다. 추측에 근거해 계산된 미분값을 갱신하고 필요하면 교정하는 것이다.
• 학습이 제대로 되고 있는지는 확률의 변화로 확인할 수 있다. 같은 입력에서 잘못된 선택지의 확률이 계속 낮아진다면 알고리즘이 작동하고 있다는 신호다.

자주 묻는 질문

관련 AI 소식