강화학습 핵심 개념: 정답이 없는 신경망을 정책 경사로 학습시키는 원리

핵심 메시지

• 정답(이상적 출력)을 미리 알 수 없으면 일반적인 역전파로는 신경망을 학습시킬 수 없다.
• 강화학습은 "일단 추측하고 결과를 본 뒤 추측을 수정"하는 방식으로 이 문제를 푼다.
• 정책 경사는 추측을 이상값으로 삼아 미분을 계산한 뒤, 보상을 곱해 방향을 바로잡는다.
• 추측이 맞으면 양의 보상, 틀리면 음의 보상을 줘서 미분의 방향을 유지하거나 뒤집는다.
• 여러 입력값으로 반복 학습하면 편향값이 특정 값 근처에 수렴하며 학습이 끝난다.

쉽게 이해하기

조시 스타머는 강화학습의 핵심 아이디어를 감자튀김 가게 선택 문제로 풀어낸다. 배고픔 정도(0~1)를 입력으로 받아 "놈스 가게에 갈 확률(P Norm)"을 출력하는 작은 신경망을 두고, 이 신경망의 편향값 하나를 학습시키는 것이 목표다. 문제는 어느 가게가 큰 그릇 혹은 작은 그릇을 줄지 미리 알 수 없어, 이상적인 출력값을 사전에 정할 수 없다는 점이다.

일반적인 역전파는 학습 데이터에 이상적 출력값이 있어야 작동한다. 출력과 이상값의 차이를 구하고, 그 차이를 편향값에 대해 미분해 기울기가 음수면 편향을 오른쪽으로, 양수면 왼쪽으로 옮긴다. 그런데 이상값을 모르면 차이도, 미분도 구할 수 없어 편향을 어디로 옮길지 알 수 없다.

해결책은 "추측"이다. 예컨대 배고프지 않은 상태(입력 0.0)에서 무작위로 스콰치 가게에 갔다면, 그 선택이 옳았다고 가정하고 스콰치 확률을 이상값 1.0으로 놓는다. 그러면 출력값과 이상값의 차이를 정할 수 있고(구체 계산은 교차 엔트로피를 쓰는 후속 영상에서 다룬다) 미분도 계산할 수 있다. 추측이 맞는지는 실제로 감자튀김을 주문해 확인한다.

이때 보상이 등장한다. 배고프지 않은데 작은 그릇을 받으면 좋은 결과이므로 추측이 맞은 것이라 보상 +1을 준다. 반대로 큰 그릇을 받으면 다 먹지 못하므로 추측이 틀린 것이라 보상 -1을 준다. 미분에 보상을 곱하면, 추측이 맞았을 때는 방향이 유지되고 틀렸을 때는 음의 보상이 방향을 뒤집어 올바른 쪽을 가리킨다. 보상 크기는 상황에 따라 ±2처럼 달라져 더 큰 걸음을 만들 수도 있다.

이렇게 보정된 미분을 경사 하강법에 넣어 편향을 갱신한다. 배고픔 0.0에서 스콰치가 정답이라는 경험이 쌓이면 놈스에 갈 확률이 점점 낮아진다. 0부터 1까지 다양한 배고픔 값으로 수많은 갱신을 반복하면 편향값은 약 -10 부근에 머물며 학습이 끝난다. 결과적으로 배고프지 않으면 항상 스콰치(적은 양)로, 배고프면 항상 놈스(많은 양)로 가게 된다.

주요 인사이트

• 강화학습의 본질은 "정답을 몰라도 일단 추측하고, 결과가 준 보상으로 그 추측을 사후 보정"하는 데 있다.
• 핵심 트릭은 미분에 보상을 곱하는 것이다. 틀린 추측에서 나온 미분도 음의 보상이 방향을 뒤집어 올바르게 만든다.
• 보상은 +1/-1로 고정될 필요가 없다. 상황의 좋고 나쁨 정도를 ±2처럼 크기로 반영해 걸음 폭을 조절할 수 있다.
• 편향값이 더 이상 크게 움직이지 않고 특정 값 근처에서 맴돌면 학습이 수렴했다고 본다.

자주 묻는 질문

관련 AI 소식