강화학습 기초 강의 정리: 정책 경사부터 PPO까지, 언어 모델이 지도학습을 넘어서는 이유

핵심 메시지

• 지도 미세조정은 데이터에 있는 행동을 그대로 흉내 내는 모방 학습이며, 과제 목표와의 불일치·데이터 수집의 한계·실행 중 분포 이탈이라는 세 가지 문제를 안고 있다.
• 강화학습은 모델이 스스로 만든 결과에 보상을 매겨 학습하므로, 잘한 경우뿐 아니라 실패한 경우에서도 학습 신호를 얻을 수 있다.
• 언어 모델의 텍스트 생성은 지금까지 생성한 토큰이 상태, 다음 토큰이 행동, 최종 정답 여부가 보상인 순차적 의사결정 문제로 옮겨 놓을 수 있다.
• 보상 함수와 환경 전이는 미분할 수 없기 때문에, 로그 확률의 기울기에 보상을 곱해 경사를 추정하는 정책 경사 기법이 쓰인다.
• 기본 정책 경사는 학습이 불안정해서, 보상 가중치를 다듬는 할인·베이스라인·어드밴티지와 갱신 폭을 제한하는 PPO의 클리핑이 함께 사용된다.

쉽게 이해하기

강의는 그동안 배운 학습 방식의 한계를 짚는 데서 출발한다. 사전 학습 이후 언어 모델을 다듬는 주된 방법은 지도 미세조정이었고, 그 목적 함수는 데이터에 있는 문장에 높은 확률을 주도록 훈련하는 최대우도였다. 강사는 이를 데이터에 담긴 행동을 그대로 따라 하게 만드는 모방 학습으로 볼 수 있다고 설명한다.

이 관점에서 세 가지 문제가 드러난다. 첫째는 과제 불일치다. 인터넷 게시판 데이터로 학습한 모델을 상담 챗봇으로 쓰면, 공격적인 답을 하지 말라는 목표와 학습 데이터가 어긋난다. 수학 풀이도 마찬가지여서, 인터넷에 있는 풀이가 모델이 내놓기에 최적인 형태라는 보장이 없다. 둘째는 데이터 자체의 한계다. 아직 풀리지 않은 문제를 모델에게 풀게 하고 싶다면, 정답 풀이를 모아둔 데이터셋은 정의상 존재하지 않는다. 셋째는 실행 중 분포 이탈이다. 학습 데이터에 올바른 풀이만 있었다면, 모델이 중간에 실수했을 때 그것을 되돌리는 법은 배운 적이 없다.

강화학습은 이 지점을 다르게 공략한다. 모델이 직접 답을 생성하고, 보상 함수가 그 결과를 평가하며, 그 신호로 모델을 갱신한다. 과제 기준이 보상을 통해 갱신에 직접 반영되고, 데이터도 모델이 만들어낸다. 최대우도가 확률을 올리기만 했던 것과 달리 확률을 낮추는 방향의 학습도 자연스럽게 가능해진다. 강의는 이어서 상태와 행동, 환경 전이와 보상으로 이루어진 마르코프 결정 과정, 정책과 궤적, 반환값 같은 기본 용어를 정리한다.

정책 경사를 실제로 계산하려면 걸림돌이 있다. 보상 함수를 모델 파라미터로 미분하기 어렵고, 게임기나 코드 실행 같은 환경 전이를 역전파로 뚫고 지나갈 수도 없다. 강의가 소개하는 우회로가 1992년 논문으로 잘 알려진 점수 함수 기울기 추정기, 이른바 REINFORCE다. 로그의 미분 공식을 이용해 기울기를 기댓값 형태로 바꾸고, 실제로 수집한 궤적 표본으로 그 기댓값을 근사한다. 결과는 직관적이다. 보상이 높으면 그때 취한 행동의 확률을 올리고, 낮으면 내린다.

강의는 카트폴 예제 코드로 이 알고리즘이 실제로 돌아가는 모습을 보여주는데, 학습 곡선이 상당히 출렁인다. 여기서 두 갈래 개선책이 나온다. 하나는 보상에 곱하는 가중치를 다듬는 쪽으로 시간에 따라 보상을 깎는 할인과 기대 보상을 빼주는 베이스라인, 이를 일반화한 어드밴티지가 있고, 다른 하나는 새 정책과 옛 정책의 확률 비율을 잘라내 한 번의 갱신 폭을 제한하는 PPO다. 베이스라인의 직관은 이렇다. 요약을 잘하는 모델이 요약에서 받은 점수와 정리 증명을 못하는 모델이 증명에서 받은 같은 점수는 의미가 다르니, 기대치를 빼주면 정책 경사가 평균보다 얼마나 나았는지를 기준으로 확률을 조정하게 된다. 이때 기대 보상을 추정하는 도구가 가치 함수이며, 강사는 다음 강의에서 인간 피드백 기반 강화학습과 검증 가능한 보상을 이용한 학습을 다루겠다고 예고한다.

주요 인사이트

• 강의는 강화학습을 언어 모델 전용 기법이 아니라 순차적 의사결정 문제를 다루는 일반적 도구로 소개한다. 아타리 게임과 로봇 제어를 같은 틀로 설명한 뒤 텍스트 생성을 끼워 넣는 순서 자체가 이 점을 강조한다.
• 텍스트 생성은 환경 전이가 생성한 토큰을 뒤에 붙이는 것뿐이라 다른 분야에 비해 단순하다. 강사는 코드 실행이나 웹 페이지 클릭이 개입하는 에이전트 환경에서는 이 부분이 훨씬 복잡해진다고 예고한다.
• 할인은 시간이 지날수록 보상을 깎는 단순한 방식이지만, 어떤 행동이 결과에 기여했는지 가려내는 신용 할당 문제를 정면으로 푸는 것은 아니다. 대신 어떤 환경에도 붙여볼 수 있다는 범용성이 장점이다.
• PPO의 클리핑은 단순히 학습률을 낮추는 것과 다르다. 파라미터 변화량이 아니라 정책이 행동에 부여하는 확률의 변화 비율을 보고 갱신 폭을 조절하기 때문이다.
• 어드밴티지라는 용어는 원래 기술적 정의가 있었지만, 요즘 언어 모델 문맥에서는 정책 경사에 곱하는 가중치를 통칭하는 말로 느슨하게 쓰인다는 지적도 나온다.

자주 묻는 질문

관련 AI 소식