강화학습 입문 정리: Q-러닝·정책 기반·actor-critic 핵심 개념

핵심 메시지

• 강화학습은 정답 예시를 주는 지도학습과 달리, 에이전트가 환경과 상호작용하며 좋은 행동에는 보상을, 나쁜 행동에는 보상을 주지 않는 시행착오로 배운다.
• 지도학습은 효율적이지만 입력·출력 쌍을 갖춰야 해 경직돼 있고, 강화학습은 느리고 비싸지만 데이터셋 없이 복잡한 행동을 유연하게 학습한다.
• 기본 구성 요소는 에이전트, 환경, 상태, 행동, 보상, 그리고 상태를 받아 행동을 정하는 정책이며, 뱀 게임·주식 관리·LLM 수학 풀이 같은 사례로 설명된다.
• 가치 기반인 Q-러닝은 상태와 행동의 미래 보상 합을 예측하는 함수를 시간차(TD) 오차로 갱신하고, 정책 기반인 REINFORCE는 행동을 고르는 정책 자체를 경사로 학습한다.
• 정책(actor)과 가치(critic)를 함께 쓰는 actor-critic이 PPO·TRPO 같은 현대 기법의 바탕이며, RLHF·RLAIF·검증 가능한 보상(RLVR)이 다음 주제로 예고된다.

쉽게 이해하기

발표자는 강화학습을 'LLM과 강화학습' 시리즈의 첫 편으로 소개하며, 이를 컴퓨터가 시행착오로 무언가를 배우게 하는 방식으로 정의한다. 지도학습이 사람이 만든 입력·출력 예시로 스팸 분류나 문서 요약 같은 과제를 가르치는 것과 달리, 강화학습은 에이전트가 세상과 상호작용하며 좋은 행동에 보상을 받아 어떤 행동이 좋고 나쁜지를 스스로 익히게 한다.

두 접근의 성격도 대비된다. 지도학습은 고품질의 입력·출력 데이터셋을 갖춰야 해 효율적이지만 경직돼 있다. 반면 강화학습은 시행착오에 시간이 많이 들어 느리고 비싸지만, 데이터셋 없이도 복잡한 행동을 유연하게 배울 수 있다. 알파고가 바둑에서 그랜드마스터를 넘어선 것, 최근의 추론형 LLM과 이로 촉발된 AI 에이전트·코딩 에이전트가 대표적 성과로 언급된다.

핵심 개념으로는 의사결정자인 에이전트, 그가 존재하는 환경, 환경·에이전트에 관한 정보인 상태, 상태를 바탕으로 실행하는 행동, 그에 따른 보상, 그리고 상태를 받아 어떤 행동을 할지 정하는 정책이 제시된다. 뱀 게임에서는 먹이가 양의 보상, 벽이나 자기 몸에 부딪히는 것이 음의 보상이며, 보상 값은 설계자가 자유롭게 정할 수 있다. 주식 관리자(매수·보유·매도)나, 다음 토큰을 행동으로 삼아 수학 문제를 푸는 LLM도 같은 틀로 설명된다.

학습 방법은 크게 둘로 나뉜다. 가치 기반 방법인 Q-러닝은 상태와 행동을 받아 이후 최적 선택을 가정한 미래 보상 합을 예측하는 Q 함수를 배운다. 관측한 보상과 다음 상태의 최대 가치가 기존 추정보다 좋으면 시간차(TD) 오차가 양수가 되어 추정을 올리고, 나쁘면 내린다. 여기서 감가율(gamma)은 가까운 미래 보상에 더 큰 가중치를 준다.

정책 기반 방법인 REINFORCE는 미래 보상을 최대화하는 최적 정책을 직접 학습한다. 양의 보상을 받은 행동에 기여한 파라미터는 키우고, 음의 보상을 받은 행동에 기여한 파라미터는 줄인다. 갱신이 노이즈가 크기 때문에 기준선(baseline)을 빼 분산을 줄이는데, 이 기준선을 상태 가치 추정 V로 두면 정책(actor)과 가치(critic)를 함께 쓰는 하이브리드, 즉 actor-critic이 된다. PPO·TRPO가 이 계열이며, advantage 함수도 여기서 등장한다. 다음 편에서는 RLHF, RLAIF, 검증 가능한 보상(RLVR)을 다룰 예정이라고 예고한다.

주요 인사이트

• 지도학습과 강화학습의 차이는 '데이터셋을 주느냐, 상호작용하게 두느냐'다. 이 선택이 효율성 대 유연성의 트레이드오프로 이어진다.
• 보상 값 자체에 절대적 기준은 없다. 뱀 게임에서 먹이를 +3, 충돌을 -10으로 두는 식으로 설계자가 문제에 맞게 정할 수 있다는 점이 강화학습의 유연성을 보여준다.
• Q-러닝의 TD 오차는 '기대보다 좋았는가/나빴는가'를 수치화한 것으로, 관측이 기대를 웃돌면 추정을 올리고 밑돌면 내리는 단순한 직관 위에 서 있다.
• 가치 기반은 '행동을 평가'하고 정책 기반은 '행동을 선택'한다. 배우는 함수가 무엇이냐가 두 계열을 가르는 결정적 차이다.
• actor-critic은 정책이라는 배우와 그 행동을 평가하는 비평가를 결합한 구조로, 현대의 PPO·TRPO가 실제로 이 하이브리드를 신경망으로 구현한다.

자주 묻는 질문

관련 AI 소식