강화학습 기초 정리: 여섯 가지 질문으로 DQN·정책 경사·액터 크리틱 한 번에 이해하기

핵심 메시지

• 모든 강화학습 알고리즘은 여섯 가지 질문에 답하는 선택의 조합이다. 알고리즘 이름은 그 답안지에 붙은 라벨에 가깝다.
• 에이전트에게 환경은 완전한 블랙박스다. 상태와 행동, 보상 사이의 상관만 파악하면 되고 환경의 규칙을 알 필요가 없다. 그래서 같은 알고리즘이 전혀 다른 환경에 쓰인다.
• 가치 기반과 정책 기반의 분기가 첫 갈림길이다. DQN은 각 행동의 품질을 계산해 최선을 고르고, 정책 경사는 상태에서 행동을 바로 내놓는다.
• 매 단계 갱신하는 TD 학습은 자신의 추정에 편향되고, 에피소드를 끝까지 본 뒤 갱신하는 몬테카를로는 분산이 크다. 이 절충이 알고리즘 설계의 핵심 축이다.
• '평균보다 나았는가'를 기준으로 삼는 어드밴티지 개념이 정책 경사의 분산 문제를 풀었고, 이것이 액터 크리틱으로 이어졌다.

쉽게 이해하기

Neural Breakdown with AVB가 만든 이 영상은 강화학습 입문자가 겪는 전형적인 좌절에서 출발한다. 정책 경사, Q러닝, 모델 프리와 모델 기반, 액터 크리틱, PPO 같은 용어를 하나씩 공부해도 서로 연결되지 않는다는 것이다. 제작자는 퍼즐의 각 구역은 맞췄지만 전체 그림을 못 보는 상태에 비유하며, 지도교수가 알려준 여섯 가지 질문의 틀을 소개한다. 아무리 복잡해 보이는 알고리즘도 결국 이 여섯 개의 더 단순한 문제를 푸는 방식의 조합이라는 것이다. 여섯 질문은 이렇다. 첫째, 에이전트는 무엇을 보고 무엇을 할 수 있는가. 둘째, 어떻게 탐색하며 경험을 모으는가, 그리고 그 동기는 외부에서 주어지는가 내부에서 나오는가. 셋째, 실제 환경에서 연습하는가 아니면 자신의 '꿈' 안에서 연습하는가. 넷째, 현재 상태의 좋음을 평가하는가, 아예 평가하지 않는가. 다섯째, 미래 보상을 어떻게 추정하는가. 여섯째, 새로 배우면서도 이미 배운 것을 잊지 않도록 어떻게 균형을 잡는가. 기초 설명도 짚어둔다. 강화학습은 에이전트와 환경으로 구성되고, 탐색 단계에서 경험을 모으고 학습 단계에서 그 경험으로 스스로를 개선하는 일이 반복된다. 에피소드는 초기화부터 종료 상태까지의 여정이며, 각 단계에서 에이전트는 상태를 관측하고 행동을 고르며 보상을 받는다. 관측에서 행동으로의 대응 관계를 정책이라 부르고, 보통 신경망으로 학습한다.

첫 질문은 상태 공간과 행동 공간의 문제다. DQN처럼 이산 행동만 다루는 알고리즘이 있고 TD3나 DDPG처럼 연속 행동을 다루는 알고리즘이 있으며 둘 다 되는 것도 있다. 관측은 장애물 회피에서는 라이다 측정값, 아타리 게임에서는 최근 몇 프레임의 화면, 텍스트 생성에서는 지금까지 생성된 토큰의 문맥이 된다. 여기서 영상이 강조하는 개념적 분리가 중요하다. 에이전트에게 환경은 블랙박스다. 상태 벡터를 받아 행동을 내고 보상을 받아 배우면 되며, 상태 전이 규칙이나 보상 산정 방식을 이해할 필요가 없다. 환경은 상태·행동·보상 공간과 종료 조건, 그리고 내부 동역학을 정의하는 쪽이고, 학습 알고리즘은 탐색과 학습 방식을 정하는 쪽이다. 그래서 논문을 읽을 때 지금 보는 것이 학습 알고리즘인지 환경 설계인지부터 구분하라고 조언한다. 두 번째 질문은 탐색과 활용의 딜레마다. 게임 보스전에서 처음에는 온갖 무기와 기술을 시험하지만 효과가 보이면 그 전략을 반복하게 되는 것과 같다. 이산 행동에서는 일정 확률로 무작위 행동을 하는 엡실론 그리디가 대표적이며, 이 확률을 학습 초기에 높게 두고 점차 낮춘다. 연속 행동에서는 행동에 잡음을 더하거나, 손실 함수에 엔트로피 보너스를 넣어 정책이 지나치게 확신하지 않도록 만든다. 에피소드 시작 위치를 무작위로 바꾸는 방법도 탐색을 넓힌다. 이들은 외부에서 탐색을 지시하는 방식이고, 반대로 새로운 상태를 방문하거나 결과를 예측하기 어려운 행동에 보상을 주어 호기심 자체를 만드는 내재적 탐색도 있다. 세 번째 질문은 분야를 둘로 쪼개는 갈림길이다. 경험에서 정책을 곧바로 배우는 모델 프리 방식이 다수이고, 환경의 동역학을 내부 시뮬레이션으로 배워 그 상상 공간에서 수천 번 연습하는 모델 기반 방식이 다른 한쪽이다. 후자는 야심적이지만 세계 모델을 계속 갱신해야 하는 어려움이 따른다.

네 번째와 다섯 번째 질문에서 알고리즘 계보가 갈린다. 가치 기반은 상태와 행동의 좋음을 먼저 계산한다. 벨만 방정식은 상태 S에서 행동 A의 품질을 '즉시 받는 보상 + 다음 상태에서 취할 수 있는 최선 행동의 품질'로 정의하는 재귀식이다. 다만 다음 상태의 가치를 그대로 물려받으면 최종 승리 상태와 구분이 안 되므로 할인 계수 감마를 곱해 값을 조금 깎는다. 그래서 목표에 빙 돌아가는 경로는 낮은 값을, 곧장 가는 경로는 높은 값을 갖는다. 이렇게 Q값 표를 채우면 정책은 자동으로 나온다. 각 상태에서 Q값이 가장 큰 행동을 고르면 된다. 표 방식은 상태와 행동이 모두 이산적이고 작을 때만 쓸 수 있어, 고차원·연속 입력에는 상태 벡터를 넣으면 각 행동의 Q값을 출력하는 신경망, 즉 DQN을 쓴다. 2010년대 초 DQN과 더블 DQN, 듀얼링 DQN이 화면 픽셀만 보고 아타리 게임을 익힌 성과가 여기서 나왔다. 미래 보상 추정에는 두 방식이 있다. 한 걸음 갈 때마다 자신의 추정치로 갱신하는 시간차(TD) 학습과, 에피소드가 끝날 때까지 기다려 실제로 받은 보상을 할인해 더하는 몬테카를로 방식이다. TD는 매 단계 배울 수 있어 효율적이지만 잘못된 추정을 계속 강화하는 부트스트래핑 문제를 안고, 몬테카를로는 실제 수익을 쓰므로 편향이 없지만 환경과 탐색의 무작위성 때문에 분산이 크다.

가치 계산을 건너뛰는 길도 있다. REINFORCE는 상태를 넣으면 행동 확률을 바로 출력하는 신경망을 학습시키며, 현대 알고리즘 대부분의 조상 격이다. 이산 공간에서는 각 행동의 확률을, 연속 공간에서는 행동 벡터의 평균과 표준편차를 내놓는다. 학습 방식은 에피소드를 끝까지 실행해 각 행동 이후의 총 수익을 몬테카를로로 계산하고, 수익이 높았던 행동의 확률을 올리는 것이다. 문제는 두 가지다. 몬테카를로에서 오는 큰 분산, 그리고 기준선의 부재다. 모든 보상이 양수인 환경이라면 어떤 행동의 확률도 낮추지 못하고 전부 올리기만 한다. 그래서 원시 수익 대신 '받은 수익에서 기대했던 수익을 뺀' 값, 즉 어드밴티지를 쓴다. 평균보다 나은 행동만 강화하는 것이다. 그 기대 수익을 무엇이 알려주는가에서 액터 크리틱이 나온다. 상태를 평가하는 크리틱 신경망을 따로 두고 TD 학습으로 훈련하며, 액터는 정책을 학습한다. A2C는 크리틱이 알려준 평균 수익과 실제 수익의 차이로 어드밴티지를 구해 정책을 갱신하고, PPO는 그 위에 추가 최적화를 올린 형태다.

마지막 질문은 안정성과 가소성의 딜레마다. 정책을 너무 과감하게 바꾸면 이미 익힌 좋은 전략을 잊고, 너무 보수적으로 바꾸면 더 나은 전략을 찾지 못한다. DQN은 두 가지 장치로 대응한다. 과거 경험 수천 개를 저장해 무작위로 뽑아 학습하는 경험 재생 버퍼, 그리고 천천히 갱신되어 안정적인 목표를 제공하는 별도의 타깃 네트워크다. 예측 오차가 큰 경험을 우선 뽑는 우선순위 경험 재생처럼 어려운 사례를 더 자주 학습하는 변형도 있다. 정책 기반에서는 갱신 폭 자체를 제한하는 신뢰 영역 방법이 쓰이며, TRPO와 PPO가 대표적이다. 영상은 LLM에 추론 능력을 학습시킨 딥시크의 GRPO 논문이 이전 정책과 새 정책의 차이를 KL 발산으로 재어 보조 손실로 더하는 방식으로 파국적 망각을 막는다고 설명한다. 여러 관련 과제를 동시에 학습해 일반화를 얻는 방법, 시행착오 대신 사람의 시연을 지도학습으로 모사하는 모방 학습과 행동 복제도 이 질문의 답에 속한다. 정리하면 알고리즘 이름은 임의의 라벨이 아니라 여섯 질문에 대한 특정한 답의 조합이며, 그 선택은 표본 효율, 안정성, 실제 성능까지 연쇄적으로 좌우한다.

주요 인사이트

• 알고리즘을 나열해 외우는 대신 '이 알고리즘은 여섯 질문에 어떻게 답했나'로 읽으면 새 논문도 기존 지형 안에 배치된다. 학습 순서를 바꾸는 것만으로 이해 비용이 줄어드는 사례다.
• 에이전트와 환경을 별개로 보는 습관이 실무에서 특히 유용하다. 성능이 나오지 않을 때 알고리즘을 바꿔야 하는지, 보상과 관측 설계를 고쳐야 하는지 구분하는 기준이 되기 때문이다.
• TD와 몬테카를로의 대립은 편향과 분산의 교환이라는 익숙한 문제의 강화학습 버전이다. 다단계 TD나 일반화 어드밴티지 추정처럼 널리 쓰이는 기법들이 왜 절충 형태인지 설명해 준다.
• 어드밴티지의 핵심은 '기준선을 두라'는 단순한 발상이다. 모든 보상이 양수인 환경에서 REINFORCE가 무력해진다는 예시는 보상 설계가 학습 신호를 어떻게 망가뜨릴 수 있는지 보여준다.
• LLM 추론 학습에 쓰인 GRPO가 KL 발산으로 정책 변화를 억제한다는 설명은, 게임 에이전트에서 쌓인 안정화 기법이 언어 모델 학습에 그대로 이어지고 있음을 보여준다.

자주 묻는 질문

관련 AI 소식