강화학습 기초: 보상·정책·Q값과 탐험-활용의 균형 쉽게 이해하기

핵심 메시지

• 머신러닝은 크게 세 가지다. 지도학습은 정답을 알려주고, 비지도학습은 답 없이 데이터 구조를 찾으며, 강화학습은 정답 대신 행동이 얼마나 좋았는지 알려주는 ‘보상’ 신호로 배운다.
• 강화학습은 모델도 시뮬레이터도 가정하지 않는다. 미리 생각(계획)할 수 없고, 오직 세계에서 행동하고 보상을 받아 미래 행동을 바꾼다.
• 에이전트는 정책(pi)으로 행동을 고르고, 환경은 그 행동을 실행해 다음 상태와 보상을 돌려준다. 이 상태-행동-보상의 연속을 ‘궤적(trajectory)’이라 하며 학습의 재료가 된다.
• 가장 단순한 형태인 몬테카를로 제어는 여러 궤적에서 얻은 반환값(return)을 평균 내 각 행동의 Q값을 추정하고, Q값을 최적화하는 정책을 택한다.
• 핵심 딜레마는 ‘탐험 대 활용’이다. 엡실론 그리디 정책은 1-ε 확률로 최선의 행동(활용)을, ε 확률로 무작위 행동(탐험)을 택해 둘의 균형을 맞춘다.

쉽게 이해하기

영상은 ‘출근길’이라는 친숙한 결정 문제로 강화학습을 설명한다. 강화학습은 누가 정답을 짚어주지 않지만, 행동이 얼마나 좋았는지를 알려주는 신호(보상)를 받는다. 출근 예시에서는 얼마나 일찍 도착했는지가 보상이며, 비용을 최소화하는 대신 보상을 최대화하는 관점으로 문제를 본다.

이전 편의 몬테카를로 트리 탐색과 달리 강화학습은 모델을 가정하지 않을 뿐 아니라 시뮬레이터조차 없다고 본다. 따라서 미리 머릿속으로 시뮬레이션할 수 없고, 전이 확률과 가치를 모두 직접 행동하며 배워야 한다. 원래 발상은 항상 온라인으로, 생각 대신 행동하고 그 결과로 나아지는 것이다.

영상은 상태와 행동을 셀 수 있는 이산적·분리된 ‘표(tabular)’ 문제를 다룬다. 모든 Q값이나 상태 가치를 표로 적을 수 있는 이 단순한 설정이 강화학습이 시작된 지점이다. 로봇공학처럼 상태가 카메라 이미지나 관절 위치인 복잡한 문제에서는 신경망과 딥러닝으로 추론 가능한 상태를 만들지만, 이 편에서는 다루지 않는다.

학습은 매일 출근하며 정책에 따라 행동을 고르고, 환경이 알려주는 다음 상태와 각 단계의 보상을 기록하는 식으로 진행된다. 하루가 끝나면 얼마나 늦었는지로 스스로에게 보상을 매기고, 다음 날 기록을 보며 좋은 선택을 다시 시도한다. 이렇게 궤적별 보상을 추적해 정책을 조금씩 바꾼다.

몬테카를로 제어에서는 궤적의 끝에서 거꾸로 각 행동의 반환값을 더해 Q값을 구하고, 여러 궤적의 값을 평균 낸다. 이 방식의 한계는 실제 세계에서 실행하는 정책이 항상 엡실론 그리디라, 10년을 학습해도 열 번에 한 번은 무작위 행동을 해 이따금 지각한다는 점이다. 이를 우회하는 오프-폴리시(off-policy) 기법과 시간차(TD) 학습 등 다양한 알고리즘이 이 지점에서 갈라져 나온다.

주요 인사이트

• 강화학습의 근본 제약은 ‘생각 없이 행동으로만 배운다’는 것이다. 시뮬레이터가 없으므로 계획이 불가능하고, 오직 실제 행동의 결과인 보상만으로 정책을 고쳐 나간다. 이것이 지도학습과 결정적으로 다른 점이다.
• 비용 최소화와 보상 최대화는 부호만 뒤집으면 같은 문제다. 출근 예시에서 걸린 시간(비용)에 음수를 붙이면 ‘얼마나 일찍 도착했는가(보상)’가 되어, 두 관점이 수학적으로 동일함을 보여준다.
• 탐험 없이 좋은 선택만 반복하면 더 나은 드문 선택지를 영영 발견하지 못하고, 반대로 늘 무작위로 탐험하면 평균 성능이 크게 나빠진다. 엡실론 그리디는 작은 ε(보통 0.1 또는 0.01 미만)으로 이 균형을 맞추는 실용적 장치다.
• 로봇공학에서는 환경을 시뮬레이터로 대체해 정책을 학습한 뒤 실제 세계에 적용하는 ‘심투리얼(sim-to-real) 전이’를 쓰는데, 이는 아직 풀리지 않은 열린 문제 중 하나다.

자주 묻는 질문

관련 AI 소식