강화학습 기초 정리: 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 Q값까지 한 번에

핵심 메시지

• 지도학습은 '무엇이 정답이었는지'를 알려 주지만 강화학습은 숫자 하나만 돌려주기 때문에, 보상이 드물고 어떤 행동이 결정적이었는지 가려내기 어렵다는 근본적인 난점이 생긴다.
• 가장 단순한 밴딧 문제에서도 탐색과 활용의 균형이 필요하며, 시도 횟수가 적은 선택지에 보너스를 주는 상한 신뢰구간 방식이 무작정 무작위로 시도하는 방식보다 낫다.
• 상태가 있는 환경은 마르코프 결정 과정으로 표현하고, 미래 보상이 무한히 더해지는 문제는 할인율을 도입해 비교 가능한 값으로 만든다.
• 벨만 방정식은 어떤 상태의 가치를 '다음 보상 + 할인된 다음 상태의 가치'로 자기 자신을 참조해 정의하며, 이를 이용한 정책 평가와 정책 개선의 반복이 최적 정책으로 수렴한다.
• 환경의 작동 방식을 모를 때는 시간차 오차로 가치를 갱신하고, 상태별 가치 대신 상태-행동 쌍의 Q값을 배워야 실제로 어떤 행동을 할지 정할 수 있다.

쉽게 이해하기

AI 안전 교육 프로그램 ARENA의 이 강의는 강화학습을 처음 접한다는 전제로 교과서 세 챕터 분량을 한 시간에 몰아친다. 강사는 먼저 지도학습과의 차이를 분명히 한다. 지도학습에는 정답 표와 미분 가능한 손실 함수가 있어 얼마나 틀렸고 어느 방향으로 가야 하는지가 명확하고 배치 사이 데이터가 서로 독립이지만, 강화학습에서 돌아오는 것은 당근이냐 채찍이냐를 나타내는 숫자 하나뿐이다. 체스를 예로 들면 이기면 1점 지면 -1점이라는 보상만으로는 규칙을 익히는 데만도 엄청난 경험이 필요하고, 이겼다 해도 긴 수순 중 어떤 수가 승패를 갈랐는지 알 수 없는 보상 귀속 문제가 남으며, 세상이 어떻게 돌아가는지 알아보려 무작위로 시도할지 지금 아는 최선을 밀어붙일지도 끊임없이 저울질해야 한다.

가장 단순한 환경으로 여러 대의 슬롯머신 앞에 선 상황이 등장한다. 각 기계의 보상 분포를 모르는 채 어떤 팔을 당길지 정해야 하는데, 지금까지 평균이 가장 높은 기계만 계속 고르면 처음 운 좋게 나온 기계에 갇혀 더 좋은 기계를 영영 시도하지 않게 된다. 가끔 무작위로 고르는 방식은 이를 완화하지만, 이미 나쁘다고 확인된 기계도 똑같이 다시 시도한다는 낭비가 있다. 그래서 시도 횟수가 적을수록 큰 보너스를 얹어 주는 상한 신뢰구간 방식이 등장한다. 한 번도 안 써 본 기계는 무조건 먼저 시도하고, 충분히 써 봐서 나쁘다고 확신하는 기계만 자연스럽게 배제되는 구조다.

상태가 있는 환경은 마르코프 결정 과정으로 정식화된다. 상태 집합과 행동 집합, 상태와 행동에 따라 다음 상태의 확률을 주는 전이 분포, 그리고 보상 함수의 네 요소다. 에이전트의 목표는 앞으로 받을 보상의 합을 최대화하는 것인데, 끝나지 않는 환경에서는 이 합이 발산해 비교가 불가능해진다. 천 년을 놀다가 잘하기 시작한 에이전트와 처음부터 잘한 에이전트가 똑같이 무한대가 되어 버리기 때문이다. 해법은 할인율이다. 미래 보상에 1보다 작은 비율을 거듭 곱하면 무한한 합도 수렴하고, 지금의 보상과 나중의 보상을 견줄 수 있게 된다.

강의의 중심은 벨만 방정식이다. 할인 구조 덕분에 어떤 상태의 가치를 '바로 다음 보상 + 할인된 다음 상태의 가치'로 쪼갤 수 있고, 그 결과 가치 함수가 자기 자신을 참조하는 재귀식이 된다. 정책이 주어지면 이는 연립일차방정식이라 직접 풀 수 있고(정책 평가), 반대로 가치가 주어지면 각 상태에서 가장 좋은 다음 상태로 향하는 행동을 골라 더 나은 정책을 얻을 수 있다(정책 개선). 이 둘을 번갈아 반복하면 정책이 매번 나아지고 정책의 수가 유한하므로 결국 최적에 도달한다. 강사는 미끄러운 격자 세계 예제를 통해 시간당 벌점을 조금만 바꿔도 최적 정책이 안전한 우회로에서 위험한 지름길로, 나아가 빨리 끝내려는 행동이나 벽에 계속 부딪히며 버티는 행동으로까지 달라지는 모습을 보여 준다.

마지막으로 현실적인 제약이 정리된다. 지금까지의 방법은 전이 확률과 보상 함수를 이미 안다고 가정했지만 보통은 알 수 없다. 그래서 실제 받은 보상과 예측값의 차이인 시간차 오차를 계산해 가치 추정을 조금씩 밀어 주는 방식으로 넘어간다. 여기서 왜 상태의 가치만으로는 부족한지도 분명해진다. 어떤 상태가 좋다는 것을 알아도 그 상태로 가는 방법을 모르면 소용이 없기 때문이다. 상태와 행동의 쌍마다 값을 기록하는 Q값이 있으면 현재 상태에서 가장 값이 큰 행동을 고르는 것만으로 정책을 복원할 수 있다.

주요 인사이트

• 강화학습이 어려운 이유를 강사는 피드백의 밀도로 설명한다. 언어모델은 어떤 토큰을 냈어야 하는지까지 정확히 알려 주는 피드백을 받지만, 강화학습 에이전트는 문단 전체를 만들고 나서 '별로였다'는 한마디만 듣는다.
• 탐색 전략의 차이는 실무 감각을 바꾼다. 무작위 탐색은 이미 나쁘다고 아는 선택지까지 똑같이 다시 시도하지만, 불확실성에 보너스를 주는 방식은 '좋거나 아직 모르는 것'만 시도한다는 원칙을 자연스럽게 구현한다.
• 할인율은 단순한 수학적 편의가 아니라 에이전트의 성격을 정하는 손잡이다. 값이 작으면 근시안적이지만 빨리 배우고, 크면 멀리 내다보지만 학습이 느려진다.
• 격자 세계 예제에서 시간당 벌점만 바꿔도 에이전트가 안전한 길을 돌아가거나, 위험을 감수하거나, 심지어 빨리 끝나는 쪽을 택하게 되는 장면은 보상 설계가 곧 행동 설계임을 직관적으로 보여 준다.
• 강의 말미에 나온 보상 조형 이야기는 정렬 문제의 축소판으로 읽힌다. 체스에서 기물을 잡을 때마다 점수를 얹어 주면 에이전트가 대국에서 지더라도 기물만 노리는 식으로 대리 지표에 과적합될 수 있다.

자주 묻는 질문

관련 AI 소식