MIT 6.S191 강화학습 강의 정리: Q러닝과 정책 학습, 자율주행·바둑 사례

핵심 메시지

• 강화학습은 미리 모은 데이터가 아니라 환경과 주고받는 상호작용에서 배우며, 입력과 정답 대신 상태와 행동의 짝을 다룬다.
• Q 함수는 어떤 상태에서 어떤 행동을 했을 때 앞으로 받을 총 보상의 기댓값을 알려주고, 가장 큰 값을 주는 행동을 고르면 된다.
• Q러닝은 행동이 몇 개로 나뉜 상황에서만 쓸 수 있고 같은 상태에 늘 같은 답을 내놓는다는 한계가 있어, 정책을 직접 학습하는 방식으로 이어진다.
• 정책 학습은 행동의 확률을 내놓기 때문에 표본을 뽑아 탐색이 가능하고, 평균과 분산 두 숫자로 연속적인 행동까지 다룰 수 있다.
• 실제 환경에서의 걸림돌은 학습을 위해 '끝까지 실행'해야 한다는 점이며, 사실적인 시뮬레이터로 학습한 정책을 실제 차량에 옮기는 방식이 대안으로 제시된다.

쉽게 이해하기

MIT 딥러닝 입문 강의 6.S191의 다섯 번째 시간은 지도학습·비지도학습에 이어 세 번째 학습 알고리즘인 강화학습을 다룬다. 앞선 강의들이 완전연결망, 순환 신경망, 합성곱 신경망 같은 구조를 다뤘다면, 학습 알고리즘은 구조와 무관하게 적용된다는 점을 먼저 짚는다. 강화학습이 다른 두 방식과 갈리는 지점은 미리 모아둔 데이터가 아니라 환경과의 상호작용에서 배운다는 것이다.

기본 용어는 다섯 가지다. 결정을 내리는 에이전트, 에이전트가 놓인 환경, 에이전트가 환경에 보내는 행동, 환경이 돌려주는 관측, 그리고 그 상태가 얼마나 바람직한지를 알려주는 보상이다. 여기서 중요한 것은 한 시점의 보상이 아니라 남은 시간 동안 쌓이는 총 보상이며, 먼 미래의 보상은 더 크게 할인해 계산한다. 오늘 받는 5달러와 10년 뒤 받는 5달러가 같지 않다는 비유가 쓰인다.

Q 함수는 상태와 행동을 입력받아 그 행동을 했을 때 앞으로 받을 총 보상의 기댓값을 돌려준다. 이 함수를 알고 있다면 가능한 행동을 모두 넣어보고 값이 가장 큰 행동을 고르면 된다. 문제는 그 함수를 어떻게 얻느냐이고, 신경망으로 Q 값을 추정하는 방식이 심층 Q 신경망이다. 상태를 넣으면 행동마다의 Q 값을 한 번에 내놓게 만들어 호출 횟수를 줄인다.

학습은 익숙한 방식으로 이뤄진다. 지금 받은 보상과 앞으로 받을 최대 기대 보상을 합친 값을 목표로 두고, 신경망이 예측한 Q 값과의 차이를 손실로 삼아 역전파한다. 강의는 딥마인드가 아타리 게임들에 이 방법을 적용해 절반이 넘는 게임에서 사람 수준을 넘어섰다는 결과를 소개하면서, 알고리즘 자체는 놀랄 만큼 단순하다고 짚는다.

그러나 Q러닝에는 두 가지 약점이 있다. 행동이 유한한 선택지로 나뉘어야 하고, 같은 상태에는 언제나 같은 행동을 내놓는 결정적 방식이라는 점이다. 그래서 강의 후반부는 Q 값을 거치지 않고 정책을 직접 학습하는 방향으로 넘어간다. 정책망은 각 행동이 최선일 확률을 내놓고, 그 확률에서 표본을 뽑아 행동을 정한다.

확률로 다루면 이점이 생긴다. 항상 최대값만 고르지 않으므로 탐색이 일어나고, 무엇보다 연속적인 행동을 다룰 수 있다. 왼쪽·오른쪽·정지처럼 나뉜 선택지 대신 '얼마나 빠르게 움직일지'를 다뤄야 한다면 행동의 수가 무한해지는데, 정책망은 평균과 분산 두 숫자로 가우스 분포를 예측하고 거기서 표본을 뽑는 방식으로 이 문제를 푼다.

주요 인사이트

• 사람이 Q 값을 직관적으로 가늠하기 어렵다는 점을 아타리 브레이크아웃으로 보여준다. 공을 패들 가운데로 안전하게 받아내는 전략보다, 일부러 옆으로 비켜섰다가 구석을 뚫어 위쪽 블록을 한꺼번에 무너뜨리는 전략의 기대 보상이 더 높았다.
• 정책 경사의 학습 절차는 다섯 단계다. 에이전트를 초기화하고, 정책대로 끝까지 실행하고, 상태·행동·보상 묶음을 모두 기록한 뒤, 보상이 나빴던 구간의 행동 확률은 낮추고 좋았던 구간의 확률은 높이는 것을 반복한다.
• 손실 함수는 선택한 행동의 로그 가능도에 할인된 총 보상을 곱한 값이다. 확신을 갖고 고른 행동이 나쁜 결과로 이어지면 다음 번에는 그 확률이 내려가도록 역전파가 작동한다.
• 2차원 주행 예제에서 모델에게 알려준 것은 '차선을 벗어나면 벌점'이라는 희소한 신호뿐이었다. 운전 규칙도, 사람이 운전한 예시도 주지 않았지만 반복만으로 차선을 유지하는 행동이 나타났다.
• 현실 적용의 진짜 문제는 두 번째 단계, 즉 '끝까지 실행'이다. 실제 도로에서 사고까지 가볼 수 없기 때문에, MIT 연구실은 사실적인 시뮬레이터에서 학습한 정책을 실제 차량으로 옮겨 주행하는 방식을 택했다.
• 바둑에서는 사람의 기보로 지도학습을 먼저 하고 자기 대국으로 강화학습을 이어간 뒤, 각 국면의 가치를 평가하는 층을 더해 승패라는 희소한 신호 문제를 완화했다. 이후에는 사람의 기보 없이 처음부터 자기 대국만으로 학습할 수 있다는 것도 확인됐다.

자주 묻는 질문

관련 AI 소식