강화학습 입문 정리: MIT 6.S191 강의로 배우는 Q 함수, 심층 Q 네트워크와 정책 경사

핵심 메시지

• 강화학습은 미리 모아 둔 데이터셋이 아니라 상태·행동·보상 세 쌍으로 이뤄진 데이터를 스스로 만들어 가며 배우는 방식이다.
• Q 함수는 어떤 상태에서 어떤 행동을 했을 때 앞으로 받을 총 보상의 기댓값이며, 이것만 알면 최적 행동은 모든 행동을 넣어 보고 최댓값을 고르면 된다.
• 심층 Q 네트워크는 행동이 미리 정해진 유한한 목록일 때만 쓸 수 있고 항상 최댓값을 고르기 때문에 확률적인 환경에 약하다.
• 정책 경사 방식은 행동을 확률 분포로 출력해 연속적인 행동 공간과 무작위성을 함께 다룰 수 있다.
• 현실에서 강화학습이 어려운 이유는 데이터 수집이 아니라 '끝까지 가 봐야 한다'는 점, 즉 자동차를 실제로 충돌시켜야 한다는 데 있다.

쉽게 이해하기

MIT의 딥러닝 입문 강좌 6.S191의 다섯 번째 강의는 심층 강화학습을 다룬다. 강사인 알렉산더 아미니는 이 분야가 앞선 강의들과 근본적으로 다른 이유부터 짚는다. 지도학습은 입력과 정답이 짝지어진 데이터셋을, 비지도학습은 정답 없는 입력만을 다루지만, 강화학습은 둘 다 없이 모델이 움직이는 동안 데이터를 직접 만들어 낸다는 것이다. 사람이 세상과 부딪히며 배우는 방식에 훨씬 가깝다는 설명이 뒤따른다.

용어 정리는 에이전트와 환경에서 시작한다. 에이전트는 배달 드론이든 게임 속 캐릭터든 행동하는 주체이고, 환경은 그 주체가 사는 곳이다. 에이전트가 행동을 보내면 환경은 새로운 상태와 보상을 돌려준다. 여기서 상태는 체스판 위 말들의 배치처럼 환경의 스냅숏이고, 보상은 그 행동이 좋았는지를 알려주는 값이다. 상태는 행동의 좋고 나쁨과 무관하게 늘 관찰되지만 보상은 행동의 질에 직접 좌우된다는 구분이 강조된다.

보상은 매 단계 주어질 수도, 체스처럼 게임이 끝날 때 한 번만 주어질 수도 있다. 후자를 희소 보상이라 부르며 강화학습의 대표적인 난관으로 꼽힌다. 또한 총 보상을 계산할 때는 미래의 보상에 할인율을 곱한다. 오늘 받는 5달러와 1년 뒤 받는 5달러의 가치가 다르듯, 먼 미래의 보상은 값을 깎아서 더한다는 직관적인 설명이 붙는다.

강의의 절반은 Q 함수에 할애된다. Q 함수는 상태와 행동을 함께 받아 앞으로 받을 총 보상의 기댓값을 돌려주는 함수다. 이 함수만 주어지면 최적 행동을 고르는 일은 간단하다. 가능한 행동을 모두 넣어 보고 값이 가장 큰 것을 고르면 된다. 실제 구현에서는 효율을 위해 상태만 입력받고 모든 행동의 Q 값을 한 번에 출력하는 형태를 쓴다.

강의 후반은 Q 함수를 건너뛰고 정책 자체를 학습하는 정책 경사 방식으로 넘어간다. 정책은 상태를 받아 행동의 확률 분포를 내놓고, 거기서 표본을 뽑아 행동한다. 이 차이 덕분에 확률적인 환경을 다룰 수 있고, 좌우 세 가지 선택 대신 조향각처럼 연속적인 값도 평균과 분산을 학습하는 방식으로 표현할 수 있게 된다.

주요 인사이트

• 벽돌깨기 게임의 두 정책을 놓고 던진 질문이 인상적이다. 공을 정직하게 받아치는 보수적인 정책과, 구석을 뚫어 공을 위쪽에 가두는 정책 중 후자의 Q 값이 높다. 강사는 사람은 수백 판을 두고 이런 전략을 떠올리기 어렵지만 알고리즘은 수백만 판을 돌리며 사람이 잘 만들지 않는 정책에 도달한다고 정리했다.
• 2015년 딥마인드의 아타리 연구는 화면 픽셀을 합성곱 신경망에 넣어 Q 값을 예측하는, 코드 수십 줄로 구현 가능한 단순한 알고리즘이었다. 그럼에도 절반이 넘는 게임에서 사람 수준을 넘어섰다는 점에서 강사는 이 접근의 확장성에 놀랍다는 평을 남겼다.
• 자율주행 학습 절차에서 진짜 문제는 데이터 기록이 아니라 '충돌할 때까지 달려야 한다'는 조건이다. 학습이 성립하려면 종료 상태에 도달해 거꾸로 되짚어야 하는데, 현실에서 차를 부술 수는 없다. 게임과 시뮬레이션이 강화학습의 주 무대가 된 이유가 여기 있다.
• MIT에서는 이 문제를 데이터 기반 시뮬레이터로 풀었다. 게임처럼 보이는 모델 기반 시뮬레이터 대신 실제 주행 데이터로 사실적인 환경을 만들었고, 2020년 여기서 학습한 자율주행차를 실제 도로에 배치해 처음으로 성공했다고 소개한다.
• 알파고는 사람의 기보를 지도학습으로 흉내 내 출발점을 만든 뒤 자기 자신과 두게 하는 방식이었다. 이후 무작위 상태에서 시작해도 같은 성능에 빠르게 도달하는 것이 확인됐고, 체스 등 다른 게임으로도 옮겨 갔다. 챗봇의 좋아요·싫어요가 보상 모델을 학습시키는 것도 같은 계보에 놓인다.

자주 묻는 질문

관련 AI 소식