시간차 학습과 Q러닝 정리: 몬테카를로부터 SARSA·기대 SARSA까지 강화학습 핵심

핵심 메시지

• 몬테카를로 방식은 에피소드가 끝나야 값을 갱신할 수 있어, 에피소드가 길면 학습이 느려진다. 시간차 학습은 이 제약을 푸는 데서 출발한다.
• 핵심 조작은 간단하다. 아직 보지 못한 나머지 보상을 현재의 가치 추정치로 대신 채워 넣는 것이며, 이렇게 자기 추정을 재사용하는 것을 부트스트래핑이라 부른다.
• 몇 걸음 뒤를 보고 갱신할지 정하는 n과 학습률은 서로 얽혀 있다. n이 작으면 갱신의 분산이 줄어 더 큰 학습률을 감당할 수 있다.
• 배치 학습으로 비교하면 두 방법의 기준 자체가 다르다. 몬테카를로는 데이터에 대한 제곱오차를 줄이고, 시간차 학습은 데이터를 만들어 낸 과정의 가능도를 최대화하는 쪽으로 수렴한다.
• 절벽 걷기 예제에서 SARSA는 안전한 우회로를, Q러닝은 최단 경로를 학습한다. 탐험 확률을 포함해 평가하느냐 아니냐의 차이가 그대로 행동으로 나타난다.

쉽게 이해하기

강화학습에서 가장 중심적이고 독창적인 아이디어를 하나만 꼽으라면 시간차 학습이라는 말이 있다. 이 영상은 그 시간차 학습을 완전히 새로운 것으로 소개하지 않고, 이미 익숙한 몬테카를로 방법에 몇 가지 조정을 가한 결과로 제시한다. 덕분에 배워야 할 개념이 하나씩 늘어나는 대신, 이미 아는 것에서 무엇이 달라졌는지만 따라가면 된다.

몬테카를로의 약점은 분명하다. 한 에피소드가 완전히 끝나야 그 안의 상태 가치들을 갱신할 수 있다. 에피소드가 길면 그 안에서 얻은 유용한 정보를 오래 묵혀 두게 되고, 그 사이 정책이 개선되지 않아 탐험도 비효율적으로 흘러간다. 시간차 학습은 '끝까지 기다리는 대신 n걸음만 보고 갱신하자'고 타협한다. 그러면 보지 못한 뒷부분의 보상을 무언가로 대신해야 하는데, 그 자리에 마지막으로 관측한 상태의 현재 가치 추정치를 넣는다.

이 n은 학습률과 함께 성능을 좌우한다. n을 아주 크게 잡으면 시간차 학습은 몬테카를로와 같아지고, 1로 잡으면 매 보상마다 값을 고치는 성급한 알고리즘이 된다. 영상은 무작위 걷기 예제를 200번씩 반복 실행해 평균과 편차를 함께 보여 주는데, 적절한 설정에서 시간차 학습은 더 빨리 수렴할 뿐 아니라 결과의 흔들림도 작았다. n이 작으면 갱신의 분산이 줄어들어 더 큰 학습률을 쓸 수 있다는 관계도 함께 드러난다.

왜 이런 차이가 나는지는 배치 학습으로 비교하면 선명해진다. 고정된 에피소드 묶음을 두 알고리즘이 추정치가 변하지 않을 때까지 반복 처리하면, 둘은 서로 다른 답에 도달한다. 몬테카를로는 데이터에 대한 제곱오차를 최소화하는 답을, 시간차 학습은 데이터를 만들어 낸 마르코프 보상 과정의 가능도를 최대화하는 답을 낸다. 즉 시간차 학습은 문제의 구조를 직접 활용하는 셈이고, 그 가정이 실제로 성립할 때 더 잘 맞는다. 반대로 마르코프 성질이 깨지는 상황에서는 몬테카를로가 더 견고하다.

여기까지 오면 제어 알고리즘은 변형에 가깝다. 상태 가치 대신 행동 가치를 쓰면 SARSA가 되고, 다음 상태에서 실제 취한 행동 대신 가장 큰 행동 가치를 쓰면 Q러닝이 된다. 다음 행동의 값을 표본 하나로 쓰지 않고 정책의 확률로 가중 평균하면 기대 SARSA다. 절벽 걷기 예제에서 SARSA는 탐험으로 절벽에 떨어질 위험까지 계산해 안전한 길을 택하고, Q러닝은 탐험을 뺀 정책을 평가하기 때문에 벼랑 끝 최단 경로를 학습한다.

주요 인사이트

• 시간차 학습의 본질은 '기다림을 추정으로 바꾸는 것'이다. 관측하지 못한 미래를 현재의 추정치로 대신함으로써 학습 주기를 에피소드 단위에서 걸음 단위로 줄인다.
• n과 학습률은 따로 고를 수 없다. 짧게 보고 갱신할수록 잡음이 줄어 큰 보폭을 감당할 수 있고, 멀리 볼수록 한 에피소드에서 더 많이 배우지만 갱신이 시끄러워진다.
• n을 크게 잡는 것이 늘 나쁘지도 않다. 목표 지점에 처음 도달한 에피소드에서 그 직전 여러 걸음의 값이 한꺼번에 갱신되면, 다음 에피소드에서 그 흔적을 따라가기 쉬워져 탐색이 빨라진다.
• SARSA와 Q러닝의 성능 차이는 알고리즘의 우열이 아니라 '무엇을 평가하고 있는가'의 차이다. 탐험 확률이 포함된 정책을 평가하면 위험을 피하고, 탐험을 뺀 정책을 평가하면 최단 경로를 노린다.
• 영상은 바람 부는 격자 예제에서 세 알고리즘의 성능 차이를 설명하지 못하겠다고 솔직히 인정한다. 어느 알고리즘이 항상 낫다는 이론이 있었다면 나머지는 쓰이지 않았을 것이라는 말이, 강화학습 실무의 성격을 잘 보여 준다.

자주 묻는 질문

관련 AI 소식