강화학습 기초 강의 정리: 가치 반복부터 Q러닝, DQN, DDPG까지 로봇 학습의 흐름

핵심 메시지

• 모방 학습은 전문가 시연의 품질에 전적으로 의존하며 전문가보다 잘하게 될 수 없다는 천장을 갖는데, 강화학습은 그 천장을 깨려는 시도다.
• 보상이 계단처럼 끊겨 있어 미분이 안 되더라도, 정책 파라미터에 대한 기대값은 매끄럽기 때문에 경사하강법으로 최적화할 수 있다.
• Q 함수는 학습 중에 환경 동역학을 함수 안에 흡수해, 실제 로봇에서 행동을 고를 때 동역학 모델을 다시 조회할 필요를 없앤다.
• Q러닝은 다음 상태에서 최댓값을 취하기 때문에 어떤 정책이 데이터를 모았든 상관없는 오프폴리시 알고리즘이 된다.
• 로봇 팔처럼 연속 행동 공간에서는 최댓값을 열거할 수 없어 이산화, 샘플링, 그리고 별도 신경망으로 최댓값을 학습하는 DDPG라는 세 갈래 해법이 쓰인다.

쉽게 이해하기

ETH 취리히의 '로봇 학습: 기초부터 파운데이션 모델까지' 강의 4강에서 오이어 메스는 강화학습을 다룬다. 강의는 앞선 모방 학습 회차를 되짚으며 시작한다. 모방 학습에서는 전문가가 상태와 행동으로 이뤄진 시연 데이터를 주고, 정책은 그 전문가를 흉내 내도록 학습된다. 자율주행을 예로 들면 도로를 관찰해 조향 결정을 내놓는 식이다. 문제는 이 방식이 전문가의 품질에 완전히 매여 있고, 원리적으로 전문가보다 나아진다는 개념 자체가 없다는 점이다.

강의는 마르코프 결정 과정을 복습한 뒤 흥미로운 질문을 던진다. 도로 위에 있으면 보상 +1, 절벽으로 떨어지면 -1을 주는 장난감 예제에서 보상 함수는 계단처럼 불연속이라 경사하강법을 바로 적용할 수 없는데도 학습이 되는 이유는, 강화학습이 보상 자체가 아니라 기대값을 최대화하기 때문이다. 이어 가치 반복과 정책 반복이 소개된다. 정책 평가로 현재 정책이 얼마나 좋은지 재고 탐욕적 개선으로 더 나은 정책을 만드는 두 단계를 번갈아 수행하면, 결정적 정책의 공간이 유한하므로 최적 정책으로 수렴한다. 다만 이 방법들은 실행 시점에 동역학 모델이 필요해, 매 시점 모든 후보 행동의 전이 분포를 따지기에는 너무 느리고 어수선한 현실의 동역학을 안다고 가정하기도 어렵다.

여기서 Q 함수의 동기가 나온다. 학습 중에 동역학에 대한 기대값을 미리 계산해 Q 값 안에 넣어두면 실행 시점에는 조회와 최댓값 선택만 하면 되고, Q러닝은 그 기대값마저 실제 경험에서 얻은 한 개의 표본으로 대체해 세상 자체를 시뮬레이터처럼 쓴다. 강의는 학생과의 문답으로 Q러닝이 오프폴리시인 이유를 짚는데, 다음 상태에서 최댓값 연산자가 최선의 행동을 고르므로 그 전이를 어떤 정책이 만들어냈는지는 무관하다는 것이다. 무작위 에이전트든 예전 정책이든 사람 시연이든 섞어 써도 된다. 반대로 최댓값 대신 '실제로 다음에 할 행동'을 쓰는 SARSA는 온폴리시라, 절벽 옆 과제에서 Q러닝이 벼랑 끝 최단 경로를 찾는 동안 떨어질 위험을 피하는 안전한 경로를 배운다.

규모를 키우는 대목에서는 DQN이 등장한다. 표 대신 심층 합성곱 신경망으로 Q 함수를 표현해 원시 픽셀에서 곧바로 학습하며, 같은 구조와 하이퍼파라미터로 49개 아타리 게임을 학습했다는 일반성이 핵심이었다. 이를 가능하게 한 두 장치가 경험 재생 버퍼와 지연된 타깃 네트워크로, 전자는 연속된 전이의 시간적 상관을 끊어 표본을 근사적으로 독립 동일 분포처럼 만들고 후자는 파라미터를 얼려둔 사본으로 타깃을 계산해 학습이 발산하는 것을 막는다. 잡음 섞인 추정값의 최댓값이 참값보다 커지는 과대추정 편향은 행동 선택과 평가를 서로 다른 네트워크에 맡기는 더블 DQN이 완화한다.

마지막으로 연속 행동 공간 문제가 다뤄진다. 무한한 행동을 열거해 최댓값을 구할 수 없으니 세 가지 길이 제시되는데, 행동 공간을 격자로 쪼개는 이산화는 간단하지만 자유도가 늘면 폭발하고, 몬테카를로 샘플링과 그 개선판인 교차 엔트로피 방법은 표본을 좋은 영역으로 좁혀가지만 실행 시점마다 많은 순전파가 필요하다. 세 번째가 DDPG로, Q 값을 최대화하는 행동을 직접 내놓는 '액터' 네트워크를 따로 두어 값비싼 반복 탐색을 한 번의 순전파로 접는다. 다만 하이퍼파라미터에 예민하고 탐색용 잡음 크기를 환경마다 손으로 맞춰야 하는 까다로운 알고리즘이라는 단서가 붙는다.

주요 인사이트

• 강의가 그린 계보는 '보장'과 '적용 범위'의 맞교환으로 읽힌다. 가치 반복과 정책 반복은 수렴을 보장하지만 표 형태의 작은 환경에 갇히고, 심층 강화학습으로 갈수록 보장은 사라지지만 이미지 관찰과 연속 행동을 다룰 수 있게 된다.
• 동역학 모델을 언제 조회하느냐가 설계의 갈림길이다. 실행 시점에 조회하면 고주파 제어가 불가능해지므로, Q 함수는 그 계산을 학습 시점으로 옮겨두는 장치로 이해할 수 있다.
• Q러닝의 오프폴리시 성질은 실용적으로 데이터 수집과 학습을 분리해준다. 사람 시연, 과거 정책, 무작위 탐색에서 나온 데이터를 한 버퍼에 섞어 쓸 수 있다는 뜻이다.
• 물건을 집기 전에 흩어 놓는 행동을 아무도 프로그래밍하지 않았는데도 로봇이 스스로 찾아냈다는 사례는, 보상 최대화만으로도 중간 단계 전략이 창발할 수 있음을 보여준다.
• SARSA와 Q러닝의 절벽 예제는 '최적'과 '안전'이 다를 수 있다는 점을 드러낸다. 실패 비용이 큰 로봇 응용에서는 어떤 정책을 학습 목표로 삼을지가 알고리즘 선택으로 직결된다.

자주 묻는 질문

관련 AI 소식