강화학습 함수 근사 쉽게 이해하기: 가치 오차부터 준그래디언트 TD와 치명적 삼요소까지

핵심 메시지

• 표 기반 강화학습은 가능한 모든 상태를 나열할 수 있다고 가정하는데, 상태가 이미지라면 그 목록을 만드는 것부터 불가능하다.
• 함수 근사의 진짜 문제는 계산량이 아니라 일반화다. 극히 일부 상태만 방문한 에이전트가 나머지 상태에서도 좋은 행동을 고르게 만들어야 한다.
• 파라미터 수가 상태 수보다 훨씬 적기 때문에 한 상태의 추정값을 고치면 다른 상태들도 함께 변하고, 그래서 데이터가 무한해도 참 가치 함수를 그대로 표현할 수는 없다.
• 부트스트랩을 쓰면 타깃이 파라미터에 의존해 진짜 그래디언트가 아니게 되지만, 그래도 학습이 빨라서 준그래디언트 TD는 실제로 널리 쓰인다.
• 함수 근사와 오프폴리시 학습, 부트스트랩을 한꺼번에 결합하면 추정값이 발산하는 치명적 삼요소 문제가 생긴다.

쉽게 이해하기

여섯 편으로 이어지는 강화학습 시리즈의 다섯 번째인 이 영상은, 작은 장난감 문제에서 통하던 이론을 큰 실제 문제로 확장할 때 부딪히는 벽을 다룬다. 앞선 편들은 가능한 모든 상태를 표에 적을 수 있다고 가정했다. 하지만 상태가 이미지라면 첫 단계인 '모든 가능한 이미지의 목록 만들기'에서 이미 막힌다. 순진하게 확장하면 메모리도, 계산량도, 좋은 추정에 필요한 데이터의 양도 모두 감당할 수 없는 수준이 된다.

그래서 관점을 바꾼다. 진짜 과제는 일반화다. 에이전트가 전체 상태 가운데 극히 일부만 방문한다면, 그 경험을 나머지 상태로 어떻게 옮길 것인가. 일반화는 머신러닝이 오랫동안 다뤄온 주제이므로 지도학습의 도구를 대부분 끌어 쓸 수 있다. 다만 강화학습 특유의 제약 때문에 쓸 수 있는 방법이 제한되는데, 이렇게 제한된 형태를 함수 근사라고 부른다.

가치 함수를 상태와 길이 D의 파라미터 벡터의 함수로 근사한다고 두자. 이미지의 픽셀 평균과 표준편차 두 개를 특징으로 뽑아 파라미터와 내적하면 가장 단순한 선형 가치 함수가 되고, 아무리 복잡한 신경망도 형태 자체는 같다. 중요한 것은 D가 상태 수보다 훨씬 작다는 점이다. 파라미터를 조금만 건드려도 수많은 상태의 추정값이 함께 움직이며, 표를 쓰던 시절처럼 한 상태만 따로 갱신하는 일은 더 이상 불가능하다. 그래서 데이터가 무한해도 참 가치 함수를 정확히 표현할 수 없다.

그렇다면 무엇을 최선으로 볼 것인가. 영상은 가치 오차, 즉 근사 가치 함수와 참 가치 함수 사이의 평균제곱오차를 상태 분포로 가중한 값을 목표로 삼는다. 상태 공간이 거대하고 참 가치도 모르니 이 값을 직접 계산할 수는 없지만, 확률적 경사하강법으로 근사적으로 최소화할 수는 있다. 타깃을 리턴으로 두면 그래디언트 몬테카를로가 되고, 이 경우 타깃이 편향되지 않아 국소 최적으로 수렴한다. 반면 한 스텝 앞의 추정값을 타깃에 넣는 부트스트랩을 쓰면 타깃이 편향될 뿐 아니라 파라미터에 의존하게 되어, 갱신식이 진짜 그래디언트가 아니게 되고 수렴 보장도 사라진다.

그럼에도 준그래디언트 TD는 실제로 잘 작동하는 경우가 많고 TD 특유의 빠른 학습이라는 장점을 그대로 가져간다. 선형 가치 함수로 제한하면 몬테카를로 쪽은 볼록 최적화가 되어 국소 최적이 곧 전역 최적이 되고, 한 스텝 준그래디언트 TD는 가치 오차의 최적점과는 다른 'TD 고정점'으로 수렴한다. 두 지점의 거리는 할인율에 달려 있어 감마가 1에 가까울수록 멀어진다. 1000개 상태짜리 랜덤워크 예제에서 몬테카를로는 가치 오차 최적에 가깝게 가고, TD는 훨씬 빨리 수렴하지만 다른 지점에 멈춘다.

주요 인사이트

• 표에서 함수로 넘어가는 순간 '한 상태의 값을 고쳐도 다른 상태는 그대로'라는 전제가 깨진다. 함수 근사의 어려움은 대부분 여기서 파생되며, 수렴 보장이 사라지는 것도 결국 같은 뿌리다.
• 몬테카를로와 TD의 선택은 정확성과 속도의 교환이다. 몬테카를로는 편향이 없어 가치 오차 최적에 다가가지만 에피소드가 끝나야 학습하고, TD는 훨씬 빨리 수렴하지만 다른 지점에 멈춘다. n스텝으로 두 극단 사이 어디든 고를 수 있다.
• 제어로 넘어가는 방법은 생각보다 단순하다. 상태 가치를 행동 가치로 바꾸면 준그래디언트 한 스텝 SARSA가 되고, 이전 편의 표 기반 코드에서 몇 군데만 고쳐도 그대로 돌아간다.
• 연속 상태 공간의 대표 문제인 마운틴카에서는 위치와 속도라는 두 연속 차원 위에 격자점을 뿌리고 각 점까지의 거리로 특징 벡터를 만드는 정규화 방사 기저를 썼다. 영상에서는 설명을 위해 9개 점으로 보여주지만 실제로는 약 1200개를 사용했다.
• 함수 근사, 오프폴리시 학습, 부트스트랩 셋을 한 방법에 모으면 학습이 무한대로 발산하는 사례를 실제로 만들 수 있다. 이것이 치명적 삼요소이며, 이런 사례는 우연이 아니라 구조적으로 불가피하다.

자주 묻는 질문

관련 AI 소식