Q러닝과 SARSA의 차이부터 DQN의 리플레이 버퍼·타깃 네트워크까지 강화학습 정리

핵심 메시지

• SARSA와 Q러닝은 정책을 따로 학습하지 않고 상태·행동 쌍의 가치를 담은 Q 표만 직접 배운 뒤, 그 표에서 최적 정책을 되찾는다.
• 두 알고리즘의 유일한 차이는 갱신에 실제로 취한 다음 행동을 쓰느냐(SARSA·온폴리시), 취할 수 있었던 최선의 행동을 쓰느냐(Q러닝·오프폴리시)다.
• 절벽 옆을 걷다 무작위 탐험으로 떨어지면 SARSA는 그 부근을 피하도록 조심스럽게 배우지만, Q러닝은 탐험 사고를 무시한 채 최적 경로로 직진한다.
• 상태가 너무 많아 표를 만들 수 없으면 신경망을 함수 근사기로 써서 상태 표현 자체를 학습시키는데, 이것이 심층 Q 네트워크(DQN)다.
• DQN은 리플레이 버퍼로 경험을 섞고 고정된 타깃 네트워크로 학습을 안정화하지만, 표 방식이 갖고 있던 수렴 보장은 사라진다.

쉽게 이해하기

강의는 전날 다룬 시간차(TD) 학습을 되짚으며 시작한다. 벨만 방정식의 양변은 정의상 평균적으로 같아야 하므로, 두 값의 차이인 TD 오차를 방향 삼아 가치 추정치를 학습률만큼 조금씩 밀어준다. 강사는 강화학습에서 진짜 정답은 보상뿐이고 나머지 가치는 모두 스스로 지어낸 값이라고 못 박는다. 그래도 게임 끝에 가까울수록 추정이 정확해지므로, 나쁜 추정에서 조금 덜 나쁜 추정으로 계속 끌어올리는 부트스트래핑이 성립한다.

다음은 Q 값이다. 상태의 가치 V가 '이 상태에서 정책대로 움직였을 때의 기대 수익'이라면, Q는 '이 상태에서 특정 행동을 일부러 한 뒤 정책대로 움직였을 때의 기대 수익'이다. 굳이 Q를 쓰는 이유는 실용적이다. 최적 V 값만 갖고 있으면 환경 내부를 들여다볼 수 없는 한 정책을 복원할 수 없지만, 최적 Q 표가 있으면 각 상태에서 값이 가장 큰 행동을 고르기만 하면 된다. 그래서 정책 학습을 건너뛰고 표만 배우자는 발상이 나온다.

SARSA는 상태·행동·보상·다음 상태·다음 행동에서 이름을 딴 방법으로, 실제로 밟은 다섯 값만으로 Q 표를 갱신하며 행동은 입실론 탐욕 정책으로 고른다. Q러닝은 여기서 한 곳만 바꿔, 실제로 취한 다음 행동 대신 다음 상태에서 가능한 행동 중 최댓값을 쓰는 오프폴리시 방식이다. 차이는 절벽 예시에서 선명해지는데, 탐험 때문에 가끔 절벽에 떨어지면 SARSA는 그 근처를 피하도록 조심스러워지지만 Q러닝은 '제대로만 했으면 됐다'며 탐험의 위험을 무시한다. 대신 입실론을 끝까지 줄이지 않아도 Q러닝은 진짜 최적 Q 표에 수렴하고, SARSA는 탐험까지 포함한 정책의 최적값에 머문다.

문제는 두 방법 모두 표를 전부 훑을 수 있다고 가정한다는 점이다. 체스는 열 수만 지나도 처음 보는 판이 나오므로 표 조회는 무용지물이다. 비슷한 상태를 묶는 상태 집계는 격자 위 자동차처럼 명백한 경우에만 통하고, 말 하나만 옮겨도 승패가 뒤집히는 체스에는 맞지 않는다. 강사는 사람이 도메인 지식을 넣는 대신 보편 함수 근사기, 즉 신경망에게 어떤 표현이 쓸모 있는지 알아서 찾게 하자고 정리한다.

DQN은 강화학습을 지도학습처럼 보이게 만드는 장치들의 묶음이다. 환경과의 상호작용은 독립적이지 않으므로 경험을 리플레이 버퍼에 쌓아 뒤섞어 꺼내고, 정답 라벨이 없으므로 현재 추정에서 부트스트랩하며, 쫓는 목표가 계속 흔들리지 않도록 타깃 네트워크를 따로 두고 일정 주기마다 가중치를 복사한다. 에피소드가 끝나는 환경에서는 종료 플래그로 게임 사이의 시간차 오차를 끊어줘야 한다. 강사는 이 모든 장치를 붙여도 수렴 보장은 없고, 잘하게 된 뒤 실패 경험을 잊는 파국적 망각 같은 문제가 남는다고 덧붙인다.

주요 인사이트

• 강화학습에서 확실한 값은 환경이 준 보상뿐이고 나머지 가치 추정은 모두 모델이 지어낸 값이다. 그래서 학습은 '덜 틀린 추정으로 조금씩 갈아타는' 과정에 가깝다.
• 끝까지 굴려 실제 보상만 쓰면 추정 오차는 없지만 확률변수의 합이라 분산이 폭발한다. 반대로 한 스텝만 보면 안정적이지만 자기 추정에 의존한다. 몇 스텝을 볼지는 환경마다 조율할 하이퍼파라미터다.
• 타깃 네트워크는 '2초 앞을 내다보는 상대를 흉내 내다가, 따라잡으면 내 전략을 상대에게 복사해 주는' 반복으로 설명된다. 매 배치마다 복사하면 쫓는 목표가 계속 흔들려 수렴이 무너진다.
• 불법 행동은 환경이 물리적으로 막는 대신 큰 벌점과 즉시 종료로 다루라는 원칙이 인상적이다. 규칙을 코드에 심는 순간 사람이 도메인 지식을 주입하게 되고, 이는 애초의 목표에서 벗어난다.
• DQN은 잘하게 될수록 버퍼가 좋은 경험으로만 채워져 실패 상황에서 어떻게 대처했는지를 잊는다. 이 파국적 망각은 안정적으로 보이던 에이전트가 한순간에 무너지는 이유가 된다.

자주 묻는 질문

관련 AI 소식