딥 Q 네트워크(DQN) 쉽게 이해하기 — Q 테이블의 한계와 경험 재현, 타깃 네트워크

핵심 메시지

• Q 러닝은 상태마다 어떤 행동이 좋은지 적어 둔 Q 테이블로 의사결정을 하지만, 상태가 많아지면 테이블이 너무 커져 메모리에 담을 수 없다.
• 딥 Q 네트워크(DQN)는 이 Q 테이블을 신경망(Q 네트워크)으로 대체해, 상태와 행동을 입력하면 그 가치를 출력하도록 학습한다.
• DQN은 현재의 Q 네트워크와, 이상적 기준 역할을 하는 타깃 네트워크 두 개를 두고 둘의 차이를 손실로 삼아 역전파로 학습한다.
• 학습은 데이터 수집 단계와 학습 단계로 나뉘며, (상태·행동·보상·다음 상태) 네 값을 경험 재현 버퍼에 모았다가 꺼내 쓴다.
• 경험 재현 버퍼는 연속된 경험의 시간적 상관관계를 끊어 학습을 더 안정적으로 만든다.

쉽게 이해하기

강화학습에서 에이전트는 환경을 돌아다니며 어떤 상황(상태)에서 어떤 행동을 해야 하는지를 배운다. Q 러닝은 모든 상태마다 각 행동의 가치를 적어 둔 'Q 테이블'을 일종의 양심처럼 사용해, 상태가 주어지면 그 표를 보고 가장 좋은 행동을 고른다. 문제는 격자 아홉 칸처럼 상태가 적을 때는 표가 작지만, 상태가 많아지면 표가 감당할 수 없을 만큼 커져 메모리에 담을 수 없다는 점이다.

그래서 표 대신 '함수'를 양심으로 쓴다. 이 함수는 상태와 행동을 입력받아 그 행동이 얼마나 좋은지를 나타내는 값, 즉 Q 값을 출력한다. AI에서 이 함수는 보통 신경망이며, 이렇게 신경망의 파라미터를 학습하는 방식이 바로 딥 Q 러닝이고 그 신경망이 Q 네트워크다.

DQN은 두 개의 신경망을 둔다. 무작위로 초기화된 Q 네트워크는 에이전트의 현재 양심이고, 같은 구조의 타깃 네트워크는 이상적인 양심 역할을 한다. 현재 양심이 내놓은 값과 이상적 기준이 내놓은 값을 비교해 손실(평균제곱오차)을 구하고, 이 손실을 Q 네트워크에 역전파해 파라미터를 갱신한다. 타깃 네트워크는 한동안 고정해 두었다가 몇 배치마다 Q 네트워크와 같게 맞춘다.

학습은 두 단계로 진행된다. 데이터 수집 단계에서는 Q 네트워크의 출력층 뉴런 수가 가능한 행동 수와 같아, 각 뉴런이 해당 행동의 Q 값을 내놓는다. 입실론-그리디 방식으로 행동을 고르고, 환경에서 그 행동을 실행해 보상과 다음 상태를 얻은 뒤 (상태·행동·보상·다음 상태)를 경험 재현 버퍼에 저장한다. 이 과정을 반복해 데이터를 쌓는다.

학습 단계에서는 버퍼에서 데이터를 한 묶음(배치) 꺼낸다. 현재 상태를 Q 네트워크에 넣어 해당 행동의 Q 값을 얻고, 같은 상태를 타깃 네트워크에 넣어 가장 큰 Q 값을 구한 뒤 보상을 더해 목표 값을 만든다. 두 값의 평균제곱오차를 손실로 삼아 Q 네트워크를 갱신하면, 에이전트의 판단이 점점 나아진다.

주요 인사이트

• 테이블에서 함수(신경망)로 옮겨 가는 것이 DQN의 핵심이다. 이렇게 하면 상태 공간이 커도 모든 값을 일일이 저장하지 않고 함수로 근사할 수 있다.
• 타깃 네트워크를 따로 두고 잠시 고정하는 이유는 학습의 기준점을 안정시키기 위해서다. 기준이 매 순간 흔들리면 학습이 불안정해진다.
• 출력층 뉴런 하나가 행동 하나에 대응하므로, 한 번의 순전파로 모든 행동의 Q 값을 동시에 얻을 수 있다.
• 경험 재현 버퍼는 수집된 경험을 무작위로 섞어 꺼내므로, 연속된 경험끼리의 상관관계를 끊어 학습을 안정시킨다.

자주 묻는 질문

관련 AI 소식