강화학습 입문: 에이전트·보상·페널티와 딥 Q-러닝 쉬운 설명

핵심 메시지

• 강화학습은 정답을 알려주는 선생 없이, 보상과 페널티만으로 시행착오를 통해 AI가 스스로 행동을 익히게 하는 방법이다.
• 개발자의 역할은 에이전트가 살아갈 환경(상태·행동·보상 규칙)을 설계하고 하이퍼파라미터를 조정하는 것이다.
• 학습률(알파)은 새 정보 반영 속도, 엡실론은 무작위 탐험의 정도, 할인계수는 당장의 보상과 미래 보상의 균형을 정한다.
• 딥 Q-러닝은 여러 프레임으로 상태를 파악하고, 경험을 메모리에 저장하며, 두 개의 신경망을 비교해 오차를 줄여나간다.
• 다양한 미로로 훈련된 에이전트는 처음 보는 미로에서도 익숙한 패턴을 알아보고 빠르게 적응한다 — 이것이 강화학습의 진짜 힘이다.

쉽게 이해하기

강화학습을 이해하는 가장 쉬운 비유는 미로다. 아무 정보 없이 미로에서 깨어난 AI는 지도도, 지시도 없이 작은 창(프레임)으로 주변 일부만 본다. 처음에는 무작위로 움직인다. 왼쪽으로 갔다가 전기 벽에 부딪혀 '나쁜 선택'임을 깨닫고, 뒤·앞으로도 벽에 막히다가, 오른쪽에서 금덩이라는 보상을 만난다. 이렇게 페널티와 보상을 겪으며 학습이 시작된다.

시작부터 끝까지의 한 번의 시도를 에피소드라 부른다. 첫 에피소드에서 150번 움직이며 보석 5개·금 10개를 얻고 55번 감전됐다면, 다음 에피소드에서는 더 적은 이동으로 더 많은 보상을 얻도록 수백만 번 반복한다. 모델이 일을 다 한다면 개발자는 무엇을 할까? 개발자는 에이전트가 살아갈 '환경'을 설계한다. 환경은 가능한 행동의 집합, 모델이 처한 상황인 상태(state), 그리고 행동을 취하는 주체인 에이전트로 이뤄진다.

또 하나의 핵심 역할은 하이퍼파라미터 설정이다. 학습률(알파)은 에이전트가 새 정보에 따라 얼마나 빠르게 자신을 갱신하는지를 정한다. 커피가 수면에 나쁘다는 걸 알았을 때 단번에 끊을지, 한 잔으로 줄일지, 더 지켜볼지의 차이와 같다. 엡실론은 호기심, 즉 무작위 행동의 빈도를 정한다. 초반에는 1에 가깝게 두어 사방으로 탐험하고, 학습이 진행되며 0에 가깝게 낮춰 확신에 찬 선택을 늘린다. 할인계수는 지금 받는 보상과 여러 걸음 뒤의 더 큰 보상 사이의 무게를 조절한다.

구체적 학습 방법으로 영상은 딥 Q-러닝(품질 함수)을 소개한다. 먼저 에이전트는 여러 프레임을 한꺼번에 받는데, 한 장이 사진이라면 여러 장은 움직임과 방향을 담은 짧은 영상에 가깝다. 이 프레임들이 상태를 이룬다. 에이전트는 행동을 고르고(때로는 무작위, 때로는 직관적으로), 행동 후 환경에서 보상·페널티 또는 아무 일 없는 중립적 피드백을 받는다. 보고-행동하고-받은 결과의 경험은 메모리에 저장된다.

에이전트는 몇 걸음마다 멈춰 '내 기억과 현재 상태로 볼 때 나는 얼마나 잘하고 있나'를 스스로 평가한다. 예상과 실제의 차이가 바로 오차이며, 이를 최소화하는 것이 학습이다. 이때 에이전트는 두 개의 '뇌'를 갖는다. 계속 배우며 바뀌는 쪽과, 차분히 기준을 잡아주는 쪽이다. 어제의 내가 미로를 더 잘 풀었다면 오늘의 학습이 나를 더 똑똑하게 만들지 못한 것이니 더 나은 쪽으로 되돌린다.

주요 인사이트

• 강화학습의 본질은 '정답 데이터'가 아니라 '보상 설계'다. 어떤 행동에 얼마의 보상·페널티를 줄지가 곧 에이전트가 무엇을 배우는지를 결정한다.
• 엡실론을 높게 시작해 점차 낮추는 방식은 '탐험과 활용(exploration vs exploitation)'의 균형을 시간에 따라 자연스럽게 옮기는 전략이다.
• 할인계수는 '눈앞의 작은 보상'과 '몇 걸음 더 가서 얻는 큰 보상' 중 무엇을 택할지를 수치로 조율해, 근시안적 행동을 막는다.
• 두 개의 신경망(학습용·기준용)을 비교해 더 나은 쪽을 유지하는 구조는 학습이 오히려 성능을 떨어뜨리는 퇴보를 방지한다.
• 여러 미로로 일반화 훈련을 마친 에이전트가 새 미로에서 곧바로 보상을 찾는 모습은, 강화학습이 단순 암기가 아니라 패턴 인식을 학습함을 보여준다.

자주 묻는 질문

관련 AI 소식