강화학습이란? 상태·행동·보상과 탐험-활용 딜레마로 이해하는 기계학습 기초 개념 정리

핵심 메시지

• 강화학습은 정답 예시를 보고 배우는 대신, 시행착오와 보상·벌점을 통해 경험에서 배우는 방식이다.
• 모든 강화학습 문제는 현재 상황을 나타내는 상태, 에이전트가 취할 수 있는 행동, 그 행동이 얼마나 좋았는지 알려주는 보상으로 이뤄진다.
• 학습의 목표는 어떤 상태에서 어떤 행동을 할지 알려주는 전략, 곧 정책을 익히는 것이다.
• 새로운 시도와 익숙한 선택 사이의 균형인 탐험-활용 딜레마가 강화학습의 핵심 난제다.
• 보상이 분명하고 피드백이 빠른 문제에 적합하며, 그렇지 않은 과제에는 지도학습이나 규칙 기반 방식이 더 간단하고 효과적일 수 있다.

쉽게 이해하기

강화학습은 기계가 시행착오를 거치며 스스로 판단하는 법을 익히게 하는 방법이다. 좋은 행동에는 보상을, 나쁜 행동에는 벌점을 주는 방식이 동물을 훈련시키는 과정과 닮았다. 에이전트라 불리는 학습 주체는 환경과 상호작용하며 행동을 고르고, 시간에 걸쳐 얻는 보상의 총합을 최대화하려 한다. 규칙을 모른 채 게임을 익혀가는 상황을 떠올리면 이해하기 쉽다.

구성 요소는 세 가지다. 지금 어떤 상황인지 알려주는 상태, 그 상황에서 할 수 있는 행동, 그리고 그 행동이 얼마나 좋았는지 알려주는 보상이다. 에이전트가 배우려는 것은 상태마다 어떤 행동을 택할지 정하는 전략이며 이를 정책이라 부른다.

가장 어려운 지점은 탐험과 활용 사이의 줄타기다. 더 나을지도 모를 새로운 선택을 시도할 것인가, 이미 통한다고 아는 방법을 고수할 것인가의 문제다. 탐험이 지나치면 시간을 낭비하고, 너무 적으면 더 좋은 해법을 놓친다.

현대 강화학습은 복잡한 환경을 다루기 위해 심층 신경망을 함께 쓴다. 딥마인드의 알파고는 강화학습과 탐색 기반 계획을 결합해 바둑 세계 챔피언을 이겼고, 오픈AI는 순수한 시행착오만으로 로봇 손에 루빅스 큐브를 맞추는 법을 가르쳤다.

다만 대가도 분명하다. 사람은 몇 번의 시도로 요령을 익히지만 강화학습 에이전트는 수백만 번의 시도가 필요한 경우가 많다. 그래서 많은 시스템이 실제 환경에 나서기 전에 시뮬레이션 안에서 먼저 훈련한다.

주요 인사이트

• 강화학습의 학습 재료는 정답이 붙은 데이터가 아니라 환경과 부딪히며 얻은 경험이다. 이 차이가 데이터 수집 방식과 훈련 비용을 근본적으로 갈라놓는다.
• 탐험과 활용의 균형은 알고리즘 설계자가 조절해야 하는 값이며, 어느 한쪽으로 치우치면 학습이 느려지거나 더 나은 해법에 도달하지 못한다.
• 게임 승리, 로봇 제어처럼 보상이 명확히 정의되고 결과를 빠르게 확인할 수 있는 영역에서 강화학습의 강점이 두드러진다.
• 수백만 번의 시행이 필요하다는 특성 때문에 시뮬레이션 환경의 품질이 곧 학습의 성패를 좌우한다.
• 강력하다고 해서 모든 문제의 답은 아니다. 문제의 성격에 따라 지도학습이나 사람이 정한 규칙이 더 단순하고 실용적인 선택일 수 있다.

자주 묻는 질문

관련 AI 소식