강화학습이 산업 현장에서 잘 쓰이지 않는 이유, 오프라인 정책 평가의 어려움과 지도학습 우선 원칙

핵심 메시지

• 강화학습은 문제 정의가 매우 일반적이고 수학이 아름답지만, 실제 산업 적용 사례는 놀랄 만큼 드물다.
• 성공했다고 알려진 사례 상당수는 시뮬레이션 최적화나 컨텍스추얼 밴딧처럼 강화학습의 핵심 난제를 우회한 단순한 방법이다.
• 가장 큰 걸림돌은 배포 전에 정책의 실제 성능을 추정하는 오프라인 평가가 어렵고 데이터를 많이 요구한다는 점이다.
• 데이터가 모델의 행동에 얼마나 의존하는지를 먼저 물어야 하며, 의존하지 않으면 지도학습으로 충분하다.
• 추천 시스템이나 동적 가격 책정처럼 데이터가 행동에 의존하는 영역조차 실무 표준은 예측 문제 변환이나 인과추론이지 강화학습이 아니다.

쉽게 이해하기

발표자는 머신러닝 컨설팅 회사에서 일하는 엔지니어로, 과거 강화학습 시리즈를 만들 만큼 이 주제를 좋아했다고 밝힌다. 그런데 마케팅, 이커머스, 퀀트 금융 분야에서 실제로 강화학습 적용 의뢰를 받아 일해 보니, 정작 자신이 추천하고 만들게 되는 것은 훨씬 전통적인 기법이었다고 털어놓는다. 이 영상은 그 경험에서 나온 일종의 고백이다.

그는 강화학습 적용 경험이 있다는 여러 기업의 엔지니어·과학자와 이야기를 나눴다. 확인된 것은 대부분의 성공 사례가 '강화학습'이라는 이름을 아주 관대하게 쓰고 있다는 사실이었다. 예를 들어 다음 주 물류 결과를 정교한 시뮬레이션으로 만들어 놓고 운영 파라미터를 골라 넣어 가장 좋은 결과를 찾는 방식은, 파라미터를 정책으로 시뮬레이션을 환경으로 부르면 강화학습이 되지만 고전적으로는 그냥 시뮬레이션 최적화다. 시간·상태·연속된 행동이라는 핵심 개념이 빠져 있기 때문이다.

명백히 강화학습에 속하는 컨텍스추얼 밴딧은 동적 가격 책정이나 추천에서 실제로 상업적 성과를 낸다. 다만 이 기법은 행동이 하나뿐이고 그에 따른 보상이 즉시 관측된 뒤 에피소드가 끝난다는 강한 전제를 깐다. 교과서적 강화학습이 씨름하는 문제, 즉 지금의 행동이 먼 미래의 결과에 얼마나 기여했는지를 가려내는 신용 할당 문제를 아예 건드리지 않는 것이다. 발표자가 찾은 본격적인 강화학습 성공 사례는 에너지 설비 제어 한 곳뿐이었는데, 물리 법칙으로 시뮬레이션을 정직하게 만들 수 있고 수 밀리초 단위로 조정이 반복된다는 아주 예외적인 조건을 갖춘 경우였다.

그는 예상되는 반박도 미리 다룬다. 대규모 언어모델의 인간 피드백 강화학습(RLHF)은 사람의 예·아니오 신호가 즉각적인 보상으로 들어오기 때문에, 희소하고 지연된 보상이라는 강화학습의 가장 어려운 부분을 비껴간다. 보상 모델을 덧붙인 지도 미세조정에 가깝다는 것이다. 또 그가 몸담았던 승차 공유 회사의 성공 사례도, 시장에서 스스로 갱신되며 지표를 최적화하는 에이전트가 생기자 다른 구성 요소를 개선하고 시험하기 어려운 복잡성이 생겼다는 회고가 뒤따랐다고 전한다.

결론에서 그는 판단 절차를 제시한다. 업계가 십 년 가까이 실험했는데도 지도학습은 어디에나 있고 강화학습은 거의 없다는 사실 자체를 근거로, 일단 '99% 확률로 지도학습을 쓰면 된다'는 사전 확률에서 출발하라고 말한다. 이를 뒤집으려면 먼저 데이터가 모델의 출력에 얼마나 의존하는지 물어야 한다. 천문 관측처럼 전혀 의존하지 않으면 마음 놓고 지도학습을 쓰면 되고, 추천 시스템처럼 의존하더라도 예측 문제 여러 개로 바꾸는 기존 연구가 충분히 잘 작동한다는 것이다.

주요 인사이트

• '강화학습을 한다'는 표현은 마케팅 효과가 커서, 실제로는 확률적 최적화나 밴딧에 가까운 작업도 그 이름으로 불린다. 기술 선택을 검토할 때는 이름이 아니라 시간·상태·연속된 행동이 실제로 존재하는지를 확인해야 한다.
• 강화학습의 진짜 병목은 학습이 아니라 평가다. 지도학습은 미래 성능을 비교적 쉽게 추정할 수 있어 어디에나 쓰이지만, 현실에서 에이전트를 마음대로 시행착오하게 둘 수 없는 강화학습은 다른 정책이 만들어 낸 데이터를 재가중해 성능을 추정해야 하고 데이터에서 멀어질수록 추정이 무너진다.
• 데이터가 독립 동일 분포라는 가정이 깨졌다는 이유만으로 강화학습으로 건너뛸 필요는 없다. 시계열 예측이나 인과추론처럼 그 의존 구조를 직접 모델링하는 도구가 더 신뢰할 만한 경로다.
• 본격적인 강화학습이 통하는 조건은 빠른 피드백, 정확한 물리 시뮬레이션, 엄청난 반복이 동시에 갖춰진 경우다. 사람의 행동을 모델링하는 대부분의 상업적 문제는 이 조건과 정반대에 있다.
• 발표자는 '관심 있는 문제를 풀 때 더 일반적인 문제를 중간 단계로 풀지 말라'는 블라디미르 배프닉의 말을 인용한다. 일반적인 문제 정의가 주는 매력이 오히려 실패의 원인이 된다는 경고다.

자주 묻는 질문

관련 AI 소식