다음 AI 훈련 패러다임 전망: 검증 가능한 강화학습의 한계와 지속 학습이라는 과제

핵심 메시지

• 주요 연구소들은 검증 가능한 과제를 대량으로 강화학습시키면 범용 문제 해결자가 나온다는 데 베팅하고 있다.
• 컴퓨터 조작 능력의 진전이 느린 이유는 검증 가능성 부족이 아니라, 같은 출발점에서 수천 번 반복 재생할 시뮬레이터를 만들기 어렵기 때문이다.
• 사업 일으키기나 재판 승소처럼 결과 확인에 수개월이 걸리는 영역은 병렬 반복이 불가능해, 표본 효율이 낮은 지금 방식으로는 학습이 어렵다.
• 연구소 연산의 30~50%가 추론에 쓰이는데, 정작 가장 값진 정보가 드러나는 배포 현장의 학습은 가중치로 돌아가지 못한다.
• 해법 후보로는 세션에서 배운 것을 기본 모델에 증류하는 방식과, 모델이 스스로 환경을 만들어 연습하는 '드리밍'이 거론된다.

쉽게 이해하기

드워케시 파텔이 자신의 블로그 글을 낭독한 이 영상은, 지금 AI 연구소들이 공통으로 걸고 있는 큰 베팅 하나를 검토한다. 수천 개의 다양한 강화학습 환경에서 검증 가능한 과제 수백만 개를 학습시키면, 오류와 모호함 속에서도 몇 주씩 스스로 진척을 만드는 범용 문제 해결자가 나온다는 가정이다. 이 관점을 지지하는 쪽은 표본 효율이 낮다는 비판에 대해, 그것은 훈련 때 이야기이고 훈련 비용은 수십억 번의 사용에 나눠 상각된다고 반박한다.

저자는 여기서 한 가지 이상한 현상을 짚는다. 컴퓨터 조작 능력의 발전이 코딩이나 수학보다 유독 느리다는 점이다. 주문한 물건이 배송됐는지, 세금 신고가 제출됐는지는 확인하기 쉬운데도 그렇다. 그가 꼽는 이유는 검증 가능성만으로는 부족하고 '갈아 넣을 수 있어야' 한다는 것이다. 코딩은 같은 컨테이너를 수천 개 복제해 동시에 시도하게 할 수 있지만, 실제 쇼핑몰 결제 흐름을 수천 개의 봇으로 반복하면 곧바로 차단당한다. 흔한 업무용 서비스를 통째로 복제해 만들면 되지만 지금은 손이 너무 많이 든다.

이 관찰은 더 넓은 한계를 가리킨다. 사업을 맨땅에서 일으키거나, 재판에서 이기거나, 선거를 이기게 돕는 일은 현실 세계와 부딪혀야 결과가 나오고, 그 확인에 수개월에서 수년이 걸린다. 행동을 조금씩 바꿔 가며 수천 번 병렬로 돌려 무엇이 통했는지 분리해 낼 수도 없다. 저자는 이런 영역에서 능숙해지려면 결국 적은 양의 실제 상호작용에서 배우는 표본 효율이 필요하며, 이는 강화학습에서 오래된 미해결 문제라고 말한다. 짧은 시간 지평에서 훈련한 능력이 긴 시간 지평으로 일반화되지 않는다는 점도 한 연구소 대표의 발언을 빌려 지적한다.

두 번째 축은 지속 학습이다. 연구소 연산의 30~50%가 추론에 쓰이는데 그 연산은 모델을 개선하는 데 전혀 기여하지 않는다. 더 아쉬운 것은, 이 조직이 나를 어디에 쓰는지, 내가 현실에서 어떤 실수를 하는지 같은 가장 값진 정보가 바로 배포 현장에서 드러난다는 사실이다. 저자는 이를 인턴 경험 없이 사례 연구만 계속 받는 대학원생에 비유한다. 그렇다고 맥락을 무한정 쌓아 두는 방식은 확장되지 않는다. 사람의 학습도 모든 관찰을 그대로 보관하는 것이 아니라 압축과 요약을 거치며, 세부를 완벽히 기억하는 능력은 오히려 추상화를 방해하기도 한다.

대안으로 소개되는 것이 세션에서 쌓인 맥락을 가진 모델의 판단을 기본 모델이 따라 하도록 증류하는 방식이다. 외부의 검증 가능한 보상이 없어도 되고, 한 번의 보상을 궤적 전체에 퍼뜨리는 대신 토큰 단위로 촘촘한 신호를 준다는 장점이 있다. 세션 기록을 통째로 외우게 하는 지도학습과 달리, 결과를 내는 데 필요한 만큼만 바꿔 기존 지식을 덮어쓰지 않는다는 점도 중요하다. 더 사변적인 아이디어로는 모델이 스스로 환경을 만들어 그 안에서 연습하는 방식이 제시된다. 저자는 이것이 통한다면 사전학습, 강화학습, 추론 시 연산에 이은 네 번째 확장 축이 될 것이라고 본다.

주요 인사이트

• 검증 가능하다는 것과 학습시킬 수 있다는 것은 다르다. 결정적이고 재생 가능한 시뮬레이터에서 같은 출발점을 수천 번 반복할 수 있어야 지금의 방식이 작동한다.
• 표본 효율이 낮다는 약점은 훈련 환경을 대량 복제할 수 있는 영역에서만 돈으로 메울 수 있다. 현실과 부딪혀야 결과가 나오는 영역에서는 그 우회로가 없다.
• 맥락 창에 쌓아 두는 학습과 가중치를 바꾸는 학습은 맞바꿈 관계다. 전자는 표본 효율이 좋지만 메모리 확장이 나쁘고, 후자는 확장되지만 적은 데이터로는 잘 배우지 못한다.
• 강화학습 갱신이 희소하다는 성질은 지속 학습에서는 오히려 장점이 된다. 결과를 맞히는 데 필요한 만큼만 모델을 바꾸므로 기존에 알던 것을 잊을 위험이 줄어든다.
• 지금까지 상용화된 온라인 학습은 수백만 사용자에게서 똑같은 하나의 목표를 배우는 형태였다. 사용자마다 다른 것을 배우는 단계로 가야 지속 학습이라 부를 만해진다.

자주 묻는 질문

관련 AI 소식