지속 학습(Continual Learning) 벤치마크 - gain 지표와 AI가 못 배우는 이유

핵심 메시지

• 지속 학습은 '표본 효율적이고 긴 시간에 걸쳐 안정적인 온라인 학습'으로, 오늘의 LLM은 학습을 마치면 사실상 얼어붙는다.
• 코딩 에이전트가 새 세션마다 코드베이스를 처음부터 다시 탐색하는 것이 학습 능력 부재의 대표적 사례다.
• 지속 학습 벤치마크는 개별 능력이 아니라 '작업 시퀀스'에서의 성능을 측정하며, 앞선 작업 경험이 이후 성능을 높여야 한다.
• gain 지표는 상태를 유지한 성능에서 무상태 성능을 빼, 순수하게 '학습으로 얻은 향상분'만 분리해 낸다.
• 현재는 컨텍스트 관리 방식이 손쉬운 기준선이지만, 발표자는 장기적으로 파라미터를 갱신하는 방식이 더 높은 한계를 가진다고 본다.

쉽게 이해하기

Snorkel AI의 벤치토크(Bench Talks) 3화에서 진행자 빈센트는 버클리 박사과정이자 마테이 자하리아·조이 곤잘레스가 지도하는 파스 아사와(Parth Asawa)와 지속 학습을 논한다. 아사와는 지속 학습을 '표본 효율적이면서 긴 시간에 걸쳐 안정적인 온라인 학습'으로 정의한다. 오늘날의 LLM은 데이터를 모아 한 달가량 훈련한 뒤 '얼어붙은' 상태로 나오며, 그 시점 이후로는 새로운 지식을 실시간으로 반영하지 못하고 적응은 컨텍스트 창 안으로 제한된다.

그는 이 문제를 코딩 에이전트로 설명한다. 새 세션을 열 때마다 에이전트는 수십 번의 bash 명령으로 코드베이스를 처음부터 훑는다. 사람은 한두 번 작업하면 대략의 의존 관계와 구조를 기억하지만, 오늘의 에이전트에는 그런 능력이 없다. 아사와는 능력(capability)과 학습(learning)을 구분해야 한다고 강조한다. 스케일링으로 능력은 크게 끌어올렸지만 '스스로 배우는 법'은 미뤄 두었고, 이상적으로는 처음에 '배우는 법'을 가르친 뒤 이후 모든 과정이 곧 학습이 되어야 한다고 말한다.

그가 방법론 대신 벤치마크에 집중한 이유는, 지금까지 지속 학습 논문들의 평가 방식이 제각각이었기 때문이다. 벤치마크는 공통의 정의와 측정 기준을 제공해 분야의 진전을 가속한다. 전통적 벤치마크가 서로 독립적(IID)인 개별 작업의 '점 능력'을 재는 것과 달리, 지속 학습 벤치마크는 20~50개의 작업으로 이뤄진 '시퀀스'를 상태를 유지한 채 수행하게 하고, 앞선 작업 경험이 이후 성능을 높이도록 작업 사이에 공유된 잠재 구조를 심어 둔다.

구체적 작업으로는 같은 저장소에서 코딩 작업을 반복하며 정답에 도달하는 데 필요한 bash 상호작용 수가 줄어드는지 보는 소프트웨어 공학 과제, 여러 테이블·스키마를 익혀야 하는 자연어→SQL 과제(중간에 DB 마이그레이션으로 스키마가 바뀌는 드리프트 포함), 고정 전략의 상대를 간파해 착취하는 포커 과제 등이 있다. 이 모두 환경에 공유된 구조가 있어, 과거 경험을 조건으로 삼으면 성능이 오를 것으로 기대되는 설계다.

핵심 지표는 gain이다. 누적 보상만 쓰면 애초에 더 똑똑한 모델(예: 더 강한 백본)이 학습 능력과 무관하게 높은 점수를 받는 혼동이 생긴다. 그래서 같은 시스템을 상태 유지 방식과, 매 인스턴스마다 기억을 초기화하는 무상태 방식으로 각각 돌려, 두 보상의 차이를 gain으로 정의한다. 이는 '기본 능력'과 '수행 중 학습으로 얻은 향상'을 분리한다. 발표자는 보상·gain·비용을 단일 값으로 환원하지 말고 파레토 프런티어 위에서 함께 봐야 한다고 강조한다.

결과와 전망도 짚는다. 출시 시점 최고 모델의 정규화 gain은 약 25% 수준이었고, 문맥 내 학습(in-context learning)이 여전히 가장 강력한 기준선으로 리더보드 1위를 차지했다 — 비용이 8배지만 gain은 3분의 1에 그친 정교한 메모리 시스템도 있었다. 실패 사례에서는 모델이 초기 신호에 과적합해 믿음을 잘 갱신하지 못하고, DB 마이그레이션 같은 환경 변화에도 낡은 가정을 고수하는 경직성이 드러났다. 아사와는 컨텍스트 관리는 2026년 내 개선되겠지만, 경험으로 기본 정책 자체를 갱신하는 파라미터 학습이 더 높은 한계를 가진다고 본다. 인터뷰 후반에는 안전을 이유로 오픈 모델을 닫는 것과 소수 기업의 권력 집중이라는 '거짓 이분법'을 비판하고, 공익을 대변하는 제3의 기관과 오픈 사이언스가 대안이 될 수 있다는 그의 블로그 주장도 소개된다.

주요 인사이트

• 능력(capability)과 학습(learning)은 다르다. 스케일링은 능력을 키웠지만 '스스로 배우는 법'은 여전히 열린 문제다.
• gain 지표의 핵심은 상태 유지 성능에서 무상태 성능을 빼, 기본 능력과 학습 효과를 분리하는 데 있다.
• 보상·gain·비용은 하나로 환원할 수 없다. 좋은 지속 학습 시스템은 최소 비용으로 최대 gain을 내는 파레토 최적을 지향한다.
• 문맥 내 학습이 정교한 메모리 시스템보다 강한 것은, 많은 시스템이 명확한 최적화 목표 없이 설계됐기 때문이라는 진단이다.
• 장기적으로는 컨텍스트를 가중치로 되돌리는 새로운 아키텍처 등 파라미터 학습이 더 높은 성능 한계를 가질 수 있다.

자주 묻는 질문

관련 AI 소식