AI 지속 학습 평가의 빈틈, 게인(gain) 지표로 측정하는 컨티뉴얼 러닝 벤치마크

핵심 메시지

• 오늘날 언어 모델 평가는 문제마다 기억을 지우고 독립적으로 푸는 방식이라, 경험이 쌓여 실력이 느는지를 아예 측정하지 못한다.
• 발표자는 누적 보상 대신 '게인(gain)', 즉 상태를 유지한 시스템의 성적에서 매 문제마다 초기화한 동일 시스템의 성적을 뺀 값을 학습량의 지표로 제안한다.
• 지속 학습을 평가할 과제는 사전학습만으로는 풀리지 않는 여지, 문제들 사이의 공통 구조, 그리고 환경이 주는 학습 신호라는 세 조건을 갖춰야 한다.
• 기존 벤치마크를 이어 붙이는 방식은 통하지 않는다. 문항들이 애초에 서로 독립적으로 설계돼 앞선 경험에서 배울 것이 없기 때문이다.
• 초기 실험에서는 정교한 컨텍스트 관리 시스템보다 경험을 그대로 맥락에 넣는 단순한 방식이 더 좋은 성적을 냈다.

쉽게 이해하기

UC 버클리 박사과정 연구자 파스 아사와는 AI 학회에서 모두가 모델이 얼마나 똑똑한지를 이야기하지만 얼마나 배우는지는 이야기하지 않는다는 문제 제기로 발표를 시작한다. 지금의 평가 방식은 모델에게 과제 하나를 시키고, 기억을 완전히 지운 뒤 다음 과제를 시키는 식으로 독립적인 점수를 모아 리더보드를 만든다. 그는 이것이 사람으로 치면 무언가를 할 때마다 처음부터 다시 시작하는 삶을 전제로 능력을 재는 것과 같다고 지적한다.

그가 말하는 지속 학습은 '긴 시간 동안 안정적으로 이뤄지는, 표본 효율적인 온라인 학습'이다. 이전 정보를 잊지 않고 유지하면서 동시에 새 정보로 판단을 갱신해야 하기에 어려운 문제다. 언어 모델에서는 맥락에 정보를 더 넣는 인컨텍스트 학습, 메모나 키-값 저장소 같은 외부 기억, 그리고 가중치 자체를 온라인으로 갱신하는 파라메트릭 접근이 시도되고 있다.

발표의 핵심은 어떤 방법이 옳으냐가 아니라 우리가 그것을 아예 측정하지 않고 있다는 점이다. 그는 지속 학습 벤치마크가 갖춰야 할 세 가지 설계 조건을 제시한다. 사전학습만으로는 이미 풀리지 않는 여유(헤드룸), 문제들 사이에 공유된 잠재 구조, 그리고 보상이든 오류 메시지든 텍스트 피드백이든 환경이 주는 학습 신호다. 기존 벤치마크를 이어 붙이려는 시도가 실패하는 이유도 여기에 있는데, 문항들이 독립적으로 설계돼 공유 구조가 없기 때문이다.

지표로는 인스턴스마다 정의된 보상과 함께 '게인'을 쓴다. 같은 시스템을 두 번 돌려서, 한 번은 상태를 유지한 채로, 한 번은 문제마다 초기화한 무상태 기준선으로 돌린 뒤 그 차이를 본다. 누적 보상만 보면 애초에 성능이 좋은 모델이 학습을 덜 하고도 1위에 오를 수 있는데, 게인은 바로 그 혼동을 걷어낸다. 발표자는 보상과 게인, 비용을 파레토 프론티어 위에서 함께 봐야 한다고 덧붙인다.

구체적인 예로는 데이터베이스 탐색 과제가 소개된다. 낯선 스키마와 데이터의 특이점을 익혀 갈수록 같은 질문에 필요한 SQL 질의 수가 줄어드는지를 보는 것이다. 여기에 스키마 마이그레이션 같은 개념 변화를 섞어, 낡은 경험을 버리고 새 정보를 받아들이는 능력까지 시험한다. 컨티뉴얼 러닝 벤치 1.0은 이런 방식으로 신호 처리, 코드베이스 적응, 역학 코호트 연구, 포커, 데이터베이스 탐색, 매출 예측 등 여섯 개 영역을 다룬다.

주요 인사이트

• 실패 사례는 대부분 안정성과 가소성 사이 어느 한쪽으로 기운다. 매출 예측 과제에서는 과대 예측 뒤 과소 예측 피드백을 받고도 중간을 택하지 않고 원래의 과대 예측으로 돌아가는 안정성 실패가 나타났다.
• 역학 과제에서는 메모를 쓰는 시스템이 실제로는 해당되는 코호트 정의를 '다른 연구의 스키마라 여기엔 맞지 않는다'고 적어 버리는 가소성 실패가 관찰됐다.
• 초기 결과에서 화려한 컨텍스트 관리 기법들이 단순한 인컨텍스트 학습보다 보상·비용 양쪽에서 밀린 것은, 중간 길이 과제에서는 복잡한 기억 관리의 값어치가 아직 드러나지 않는다는 뜻일 수 있다.
• 발표자는 지금의 지속 학습 연구가 이미 얼어붙은 체크포인트 위에 사후 대책을 얹는 매몰비용의 함정에 빠져 있다고 보고, 지속 학습을 처음부터 설계 요건으로 삼으면 학습 단계와 배포 단계의 구분 자체가 사라질 수 있다고 말한다.
• 그는 지속 학습을 넘어 개방 과학, 권력 집중, 안전, 제3자 연구기관의 미래처럼 AI 연구 방식 전반을 다시 묻는 흐름의 일부로 이 작업을 위치시킨다.

자주 묻는 질문

관련 AI 소식