AI 에이전트 지속 학습(VCL): 실패 로그를 재현 가능한 개선으로

핵심 메시지

• 지속 학습의 목표는 에이전트가 행동·피드백·개선을 반복하되 이전에 배운 것을 잊지 않고 경험에서 배우게 하는 것이다.
• 두 가지 근본 과제는 '어떻게 피드백을 얻는가'와 '그 피드백으로 어디를 어떻게 고치는가'이다.
• 프로덕션 로그와 피드백만으로는 부족하며, 다시 실행하고 채점할 수 있는 '재현 가능한 학습 환경'으로 끌어올려야 검증이 가능하다.
• 개선은 모델 가중치, 하네스(프롬프트·스킬·도구·코드), 메모리의 세 계층에서 일어날 수 있고, 좋은 학습은 알맞은 계층에 가장 작고 지속적인 변경을 가한다.
• 검증 가능한 지속 학습(VCL)은 재현성·전체성·평생성·효율성의 네 원칙 위에서, 모든 수정이 도움이 됨과 아무것도 망가뜨리지 않음을 증명한다.

쉽게 이해하기

메릴랜드대 교수이자 RELAI(Rely) 창업자인 소헤일 페이지는 인간이 세상과 상호작용하며 피드백으로 배우듯, 에이전트도 경험에서 배우되 잊지 않도록 만드는 것이 지속 학습의 목표라고 말한다. 이 학습은 모델 계층, 하네스 계층, 메모리 계층 어디에서든 일어날 수 있다.

첫 번째 과제는 피드백의 출처다. 개발 단계에서는 벤치마크와 평가자로 통과·실패·보상을 매길 수 있지만, 프로덕션에는 그런 벤치마크가 없고 로그만 있다. 로그에 대한 피드백은 다른 모델·코드로 자동 생성하거나, 소수의 사례에 대해 사람 전문가가 도메인 지식을 담아 제공할 수 있다.

그러나 로그와 피드백만으로는 테스트할 수 없다. 발표자는 하나의 관찰(로그+피드백)에서 '무슨 일이 있었고 무엇이 성공인가'를 담은 분포를 추론해 재현 가능한 학습 환경으로 만들어야 한다고 강조한다. 여기에는 도구를 실제로 쓸지 목업할지, 합성 사용자를 어떻게 만들지, 성공을 판정할 평가자를 무엇으로 둘지가 포함된다.

두 번째 과제인 '어떻게 고치는가'에서는 세 계층을 설명한다. 모델 계층은 SFT·RL(DPO·GRPO 등)·LoRA로 가중치를 바꾸지만 비용이 크고 벤치마크가 필요하다. 하네스 계층은 트레이스-투-하네스나 GEPA·프롬프트 탐색처럼 유연하다. 메모리 계층은 사실을 적고 스킬을 증류해 가장 싸고 빠르지만 검증되지 않은 경우가 많다.

발표자는 이를 '검증 가능한 지속 학습(VCL)'으로 묶는다. 실패를 다시 실행 가능한 테스트로 만들고(재현성), 하나의 실패가 여러 계층에 원인이 있을 수 있으니 가장 작은 지속적 변경으로 알맞은 계층에 라우팅하며(전체성), 새 수정이 과거를 망가뜨리지 않도록 회귀를 최적화 루프 안에서 다루고(평생성), 이 모든 것을 효율적으로 돌린다(효율성).

주요 인사이트

• 발표의 핵심 통찰은 '지속 학습이 곧 모델 파인튜닝은 아니다'라는 점이다. 유용한 많은 개선은 하네스와 메모리 계층에서 더 싸고 빠르게 일어난다.
• 트레이스-투-하네스처럼 로그를 코딩 에이전트에 넘겨 고치는 방식은 '바이브 기반'이라 그 변경이 정말 효과가 있는지, 다른 사례에 숨은 회귀를 만드는지 알 수 없다는 한계가 있다.
• 회귀 인식(regression-aware) 최적화는 사후 점검이 아니라 최적화 루프 안의 메커니즘이어야 하며, 과거 학습 환경 수 K가 커져도 복잡도가 선형 이상으로 늘지 않게 효율적으로 처리해야 한다.
• 발표자는 가상의 지원 에이전트 벤치마크에 '회귀 함정'을 심어, 최신 수정에만 과적합하면 이전에 성공하던 작업이 깨지도록 설계했다. 한 번의 최적화 루프로 점수가 87%에서 97%로 올랐다고 소개한다.
• RELAI의 VCL은 로그·피드백·지시문 같은 신호를 학습 환경으로 끌어올리고 근본 원인을 알맞은 계층에 라우팅하며, 결과를 사람이 검토할 수 있는 버전 업데이트(풀 리퀘스트) 형태로 내놓는다.

자주 묻는 질문

관련 AI 소식