AI 에이전트 지속 학습 전략: 프로덕션 실행 기록과 힌트로 모델을 증류하는 네 가지 조합 정리

핵심 메시지

• 지속 학습을 '데이터가 얼마나 실시간인가'와 '힌트를 어디서 얻는가' 두 축으로 나누면 네 가지 조합이 나온다.
• 대부분의 기업은 이미 쌓인 실행 기록 한 뭉치를 가진 상태에서 출발하며, 그것만으로도 특정 행동을 교정할 수 있다.
• 정답지가 없어도 학습이 가능해야 한다는 점이 현장 적용의 핵심 전제다.
• SWE-bench 실험에서 마무리 도구 호출 비율이 22%에서 60%로 올랐고 테스트 통과율은 떨어지지 않았다.
• 힌트를 대화 첫머리에 넣기보다 판단이 갈리는 지점에 넣고 그 직후 구간만 학습시키는 편이 효과가 컸다.

쉽게 이해하기

AI 엔지니어 콘퍼런스의 '지속 학습' 세션에서 어플라이드 컴퓨트의 샘 덴턴이 기업 환경에서 에이전트를 계속 개선하는 방법을 발표했다. 그는 논의를 두 개의 축으로 정리했다. 하나는 학습에 쓰는 실행 기록이 얼마나 실시간인지, 다른 하나는 모델을 가르칠 '힌트'를 어디서 만들어내는지다.

첫 번째 축의 한쪽 끝은 이미 쌓여 있는 서비스 실행 기록 한 뭉치를 받아 사후에 배우는 방식이다. 중간에는 매일 하루치 기록을 모아 학습에 반영하는 방식이 있고, 반대편 끝에는 모델이 실제 트래픽을 처리하면서 그 결과로 곧바로 자신을 갱신하는 구조가 있다. 발표자는 마지막 형태를 지속 학습의 이상적인 모습으로 보면서도, 현실의 기업 대부분은 첫 번째 지점에 서 있다고 설명했다.

두 번째 축인 힌트는 학생 모델보다 똑똑한 교사를 만들기 위해 주는 추가 정보다. 미리 정해둔 규칙이나 '이 상담 에이전트는 환불을 너무 쉽게 승인한다' 같은 사전 지식에서 힌트를 뽑으면 오프라인 힌트, 지금 모델이 실제로 만들어낸 실행 결과를 보고 그 자리에서 힌트를 구성하면 온라인 힌트다. 두 축을 교차하면 네 가지 조합이 만들어지고, 발표자는 그중 가장 오프라인에 가까운 조합과 가장 온라인에 가까운 조합에 집중한다고 밝혔다.

실험 사례도 공개됐다. 한 추론 모델이 SWE-bench 과제에서 최대 80턴까지 탐색을 이어가자, 40턴 안에 마무리 도구를 호출하도록 유도하는 힌트를 붙여 학습시켰다. 그 결과 마무리 호출 비율이 22%에서 60%로 올랐고, 테스트 통과율은 오히려 소폭 상승했다. 흥미로운 점은 교사 모델이 도구 호출 부분을 직접 건드리지 않았는데도 추론 흐름이 호출 쪽으로 기울면서 호출이 따라왔다는 것이다.

온라인 쪽 사례로는 코딩 에이전트에게 특정 하이퍼링크 표기 규칙을 가르친 작업이 소개됐다. 보상을 주거나 올바른 사례만 모아 학습시키는 방식은 기본 코딩 성능을 떨어뜨렸지만, 직전 실행 결과를 보고 '지난번에는 이렇게 썼으니 다음에는 이렇게 쓰라'는 식의 맞춤 힌트를 주자 올바른 표기 비율이 약 15%에서 80% 수준까지 올랐다. 모든 실행에 같은 문구를 반복해 넣는 방식은 같은 효과를 내지 못했다.

주요 인사이트

• 기업이 에이전트를 개선할 때 반드시 새 학습 데이터를 만들 필요는 없다. 이미 쌓인 서비스 실행 기록 자체가 출발점이 된다.
• 발표자는 정답이 정해진 과제를 전제로 한 증류 연구가 현장과 동떨어져 있다고 지적했다. 정답지 없이도 행동을 교정할 수 있어야 실제 서비스에 쓸 수 있다.
• 표기 규칙처럼 기존 모델이 거의 겪어보지 않은 행동은 보상이나 단순 재학습으로 밀어붙이면 다른 능력이 함께 무너질 수 있다.
• 힌트는 위치가 중요하다. 별도의 판정 모델로 개입 지점을 고르고 그 직후 구간을 집중적으로 학습시키는 방식이 전체 실행을 통째로 학습시키는 것보다 신호가 강했다.
• 교사 모델이 즐겨 쓰는 연결어까지 그대로 따라 배우면 원치 않는 변화가 생기므로, 학습에 쓸 토큰을 골라내는 장치가 필요하다.

자주 묻는 질문

관련 AI 소식