AI 에이전트 평가 데이터 시뮬레이션: 누뱅크가 배포 속도를 20배로 끌어올린 방식

핵심 메시지

• 발표의 주장은 하나로 압축된다. 프로덕션 데이터를 기다리는 대신 시뮬레이션에서 평가 데이터를 생성하면 에이전트를 20배 빠르게 출시할 수 있다는 것이다.
• 누뱅크는 브라질·멕시코·콜롬비아에서 1억 3500만 명의 고객을 두고 있으며, 고객 응대용 AI 에이전트 다섯 개의 고객 만족 지표가 사람 수준에 근접하거나 이를 넘어섰다고 밝혔다.
• 평가는 지표와 데이터 두 가지로 이뤄지는데, 지표는 LLM 판정자와 사람 판단을 정렬하는 플레이북이 이미 있고 병목은 전적으로 데이터 쪽에 있다.
• 멀티턴 에이전트의 데이터 한 건은 내부 툴 호출과 상태가 얽힌 궤적 전체라서, 손으로 만들기에는 너무 비싸고 프로덕션에서 얻자니 실사용자를 상대로 실험해야 한다.
• 시뮬레이션은 에이전트를 코드 변경 없이 감싸고, 모킹할 툴과 페르소나·유스케이스를 지정하면 수천 건의 멀티턴 대화와 턴별 판정 결과를 만들어 평가 파이프라인에 바로 흘려보낸다.

쉽게 이해하기

AI 엔지니어 콘퍼런스에서 스노글로브의 슈레야와 누뱅크의 머신러닝 엔지니어 아만이 함께 선 발표다. 누뱅크는 라틴아메리카 최대 디지털 은행으로 브라질·멕시코·콜롬비아에 1억 3500만 명의 고객을 두고 있고 미국 진출을 앞두고 있다. 고객 응대에서 AI가 정형적인 업무를 끝까지 처리하고 사람은 가장 어렵고 드문 사례에 집중하는 분업 구조를 쓰고 있어, 에이전트 품질을 어떻게 빠르게 검증하느냐가 곧 사업 속도가 되는 곳이다.

발표는 결과부터 꺼냈다. 프로덕션에 올라간 AI 에이전트 다섯 개의 고객 만족 지표가 초기에는 좋지 않았지만 몇 분기에 걸친 작업 끝에 크게 올라, 상당수가 사람 수준에 근접했고 발표 시점 기준으로는 이를 넘어선 것도 있다는 설명이다. 관련 논문은 8월 한국에서 열리는 학회에서 발표될 예정이라고 덧붙였다.

핵심 진단은 평가의 병목이 어디 있느냐다. 평가는 지표와 데이터로 나뉘는데, 지표 쪽은 LLM을 판정자로 쓰는 분류기를 사람 판단과 맞추고 자동 프롬프트 튜닝으로 다듬는 방법론이 어느 정도 정립돼 있다. 문제는 그 지표를 계산할 데이터다. 2018년 무렵 "머신러닝 업무의 85%는 데이터 작업"이라는 말이 있었지만, 에이전트 시대의 데이터는 그때보다 훨씬 비싸졌다. 단일 턴 질의응답은 정형화된 행으로 다룰 수 있었던 반면, 멀티턴 에이전트의 데이터 한 건은 내부 툴 호출과 상태 변화가 함께 얽힌 궤적 전체이기 때문이다.

지금까지의 방법은 둘 다 아팠다. 수작업으로 만들면 상태 갱신과 궤적을 손으로 설계해야 하고 모든 툴 호출 사이에서 상태 일관성까지 맞춰야 한다. 프로덕션 트레이스는 어차피 쌓이니 사실상 공짜지만, 매번 실사용자를 상대로 테스트하는 셈이고 여러 실험을 병렬로 돌리기가 어렵다. 그 결과 하네스나 프롬프트, 툴을 바꾸는 데는 몇 시간이면 되는데, 손으로 큐레이션한 데이터로 오프라인 평가를 돌리면 며칠, 프로덕션 A/B 테스트로 유의미한 개선을 확인하려면 고객 피드백이 드물고 잡음이 많아 사실상 끝없이 기다려야 했다.

시뮬레이션은 이 타임라인을 끊는다. 발표자들은 몇 주 걸리던 확인이 하루 이내, 때로는 몇 시간이나 몇 분으로 줄었다고 말했다. 동작 방식은 이렇다. 코드 변경 없이 SDK를 에이전트에 연결하고 어떤 툴을 모킹할지 정한다. 그다음 어떤 페르소나와 유스케이스로 시뮬레이션을 몰아갈지 지정한다. 그러면 실제 에이전트를 상대로 한 수천 건의 멀티턴 대화가 툴 모킹까지 갖춰진 데이터셋으로 나오고, 그 위에 판정자를 돌려 턴별로 에이전트가 어떻게 행동했는지를 얻어 평가 파이프라인에 바로 연결한다.

주요 인사이트

• 평가가 어렵다는 말은 흔하지만, 이 발표는 그 어려움을 지표와 데이터로 갈라놓고 병목이 데이터 쪽에만 있다고 못 박는다. 지표 설계에 시간을 쓰고 있다면 우선순위를 잘못 잡은 것일 수 있다.
• 에이전트 데이터가 비싸진 진짜 이유는 양이 아니라 구조다. 한 건이 궤적이고 그 안에서 상태가 일관되게 유지돼야 하므로, 수작업 비용이 데이터 수에 비례해 늘지 않고 훨씬 가파르게 오른다.
• 프로덕션 트레이스가 공짜라는 인식에는 숨은 비용이 있다. 데이터 수집 자체가 실사용자 대상 실험이라, 머신러닝에서 당연시하는 대규모 병렬 실험을 프로덕션에서는 사실상 할 수 없다.
• 시뮬레이션이 모든 단계를 줄이는 것은 아니다. 발표자들도 하네스를 바꾸는 작업 자체는 여전히 몇 시간이 걸린다고 인정했다. 줄어드는 것은 그 변경이 좋은지 확인하는 데 걸리는 시간이다.
• 20배라는 숫자는 발표자들이 자사 사례를 근거로 제시한 수치이므로, 다른 조직에 그대로 옮겨지는 값이라기보다 검증 주기를 며칠에서 몇 시간으로 압축했을 때의 효과로 읽는 편이 적절하다.

자주 묻는 질문

관련 AI 소식