AI 에이전트를 계속 개선하는 법: 트레이스 데이터 마이닝, 하네스 조정과 파인튜닝 전략

핵심 메시지

• 에이전트는 프롬프트·도구·훅이 얽혀 있어 코드만 읽어서는 동작을 예측할 수 없고, 실제 실행 기록인 트레이스를 봐야 한다.
• 관측 가능성과 지속 학습은 사실상 같은 문제다. 환경에서 행동한 기록이 있어야 그 기록을 근거로 자신을 갱신할 수 있기 때문이다.
• 트레이스가 기가바이트·테라바이트 규모가 되면 사람이 다 읽을 수 없어, 다른 에이전트를 시켜 트레이스를 검색하고 분석하게 만드는 접근이 필요하다.
• 오픈 모델의 지능이 임계점을 넘으면서, 작업에 필요한 최소 지능만 쓰는 방식으로 비용을 크게 줄일 수 있게 됐다.
• 하네스 조정으로 빠른 피드백을 얻고, 한계에 도달하면 파인튜닝으로 천장을 뚫은 뒤 다시 하네스를 다듬는 순서가 실무적으로 유효하다.

쉽게 이해하기

랭체인에서 응용 연구를 이끄는 비벡 트리베디는 AI 엔지니어 행사 발표에서 "에이전트를 계속 개선하는 일은 결국 데이터 마이닝 문제"라고 정리했다. 그가 제시한 순서는 단순하다. 먼저 에이전트를 실제로 배포해 환경에서 돌아가게 하고, 그 과정에서 쌓이는 실행 기록을 모두 저장한 다음, 그 기록을 파헤쳐 개선 지점을 찾고, 마지막으로 바뀐 프롬프트나 도구가 정말 나아졌는지를 데이터로 검증한다는 것이다.

왜 하필 실행 기록인가. 일반적인 소프트웨어라면 코드 블록을 읽는 것만으로 함수가 서로를 어떻게 호출하는지 머릿속에서 따라갈 수 있다. 그런데 에이전트에는 프롬프트, 도구, 스킬, 훅, 미들웨어가 뒤섞여 있고 어떤 에이전트는 다른 에이전트를 호출한다. 프롬프트 한 줄을 바꿨을 때 대규모 환경에서 동작이 어떻게 달라질지 사람이 추론하기는 대단히 어렵고, 그 영향은 의료 영역이냐 법률 영역이냐에 따라 또 달라진다. 지난 몇 년 사이 우리는 결정론을 자율성과 맞바꿨고, 그래서 자율적으로 움직이는 시스템을 이해할 새로운 수단이 필요해졌다는 것이 그의 진단이다.

발표자는 관측 가능성과 지속 학습이 사실상 같은 문제의 다른 이름이라고 봤다. 사람도 세상에서 무언가를 해 보고, 자신이 한 일을 되돌아보고, 그 결과에 맞춰 알고 있는 것을 고쳐 쓴다. 에이전트도 마찬가지여서 환경에서 행동한 기록이 없으면 갱신할 근거 자체가 없다. 다만 규모가 문제다. 트레이스 하나가 수백만 토큰에 이르면 다른 에이전트의 문맥에도 들어가지 않기 때문에, 문맥을 외부 객체처럼 두고 질의해 들어가는 방식으로 시스템을 설계해야 한다고 설명했다.

비용 이야기도 구체적이다. 최근 오픈 모델의 성능이 한 단계 올라서면서, 그의 팀은 모든 작업에 최상위 모델을 쓰지 않고 "이 작업에 필요한 최소한의 지능은 어느 수준인가"를 먼저 따진다고 했다. 법률 분야 기업 하비와 함께 진행한 벤치마크에서는 트레이스를 판정하는 작업을 훨씬 저렴한 오픈 모델로도 거의 같은 수준으로 해낼 수 있었고, 비용은 한두 자릿수 배로 떨어졌다. 그 비결은 트레이스를 읽어 얻은 힌트로 하네스를 다듬는 작업이었다. 또한 추론 요청이 아주 많은 워크로드라면 토큰 단위 과금 대신 클러스터를 직접 띄워 하드웨어 비용으로 전환하는 편이 쌀 수 있다고 덧붙였다.

그렇다면 언제까지 하네스를 손보고 언제 파인튜닝으로 넘어가야 할까. 그의 기준은 "피드백을 가장 빨리 얻을 수 있는 쪽"이다. 하네스 조정은 몇 분 만에 결과를 확인할 수 있으니 먼저 하고, 프롬프트를 아무리 다듬어도 더 나아지지 않는 한계에 부딪히면 그때 도메인에 맞춘 파인튜닝을 시도하며, 그 뒤에 필요하면 다시 하네스를 다듬는 샌드위치 구조다. 실제로 많은 팀이 하네스 조정만으로 고객 요구를 충족하고 있다고도 했다.

주요 인사이트

• 평가(eval)는 곧 에이전트 동작의 정의에 가깝다. 어떤 항목으로 테스트하는지를 보면 그 에이전트가 어떻게 행동할지 대략 알 수 있는데, 결국 그 평가를 통과하도록 에이전트를 고치기 때문이다.
• 피드백은 촘촘할수록 좋다. 통과·실패라는 숫자 하나만 돌려주면 다음에 무엇을 고쳐야 할지 알 수 없고, 트레이스는 그 촘촘한 피드백을 담아 두는 바탕이 된다.
• 성능이 좋지만 비싼 모델의 잘 풀린 실행 기록을 골라 데이터셋으로 만들고, 그 행동을 작은 모델이 흉내 내도록 학습시키는 증류 방식이 실무에서 자주 쓰인다.
• 높은 신뢰가 필요한 법률·의료 영역에서는 사람이 여전히 검토 고리에 남아야 하지만 모든 기록을 다 읽을 수는 없으므로, 사람이 읽을 자료를 정리해 주는 일 자체가 가치를 갖는다.
• 기억은 덧붙이기만 하는 로그가 되어서는 안 된다. 에이전트가 여러 해에 걸쳐 함께 일하려면 쌓인 기록을 정리하고 갱신하는 과정, 이른바 휴면 시간 연산이 필요하다.

자주 묻는 질문

관련 AI 소식