AI 에이전트 개발 생애주기 5단계: 빌드·테스트·배포·모니터링·거버넌스 전 과정 정리

핵심 메시지

• 에이전트를 한 번 동작시키는 일은 쉽지만, 수백 명이 쓰는 환경에서 일관되게 동작시키는 일은 어렵다. 잘하는 조직은 일찍 내놓고 체계적으로 반복한다.
• 개발 과정은 빌드·테스트·배포·모니터링의 네 단계로 나뉘고, 여러 에이전트를 동시에 다루기 시작하면 이 전체를 감싸는 거버넌스가 필요해진다.
• 빌드 단계의 도구는 추상화 수준에 따라 프레임워크·런타임·하네스로 나뉘며, 프롬프트와 스킬이 대부분 마크다운 파일이라 코드 없이 에이전트를 정의하려는 흐름도 나타나고 있다.
• 에이전트 테스트는 데이터셋과 평가 기준을 직접 정의해야 하는 작업이고, 실행이 길고 환경을 바꾸는 에이전트에는 샌드박스 기반 평가 환경이 필요하다.
• 운영의 중심은 트레이스다. 에이전트가 실패하는 대부분의 이유는 모델에 필요한 맥락이 들어가지 않았기 때문이며, 그것을 확인하려면 각 단계의 입력과 출력을 남겨야 한다.

쉽게 이해하기

랭체인 공동창업자이자 CEO인 해리슨 체이스가 회사 유튜브 채널에 공개한 웨비나에서 'AI 에이전트 개발 생애주기'를 주제로 발표했다. 그는 지난 1년 동안 여러 조직이 에이전트를 실제로 출시하는 법을 익혔고, 가장 잘하는 팀들의 공통점은 일찍 내놓고 체계적으로 개선한다는 점이라고 말했다. 트위터에 올릴 데모 하나를 만드는 일과, 수백 명의 사용자에게 안정적으로 제공하는 일 사이의 간극이 이 발표의 출발점이다.

첫 단계인 '빌드'에서 그는 무엇보다 추상화 수준을 먼저 정하라고 조언했다. 프레임워크는 모델 입출력·툴·프롬프트·검색을 표준화해 시작을 쉽게 해주지만 내부 동작을 가린다는 단점이 있다. 그는 초기 랭체인의 한 구성요소가 내부적으로 LLM을 다섯 번 호출하는데도 사용자가 그 사실을 몰라 속도 문제를 겪었던 일을 예로 들며, 이후 추상화를 가볍게 다듬었다고 밝혔다. 상태 관리·재개 가능한 실행·사람 개입 같은 문제를 다루는 런타임, 그보다 한 층 위에서 컨텍스트 관리와 서브 에이전트·스킬까지 포함하는 하네스가 각각 다른 층에 놓인다.

'테스트'는 전통적인 소프트웨어 테스트와 닮았지만 성격이 다르다. 입력을 모아 데이터셋을 만들고, 정답이 분명한 과제는 정답과 비교하고 그렇지 않은 과제는 기준을 정의해 채점한다. 체이스는 코딩 에이전트 벤치마크가 파일 변경 내용 대신 단위 테스트 실행 결과로 점수를 매기는 방식을 기준 기반 채점의 예로 들었다. 다만 데이터셋과 지표는 대체로 애플리케이션마다 직접 만들어야 하고, 에이전트는 15~30분씩 실행되며 산출물을 남기기 때문에 각 과제를 독립된 샌드박스에서 돌리는 평가 프레임워크가 필요하다고 설명했다.

'배포' 단계에서는 실행 도중 실패했을 때 처음부터 다시 돌지 않고 그 지점부터 재개할 수 있는지, 대화 단위 기억과 장기 기억을 어떻게 유지할지, 토큰뿐 아니라 사고 과정과 툴 호출까지 어떻게 스트리밍할지가 쟁점이 된다. 에이전트가 직접 작성한 코드를 실행한다면 그것은 신뢰할 수 없는 코드이므로 샌드박스가 필요하다. 그는 컨텍스트를 데이터베이스나 오브젝트 스토리지에 저장하되 에이전트에게는 파일시스템처럼 노출하는 '가상 파일시스템'도 소개했는데, 모델이 파일 읽기·쓰기·검색 도구를 이미 아주 잘 다루기 때문이다.

마지막 두 단계인 '모니터링'과 '거버넌스'는 사실상 운영 그 자체다. 트레이싱은 프로덕션 전에 갖춰야 할 가장 기본이고, 그 위에 사용자 피드백과 온라인 평가로 살펴볼 트레이스를 골라낸다. 여러 팀이 에이전트를 운영하기 시작하면 비용 통제, 어떤 툴에 누구의 권한으로 접근했는지에 대한 감사 기록, 승인 절차가 필요해진다. 체이스는 에이전트를 만드는 일이 전체 주기에서 가장 짧고 재미있는 부분이며, 규모 있게 운영하는 일이 가장 오래 걸린다고 정리했다.

주요 인사이트

• 컨텍스트를 줄이는 구체적 방법으로 그는 세 가지를 들었다. 툴이 6만 토큰짜리 응답을 돌려주면 전체를 파일에 저장하고 마지막 일부만 보여준 뒤 필요하면 읽게 하기, 일정 기준을 넘으면 요약하기, 파일에 이미 저장된 긴 입력은 대화 기록에서 지우기다.
• 다만 이런 컨텍스트 조작은 프롬프트 캐시를 깨지 않도록 신중히 해야 한다. 같은 앞부분을 반복해 보내면 캐시가 적중해 더 싸고 빨라지는데, 앞쪽 맥락을 자꾸 손대면 그 이점을 잃는다.
• 정답이 없는 과제를 평가하는 요령으로 그는 의미가 같고 표현만 다른 두 입력을 만들어 각각 실행해 보는 방법을 소개했다. 결과가 크게 달라지면 둘 중 하나는 틀린 것이므로, 어느 쪽이 틀렸는지는 몰라도 문제 지점은 찾을 수 있다.
• 랭체인은 대화 기록에서 '사용자가 보기에 에이전트가 틀렸다'는 신호를 찾는 작은 모델을 따로 학습시켰다. 사용자가 잘못을 지적하거나 오류 메시지를 다시 붙여넣는 행동이 그런 신호에 해당한다.
• 체이스는 지금의 AI 상당수가 챗봇에 머물러 있다는 지적에 동의하면서, 실제 업무로 넘어가려면 UX가 관건이라고 답했다. 완전 자율로 맡기면 요구 수준이 훨씬 높아지므로, 에이전트가 초안을 만들고 사람이 승인하는 구조와 이벤트로 깨어나 배경에서 도는 에이전트를 주목한다고 했다.

자주 묻는 질문

관련 AI 소식