자기개선 에이전트와 관측가능성 2.0: 텔레메트리로 소프트웨어가 스스로 고치는 법

핵심 메시지

• 관측가능성은 사람이 그래프를 클릭하던 UI에서, 코딩 에이전트가 로그·트레이스로 직접 디버깅하는 '2.0'으로, 나아가 스스로 고치는 시스템으로 이동하고 있다.
• 텔레메트리는 시스템이 뿜어내는 '연기'와 같아서, 코드가 실제로 어떤 경로를 탔는지 알려주고 에이전트가 추측 대신 근거로 수정하게 해준다.
• 루프가 뒤집혀, 이제 에이전트가 먼저 이슈와 증거를 정리해 올리고 사람은 대응자에서 검토자·주도자로 역할이 바뀐다.
• 병목은 더 이상 '수정' 자체가 아니라 '이 수정이 옳은가'에 대한 확신이며, 그래서 훨씬 더 많이 로그하고 트레이스하는 것이 핵심이 된다.
• 관측 플랫폼에 연결되는 스킬이 데이터를 파일 형태로 저장소에 내려주고, 이를 샌드박스에서 주기적·이벤트 기반으로 돌리는 것이 미래의 관측 방식이다.

쉽게 이해하기

이 발표는 AI 관측가능성 회사 Arize의 창업자 제이슨 로파테키가 자사 에이전트 'Alex'와 차세대 자동화 제품 'Signal'을 만든 경험을 바탕으로, 관측가능성의 미래를 그린 강연이다. 그는 2년 전 업계에서 가장 먼저 에이전트를 만들었지만 첫 버전은 형편없었고, 그 시행착오에서 지금의 제품이 나왔다고 솔직히 말한다.

핵심 주장은 관측가능성이 세 단계로 진화한다는 것이다. 사람이 UI를 클릭해 보던 1.0, 코딩 에이전트와 스킬이 사람의 디버깅을 돕는 2.0, 그리고 시스템이 오류를 스스로 감지하고 고치는 미래다. 그는 텔레메트리를 시스템이 남기는 흔적에 비유하며, 이것이 있어야 에이전트가 수많은 코드 경로 중 실제로 무엇이 실행됐는지 알 수 있다고 강조한다.

그는 작업 루프가 반대로 뒤집혔다고 설명한다. 과거에는 사람이 문제를 보고 에이전트가 고쳤다면, 이제는 에이전트가 오류 데이터를 먼저 살펴 이슈와 증거를 정리해두고, 사람은 이미 근거가 갖춰진 상태에서 검토하거나 조사를 이어간다. 역할이 '대응자'에서 '검토자'로 옮겨가는 것이다.

실제 구현에서는 관측 플랫폼에 연결된 스킬이 트레이스·로그를 잘 설계된 파일 형태로 저장소에 내려주고, 여기에 코드가 더해져 수정안을 만든다. 로컬 노트북에서 하던 디버깅을 그대로 샌드박스로 옮겨, 오류가 날 때마다 혹은 일정 주기로 자동 실행한다는 것이 그가 말하는 '개방형' 접근이다.

그는 Phoenix(오픈소스), AX(SaaS), Signal이라는 제품군을 소개하며, 우버나 부킹 같은 대기업이 운영 데이터를 외부에 연결하기 꺼리기 때문에 자체 VPC에 설치하는 Arize 샌드박스나 Daytona 같은 선택지를 제공한다고 설명한다. 마지막으로 eval은 프로덕션 트레이스 위에 얹히는 'LLM 심판'으로, 이미 겪은 실패(예: 프롬프트 인젝션)를 다시 잡아내는 상시 평가 장치라고 정리한다.

주요 인사이트

• 사람은 모든 로그를 뒤질 수 없어 과거엔 로그를 줄였지만, 에이전트가 디버깅하는 시대에는 오히려 10배 더 로그하고 트레이스해야 자동 수정이 가능해진다.
• '클로드 코드에 데이터를 그냥 연결하면 되지 않나'라는 질문의 답은, 데이터를 잘 찾아 파일로 저장소에 넣는 잘 설계된 스킬이 있어야 에이전트가 제대로 작동한다는 것이다.
• 기업은 프로덕션 데이터를 외부 모델에 직접 연결하기를 꺼리므로, 자체 VPC 안에서 도는 샌드박스가 실제 도입의 현실적 열쇠가 된다.
• 에이전트 속도로 개발할 수는 있어도 같은 속도로 시스템을 개선하지 못하는 '거버너'가 생기며, 그 병목은 수정이 아니라 수정에 대한 확신이다.
• eval은 프로덕션 트레이스에 실시간으로 얹히는 데이터가 되어, 자기개선 루프가 원자료와 함께 활용하는 전처리된 판단 정보로 기능한다.

자주 묻는 질문

관련 AI 소식