AI VIDEO BRIEFING
AI 코딩 에이전트 비용 절감의 핵심, 모델보다 하네스와 자동 모델 라우팅에 있다
팩토리 CTO 에노 레예스가 랭체인 팟캐스트에서 코딩 에이전트를 감싸는 하네스가 같은 모델의 성능과 비용을 어떻게 바꾸는지, 기업에서 폭증한 토큰 비용을 자동 모델 라우팅으로 줄이는 방법은 무엇인지 설명했다.
핵심 메시지
- 에이전트를 감싸는 하네스가 어떤 워크플로를 찾아내느냐에 따라 같은 모델도 성능과 비용이 크게 달라진다.
- 기업 환경에서는 보조금 없는 실제 추론 가격을 내야 하므로, 작업별로 알맞은 모델을 자동으로 고르는 라우팅이 가장 큰 비용 절감 수단이다.
- 에이전트는 사람이 아닌 결정적 피드백(테스트, 린트, 재현 가능한 개발 환경)을 받을 수 있을 때 비로소 스스로 굴러간다.
- 신호 수집부터 배포까지 자동화해도 사람이 계획과 방향을 검수하는 지점은 오래 남는다는 것이 현장의 관찰이다.
- 코드 리뷰 같은 영역은 벤치마크 자체가 낡아 제품 개발을 잘못된 방향으로 이끌 수 있다.
쉽게 이해하기
랭체인의 팟캐스트에 출연한 팩토리 공동창업자 겸 CTO 에노 레예스는 자사가 만들려는 것을 '소프트웨어 팩토리'라고 설명했다. 고객 슬랙 채널, 깃허브 이슈, 사내 대화, 텔레메트리에서 올라오는 신호를 한 파이프라인으로 모으고, 에이전트가 제품별 우선순위 문서를 기준으로 이를 변경 작업으로 번역한다는 구상이다. 다만 그는 이 흐름을 사람 없이 끝까지 흘려보내지는 않으며, 사람이 개별 변경과 명세를 들여다보는 단계에 가장 깊이 개입한다고 밝혔다.
대화의 핵심은 '모델 독립적 하네스'였다. 그는 모델을 후속 학습시키면 특정 워크플로로 끌리는 중력이 생기고, 좋은 하네스는 그렇게 발견된 워크플로를 모든 모델에 옮겨 적용할 수 있다고 말한다. 실제로 자사 하네스에서 코드 리뷰 한 건에 드는 비용이 모델에 따라 1.7달러에서 5~6달러까지 벌어졌는데, 비싼 모델에 다른 리뷰 워크플로를 입히자 3달러 수준까지 내려가고 품질 격차도 줄었다는 것이다.
그는 여러 아키텍처의 모델이 같은 데이터로 학습하면 결국 비슷한 표현으로 수렴한다는 '플라토닉 표현 가설'을 언급하며, 모델 간 차이는 점점 왼손잡이와 오른손잡이 정도의 습관 차이로 좁혀질 것이라고 봤다. 그래서 모델 자체보다 그 위에서 워크플로를 찾아내는 층에서 아직 발견되지 않은 이득이 크다고 주장한다. 실제로 어떤 오픈 모델이 특정 도구를 계속 무시하는 이유를 추적해 보니 시스템 환경 주입 방식으로 학습되지 않았기 때문이었고, 이런 작업은 마법이 아니라 버그를 찾아 고치는 평범한 엔지니어링이라고 강조했다.
비용 이야기도 구체적이다. 그는 지금 모두의 최대 관심사가 '토크노믹스'라고 말하면서, 대규모 마이그레이션 같은 작업 단위는 한 건에 100달러에서 1000달러까지 갈 수 있다고 인정했다. 그러나 진짜 낭비는 개별 작업의 효율이 아니라, 수천 명이 도구를 쓰면서 필요 없는 곳에 비싼 모델을 쓰는 데서 발생한다고 지적한다. 관리자가 비용 절감 강도를 조절하는 슬라이더 형태의 자동 라우팅을 도입했고, 캐시를 깨는 손해까지 계산에 넣어야 하므로 라우팅은 게이트웨이가 아니라 하네스가 풀어야 할 문제라고 설명했다.
그는 또 사람과 에이전트가 각각 무엇을 봐야 하는지 구분했다. 코드베이스 문서를 자동 생성하는 오토위키는 에이전트가 아니라 사람을 위한 것이라며, 요즘 에이전트는 필요한 맥락을 스스로 찾을 만큼 좋아졌다고 말한다. 반대로 '미션'이라 부르는 기능은 결과와 검증 방법을 구조화된 데이터로 못 박아 두고, 모든 검증을 통과할 때까지 에이전트를 멈추지 못하게 하는 방식이다. 검증자가 스스로 통과하는 시시한 테스트를 쓸 위험에 대해서는 결국 검증자를 다시 검증해야 한다고 인정했다.
주요 인사이트
- 같은 모델이라도 하네스가 유도하는 워크플로에 따라 비용과 품질이 몇 배씩 달라지므로, 모델 교체보다 워크플로 설계가 먼저 검토할 대상이다.
- 개인 개발자는 모델 회사들의 보조금 덕에 저렴하게 쓰지만 기업은 실제 추론 원가를 부담하기 때문에, 두 시장에서 합리적인 선택이 서로 다르다.
- 에이전트를 잘 쓰려면 테스트 커버리지, 로그 규격 검사, 개발 환경 재현성처럼 사람 없이도 참·거짓을 판정해 주는 장치를 코드베이스에 먼저 깔아야 한다.
- 사람은 모델 이름을 알면 최신 프론티어 모델을 선호하는 편향을 보이는데, 비용 규모가 커질수록 이 심리적 선호보다 계산이 이긴다는 것이 그의 전망이다.
- 린트와 타입 검사 규칙을 정교하게 만들어 에이전트의 실수를 막는 전담 엔지니어가 생겨나는 등, 자동화가 진행될수록 사람의 역할은 사라지기보다 이동한다.
자주 묻는 질문
모델을 만드는 회사들이 자사 모델에 맞춘 도구를 내놓으면 독립적인 하네스는 불리하지 않나?
레예스는 오히려 모델 회사가 자기 모델만 시험할 수 있어 불리하다고 봤다. 여러 모델을 비교하며 더 나은 워크플로를 찾는 쪽이 그 성과를 모든 모델에 옮길 수 있기 때문이다. 다만 그는 API 플랫폼이 핵심 사업인 이상, 특정 하네스만 잘 돌아가게 만드는 선택은 사업적으로 감수하기 어려운 일이라고 덧붙였다.
자동 모델 라우팅은 그냥 싼 모델을 기본값으로 두는 것과 무엇이 다른가?
그는 품질과 비용의 곡선 위에서 위치를 조절할 수 있다는 점이 다르다고 설명했다. 회사마다 에이전트가 처리하는 작업 분포가 다르므로, 그 분포에서 어떤 작업에 어떤 모델이 필요한지 학습해 결정하면 눈대중으로 싼 모델을 고르는 것보다 나은 지점을 찾을 수 있다는 것이다.
에이전트가 검증 통과를 위해 형식적인 테스트를 만들어 버리는 문제는 어떻게 다루나?
레예스는 검증자를 다시 검증해야 하는 구조라는 점을 인정했다. 대신 작업을 잘게 나눠 각 작업자가 빈 맥락에서 시작하게 하고 단계별 검증을 두면, 한 번의 실행 안에서 벌어진 편법이 다음 단계로 이어지지 않게 막을 수 있다고 설명했다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗