코딩 에이전트 비용과 생산성 측정: 코그니션이 내건 1,000만 달러 보증의 구조

핵심 메시지

• 소프트웨어 엔지니어링의 상당수 작업이 '지능 포화' 상태에 접어들면서, 개발자들의 관심이 최고 성능 모델에서 속도와 비용으로 옮겨가고 있다.
• SWE-bench가 포화되자 코그니션은 '이 코드를 실제로 병합하겠는가'를 묻는 새 평가 FrontierCode를 만들었고, 오픈소스 관리자들과 함께 차단 기준과 비차단 기준을 나눠 설계했다.
• 데빈 퓨전의 사이드킥 구조는 최전선 모델과 저렴한 모델을 같은 과제에 병렬로 붙여 위임하게 만들어, 품질을 약간 올리면서 가격 대비 성능을 약 35% 개선했다.
• 클라우드 에이전트에서 사용자가 모델을 직접 고르게 하는 것은 장기적으로 UX 결함이라는 입장이다. 모델 선택 실패의 책임은 사용자가 아니라 제품에 있다고 봤다.
• 업계에는 고객이 토큰을 최대한 쓰게 만들 인센티브가 있어 이해관계가 근본적으로 어긋나 있다. 코그니션은 세션별 생산성을 평가하는 에이전트를 만들고, 기대 가치에 못 미치면 차액을 최대 1,000만 달러까지 환불하는 생산성 보증을 내걸었다.

쉽게 이해하기

코그니션 사장 러셀 캐플런은 테슬라 오토파일럿 팀에서 머신러닝 경력을 시작해, 자신의 컴퓨터 비전 스타트업이 스케일 AI에 인수된 뒤 그곳의 머신러닝 조직을 이끌었다. 그가 지금 이끄는 회사는 AI 소프트웨어 엔지니어 데빈을 만든 260억 달러 규모 기업이다. 데빈은 2024년 3월 바이럴 데모로 시작했고, 당시 SWE-bench 점수는 13% 수준이었지만 이전 최고 기록의 세 배였다. 초기 제품 시장 적합성은 대규모 마이그레이션과 리팩터링에서 나왔는데, 프롬프트와 맥락을 공들여 다듬어 코드베이스의 1만 개 모듈에 적용할 수 있다면 투자 대비 효과가 크다는 논리였다.

캐플런이 지금 가장 중요하게 보는 변화는 능력 향상 그 자체가 아니다. 모델의 도약이 이어지면서 소프트웨어 엔지니어링의 많은 작업이 지능 포화 상태에 들어섰고, 개발자의 민감도가 '최고 모델을 써야 한다'에서 '코딩 에이전트에 돈을 너무 많이 쓰고 있다'로 바뀌었다는 것이다. 거래 경쟁처럼 상대보다 지능이 높아야 하는 적대적 상황에서는 늘 최전선 지능이 필요하다. 그러나 우리가 만들려는 소프트웨어 대부분에는 충분히 좋아지는 임계점이 있고, 그 뒤로는 속도와 비용이 문제가 된다.

평가 이야기도 여기서 이어진다. SWE-bench가 포화된 뒤 코그니션은 내부적으로 느끼는 '이 모델이 훨씬 좋다'는 감각과 맞아떨어지는 평가를 찾지 못했고, 빠진 축은 병합 가능성이었다. 기술적으로 맞는 코드라도 실제로 병합하고 싶은지, 기존 스타일을 따르는지, 나중에 수정하기 쉬운지는 다른 질문이다. 그래서 평판 높은 오픈소스 저자들과 협업해 새 평가 FrontierCode를 만들었고, 테스트 통과 같은 차단 기준은 이진으로 판정하고 스타일이나 변경 범위 같은 비차단 기준은 선형 가중 점수로 반영했다. 변경을 적용하지 않으면 테스트가 실패해야 한다는 역방향 검증도 넣었으며, 다이아몬드 부분집합은 Fable 5 이전 10%대에서 지금 30%대로 올라왔다.

비용 문제는 이미 현실이다. 1인당 토큰 지출이 인건비 지출에 빠르게 근접하거나 넘어서기 시작한 조직들이 있고, 캐플런은 이를 '아무나 내일 천 명을 채용할 수 있는데 아무에게도 말하지 않아도 되는 상태'에 비유했다. 대응은 라우팅과 하네스 쪽이다. 데빈 퓨전은 최전선 품질 모델이 과제를 수행하는 동안 더 저렴한 모델을 같은 과제에 병렬로 붙여, 최전선 모델이 언제 사이드킥에게 넘길지 판단하게 한다. 캐시를 의식한 설계와 영리한 라우팅으로 품질을 약간 올리면서 가격 대비 성능을 약 35% 개선했고, 클라우드 에이전트에서 사용자가 모델을 직접 고르게 하는 것은 장기적으로 UX 결함이라는 입장을 밝혔다.

가장 논쟁적인 대목은 인센티브다. 업계에 고객이 토큰을 최대한 쓰도록 유도할 강한 동기가 있어 이해관계가 근본적으로 어긋나 있고, 연간 수천만에서 수억 달러를 쓴 기업들에서 '그래서 우리가 얻은 게 뭐냐'는 질문이 나오는 국면이 왔다는 것이다. 코그니션은 투자 수익률을 자동 추정하는 대신 한 단계 아래인 생산적 산출을 측정하기로 하고, PR이 병합되지 않으면 보수적으로 비생산 세션으로 분류하는 등의 기준과 절약 시간 추정을 결합해 세션을 채점하는 평가 에이전트를 만들었다. 절약 폭이 커서 재무적으로 보증할 자신이 생겼고, 지불액이 기대되는 엔지니어링 시간 가치를 넘으면 차액을 최대 1,000만 달러까지 환불하겠다고 선언했다. 내부 반대도 있었기에 관리자가 예산을 배분하고 통제하는 비용 관리 기능을 함께 제품에 넣었다.

주요 인사이트

• 지능 포화라는 개념은 모델 경쟁의 국면 전환을 설명한다. 성능이 충분해진 작업에서는 더 나은 모델을 쓰는 것이 아니라 적절한 모델을 적절한 순간에 쓰는 하네스의 가치가 커진다.
• 평가를 차단 기준과 비차단 기준으로 나눈 설계는 실무 코드 리뷰의 구조를 그대로 옮긴 것이다. 테스트 통과 여부는 이진 판정이지만, 불필요하게 다른 파일을 건드리는 것 같은 문제는 감점 요소로 다뤄야 한다.
• '변경을 적용하면 테스트가 통과한다'만 확인하면 평가가 허술해진다. 변경이 없을 때 테스트가 실패해야 한다는 역방향 검증을 함께 걸어야 그 변경이 실제로 문제를 고쳤음을 알 수 있다.
• 사용자에게 모델 선택권을 주는 것이 친절인지 책임 전가인지는 맥락에 따라 다르다. 결과 품질과 비용을 모두 제품이 약속해야 하는 클라우드 실행에서는 선택 부담을 제품이 흡수하는 편이 일관된다.
• 생산성 보증은 마케팅이 아니라 인센티브 설계다. 사용량으로 돈을 버는 구조에서는 낭비를 줄일 동기가 약하지만, 가치에 못 미치면 환불하는 구조에서는 비용 통제 기능을 제품에 넣을 이유가 생긴다.

자주 묻는 질문

관련 AI 소식