코그니션 데빈 현장 배치 전략: 포워드 디플로이드 엔지니어가 하는 일과 성과 지표

핵심 메시지

• 코딩 자체는 사실상 해결된 문제이며, 진짜 비용은 테스트·리뷰·배포·유지보수에 남아 있다는 것이 이 조직의 출발점이다
• 방향 없이 에이전트를 돌리는 것은 토큰만 태우는 일이라, 고객의 어떤 문제에 어떤 기능을 붙일지 매핑하는 사람이 필요하다
• 현장 엔지니어의 일은 고객 문제 해결로 끝나지 않고, 거기서 얻은 정보를 제품 로드맵으로 되돌리는 피드백 절반이 함께 있어야 한다
• 핵심 지표는 토큰 사용량이 아니라 실제로 줄어든 납기와 늘어난 PR 같은 측정 가능한 결과로 옮겨갔다
• 채용은 넓은 역량 위에 뾰족한 강점을 요구하며, 제품 감각이 강한 사람과 기술이 깊은 사람을 각각 다른 유형으로 뽑는다

쉽게 이해하기

발표자는 코그니션에서 현장 배치 엔지니어링을 이끄는 인물로, 자사 코딩 에이전트 데빈을 기업 현장에 어떻게 심는지 설명했다. 2024년 처음 공개됐을 때 벤치마크 점수가 13% 수준이었고 일주일쯤 지나자 '막다른 상황이 아니면 안 쓰겠다'는 반응이 돌아왔다는 이야기로 시작한다. 이후 CLI와 IDE 형태의 인터페이스, 그리고 클라우드에서 도는 에이전트로 제품을 넓혀 왔다.

문제 인식은 분명하다. 모델이 좋아지면서 충분한 맥락만 주면 원하는 코드 블록을 얻는 것은 어렵지 않아졌지만, 코드를 빨리 쓰는 일은 전체 문제의 20% 정도에 불과하다는 것이다. 남은 문제는 그 코드를 어떻게 테스트하고 리뷰하고 배포하며 조직 전체에서 유지보수할 것인가에 있고, 레거시 코드가 없는 이상적인 상황은 현실에 존재하지 않는다.

그래서 현장 엔지니어는 제품이 잘하는 것과 고객이 겪는 문제의 교집합을 최대한 넓히는 역할을 맡는다. 방향 없이 에이전트를 풀어 놓으면 토큰과 예산만 태우고 손에 잡히는 결과가 없기 때문에, 고객의 백로그와 밀린 개선 작업, 아무도 쓰지 않는 테스트, 경보 분류 같은 구체적인 지점에 기능을 매핑한다. 발표자는 하루의 절반을 고객 통화에, 나머지 절반을 직접 키보드를 잡는 작업에 쓴다고 말했다.

다만 고객 문제를 100% 해결해도 그것은 절반일 뿐이라는 점을 강조한다. 현장에서 매일 듣는 문제는 가장 정확도 높은 평가 자료이고, 이 요구가 조직 전반에 공통된 것인지 특정 사용자에게만 해당하는 것인지 판단해 제품 로드맵으로 되돌려야 한다. 임시방편이나 버그가 정식 기능이 되어야 하는지까지 함께 묻는 것이 이 일의 나머지 절반이다.

성과를 보는 눈도 달라졌다. 예산 걱정 없이 토큰 사용량을 최대로 끌어올리는 것이 목표였던 시기가 있었지만, 규제가 엄격한 대형 기업들은 이제 실제 가치가 나오는지 아니면 토큰만 태우는지를 묻는다. 익명 사례 기준으로 도입 전후 납기 일정이 82% 단축됐고 병합된 PR은 단일 도구를 쓰던 때의 약 두 배가 됐으며, 3개월 상주 프로젝트에서는 인력을 대규모로 추가 투입한 것과 맞먹는 엔지니어링 시간을 만들어 냈다고 밝혔다. 공개 사례로 언급된 남미 은행의 ETL 이전과 세금 식별 시스템 이전은 코볼이나 JCL처럼 이제는 배우는 사람이 드문 레거시 영역이었다.

주요 인사이트

• AI 도입의 병목이 모델 성능에서 조직 운영으로 옮겨갔다. 코드를 만드는 능력보다 그 코드를 조직이 받아들이는 절차가 가치를 좌우한다
• '토큰을 얼마나 썼는가'에서 '납기와 병합된 PR이 어떻게 달라졌는가'로 지표가 바뀐 것은 AI 예산이 실험비에서 운영비로 옮겨갔다는 신호다
• 에이전트의 투자 대비 효과 측정은 여전히 미해결 문제로 남아 있으며, 발표자 스스로 이를 푸는 회사가 거대 기업이 될 것이라고 표현했다
• 현장에서 반복적으로 같은 모양의 문제가 올라온다는 사실 자체가 제품 로드맵의 위험을 줄이는 가장 정확한 데이터가 된다
• 코볼이나 JCL 같은 레거시 이전은 사람을 구하기 어려운 영역이라, 에이전트가 상대적으로 분명한 가치를 증명하기 좋은 지점이다

자주 묻는 질문

관련 AI 소식