AI 도입의 다음 병목, 포워드 디플로이드 엔지니어링이 필요한 이유와 현장 적용법

핵심 메시지

• 모델과 도구가 좋아지면서 '작업을 끝까지 실행하는 능력'은 더 이상 AI 도입의 병목이 아니게 됐다는 것이 발표의 출발점이다.
• 남은 병목은 회사마다 다른 업무 방식을 얼마나 깊이 이해하느냐이며, 같은 영업 부서라도 헬스케어 기업과 소프트웨어 기업은 완전히 다르게 움직인다.
• 발표자는 고객사에 엔지니어를 직접 상주시켜 담당자별로 업무를 인터뷰하고, 특히 '일이 잘못됐을 때 실제로 어떻게 처리되는지'를 지도로 그린다고 설명했다.
• 망가진 프로세스 위에 AI를 그대로 얹는 방식이 성과가 나지 않는 이유로 지목됐고, 생성형 AI 파일럿의 대다수가 실제 운영 단계에 도달하지 못한다는 조사 결과가 근거로 인용됐다.
• 사람을 계속 늘리는 대신, 문서와 회의록을 정리하고 워크플로 설계를 검토해 주는 내부 에이전트를 만들어 엔지니어 한 명이 더 많은 고객을 감당하도록 했다.

쉽게 이해하기

AI Engineer 컨퍼런스에서 기업용 에이전트를 구축하는 스타트업 Varick Agents가 '다음 병목'이라는 제목으로 발표를 진행했다. 발표자는 몇 해 전만 해도 AI에게 처음부터 끝까지 하나의 업무를 맡겼다고 답할 사람이 거의 없었지만 지금은 사정이 완전히 달라졌다고 말했다. 모델의 지능과 이를 감싸는 도구가 충분히 좋아지면서, 실행 자체는 더 이상 제약이 아니라는 것이다.

그렇다면 무엇이 남았는가. 발표자는 '기업을 얼마나 이해하느냐'를 지목했다. 회사마다 일하는 방식이 다르고, 그 맥락을 직원들의 머릿속에서 끄집어내 모델에 제대로 전달하기가 어렵다는 것이다. 그래서 이들은 고객사 안에 엔지니어를 상주시켜 재무 부서라면 미지급금·미수금·정산·자금·예산 담당자를 한 명씩 인터뷰한다. 여기서 핵심은 정상적인 흐름이 아니라 예외 상황이다. 문서에는 잘 풀리는 경로만 적혀 있지만, 실제로는 담당자가 막히면 다른 사람에게 넘기고 그 과정에서 며칠이 사라지는 식의 현실이 회사마다 제각각이라는 설명이다.

두 번째 단계는 AI를 중심으로 업무 절차 자체를 다시 설계하는 일이다. 발표자는 업계 전반에서 투자 대비 성과가 잘 나오지 않는 이유로, 이미 깨져 있는 프로세스 위에 AI만 덧붙이는 관행을 들었다. 재설계에는 균형이 필요하다고도 했다. 열한 단계짜리 업무를 갑자기 한 단계로 바꾸면 현장에서 받아들이지 못하고, 반대로 거의 그대로 두면 성과가 나오지 않는다. 그래서 여덟 단계 중 몇 개는 완전 자동화하고, 몇 개는 사람이 중간에 확인하며, 위험이 큰 한 단계는 사람이 그대로 맡는 식으로 나눈다는 것이다.

세 번째는 기존 시스템 위에 에이전트를 올리는 방식이다. 대기업 상당수는 이미 대형 전사 시스템에 깊이 묶여 있고, 한 고객사는 시스템 이전에만 수년과 수백만 달러를 썼다고 했다. 이런 상황에서 '좋은 AI 도구가 있으니 기존 시스템에서 나오라'고 말하는 제안은 받아들여지지 않는다. 이어 발표한 엔지니어링 총괄은 현장 엔지니어들이 수백 페이지 문서를 통째로 모델에 붙여 넣고 장황하고 부정확한 답을 기다리던 방식을 대체하기 위해, 회사의 업무 흐름을 의존 관계 그래프로 정리하고 오픈소스 모델을 추가 학습시켜 필요한 맥락만 추려 내는 도구를 만들었다고 소개했다.

주요 인사이트

• '실행은 해결됐고 이해가 남았다'는 진단은 기업 AI 프로젝트의 실패 원인을 모델 선택이 아니라 업무 파악의 깊이에서 찾게 만든다.
• 문서화된 정상 절차가 아니라 예외 처리 경로를 먼저 파악한다는 접근은, 자동화 대상을 고를 때 어디에 사람이 남아야 하는지를 판단하는 실질적인 기준이 된다.
• 부서의 한 조각만 자동화하면 효과가 제한적이고 부서 전체를 다시 설계할 때 성과가 커진다는 주장은, 소규모 시범 도입이 성과로 이어지지 않는 흔한 상황을 설명한다.
• 발표자들은 최신 상용 모델이 길고 장황한 분석을 내놓아 정작 고객이 관심 있는 부분을 골라내지 못한다고 지적하며, 용도에 맞춘 자체 학습 모델을 대안으로 제시했다.

자주 묻는 질문

관련 AI 소식