AI 앱이 프로덕션에서 실패하는 이유와 구글 유튜브가 찾은 프로토타이핑 해법 정리

핵심 메시지

• 구글 클라우드는 AI로 코딩한 앱 가운데 실제 현장에서 살아남는 것은 5%뿐이며, 나머지는 대부분 검증 단계에서 무너진다고 지적한다.
• 혼자 만드는 프로젝트에서는 실패를 빠르게 받아들이면 되지만, 신뢰성과 보안·규정 준수가 걸린 조직에서는 같은 속도로 실패할 수 없다는 것이 문제의 핵심이다.
• 유튜브의 벤지는 실제 데이터와 UI에 연결된 프로토타이핑 환경을 만들어, 아이디어를 분기가 아니라 몇 주 안에 검증할 수 있게 했다.
• 핵심 원칙은 '버릴 코드를 받아들여라'다. 프로토타입으로 아이디어를 증명한 뒤 프로덕션에서는 확신을 갖고 처음부터 다시 구현하는 편이 지저분한 시제품을 다듬는 것보다 빠르다.
• 이 방식은 엔지니어가 아니어도 아이디어를 검증할 수 있게 만들어, 개발자와 기획자·UX 연구자 사이의 관계까지 바꿔놓았다.

쉽게 이해하기

구글 클라우드의 개발자 프로그램 총괄 스테파니 웡은 AI 코딩이 황금기를 맞았지만 정작 완성된 아이디어가 프로덕션 문턱에서 거의 언제나 좌초한다는 문제 제기로 이야기를 연다. 그가 인용한 수치에 따르면 AI로 만든 앱 중 실제 세상에서 살아남는 것은 5%에 불과하고, 나머지 95%는 검증 단계에서 무너진다. 데모용 실제 데이터를 구하지 못해서, 사용자 피드백을 받지 못해서, 팀 합의를 이루지 못해서 같은 이유가 차례로 발목을 잡는다.

첫 번째로 등장하는 인물은 크롬 데브툴스와 에이전트 스킬로 알려진 애디 오스마니다. 그는 자신이 늘 실패한다고 말하며, 개인 프로젝트에서는 최대 10개의 코딩 에이전트를 동시에 돌리고 세밀한 작업만 직접 처리한다고 설명했다. 다만 변경 사항을 제대로 살피지 않고 병합하다 보니 결국 자신의 앱 두 개가 망가졌다고 털어놓는다. 그는 이를 제트기 조종에 비유했다. 빠르게 움직일수록 실패 확률도 함께 올라간다는 것이다.

문제는 조직 안에서는 이 실패 비용이 훨씬 크다는 점이다. 유튜브는 수십억 사용자를 감당하는 서버와 20년 된 레거시 코드를 안고 있고, 사실상 공공 인프라에 가까운 플랫폼이라 실험적 코드의 기술 부채를 그대로 얹을 수 없다. 유튜브 엔지니어 벤지는 몇 해 전 재생목록 페이지를 다시 디자인할 때, 출시가 아니라 상사에게 투박한 데모 하나를 보여주기까지 작은 팀이 여러 사이클을 써야 했다고 회고한다.

그가 주목한 것은 실제로 결실을 맺는 AI 기능 팀들이 하나같이 프로토타이핑을 하고 있다는 사실이었다. 다만 백지에서 시작하는 프로토타입으로는 부족했다. 유튜브 서버에서 시험할 수도, 실제 UI에서 어떻게 보이는지 확인할 수도 없기 때문이다. 그래서 그의 팀은 유튜브에 실제로 연결하지 않으면서도 유튜브에 연결된 것과 같은 환경, 즉 읽기 전용 API 접근 권한과 AI 스튜디오 템플릿을 갖춘 프로토타이핑 스택을 만들었다.

이 환경에서 유튜브 리캡과 유튜브 애스크 같은 기능이 먼저 만들어졌고, 새 버전을 몇 주 만에 UX 연구 단계로 넘길 수 있었다. 그렇다고 프로토타입을 그대로 프로덕션에 붙여 넣는 것은 아니다. 벤지의 조언은 명확하다. 프로토타입은 아이디어를 증명하는 데까지만 쓰고, 프로덕션에서는 확신을 가지고 다시 작성하라는 것이다. 검증된 아이디어를 다시 만드는 편이 엉성한 시제품을 다듬는 것보다 빠르기 때문이다.

주요 인사이트

• 속도와 위험 사이의 갈등은 개인 개발자와 대규모 조직에서 전혀 다른 무게를 갖는다. 실패를 장려하려면 먼저 실패해도 안전한 공간을 따로 만들어야 한다는 것이 이 사례의 출발점이다.
• 프로토타입에 실제 데이터와 실제 UI를 연결하는 것이 결정적이었다. 백지에서 시작하는 시연은 아무리 그럴듯해도 검증에 필요한 정보를 주지 못한다.
• '버릴 코드'를 전제로 두면 프로토타입 단계에서 코드 품질에 대한 부담이 사라진다. 프로토타입과 프로덕션을 아예 다른 트랙으로 분리한 것이 이 방식의 핵심이다.
• 이 변화는 기술적 장벽뿐 아니라 조직 내 정치적 장벽도 낮췄다. 예전에는 소수의 엔지니어만 새 기능을 구상하고 만들 수 있었지만, 이제는 코더가 아닌 사람도 정량적 데이터로 아이디어를 증명할 수 있다.
• 영상은 개발자의 역할이 '실패를 막는 사람'에서 '실패를 감당할 수 있게 설계하는 사람'으로 옮겨가고 있다고 정리한다. 가장 큰 위험은 시스템을 망가뜨리는 것이 아니라 시기를 놓치는 것이라는 주장이다.

자주 묻는 질문

관련 AI 소식