오픈소스 AI 전략: 모질라 CTO가 말하는 AI 종속과 토큰 비용, 자체 평가의 필요성

핵심 메시지

• 크리코리안은 오늘날 대부분의 기업이 AI 인프라의 소유자가 아니라 임차인이며, 모델 거동과 가격을 스스로 통제하지 못하는 상태라고 진단했다.
• 한 설문에서 응답 기업의 85~86%가 AI 공급자를 바꿀 수 있다고 답했지만 실제로 옮기는 데 성공한 곳은 약 30%에 그쳤다는 사례를 그는 종속의 증거로 들었다.
• 토큰 단가는 내려갔지만 사용량이 훨씬 빠르게 늘어, 결과적으로 지출은 오히려 커지는 구조라는 점을 그는 반복해서 짚었다.
• 핀터레스트가 폐쇄 모델 대신 오픈 모델을 배포해 한 분기에만 1000만 달러 규모를 아낀 사례가 대표적인 전환 근거로 제시됐다.
• 공개 벤치마크는 겨냥해서 맞출 수 있는 만큼, 자기 업무에서 실제로 쓴 프롬프트를 기록해 직접 평가 체계를 만들어야 한다는 것이 그의 처방이다.

쉽게 이해하기

파이어폭스를 만드는 모질라의 최고기술책임자 라피 크리코리안은 CXOTalk 인터뷰에서 지금 기업들이 처한 상황을 ‘임차인과 소유자’라는 말로 정리했다. 대부분의 조직은 외부 플랫폼에 API를 호출하며 핵심 업무를 맡기고 있는데, 이는 자신의 운명을 다른 시스템에 넘긴 것과 같다는 지적이다. 그는 모질라 내부에서도 한 엔지니어가 월 200달러 구독으로 쓰고 있는 작업을 API 종량제로 환산하면 1만 달러에 이를 수 있었다는 사례를 들었다.

종속이 실제로 얼마나 단단한지는 설문 결과에서 드러난다. 공급자를 바꿀 수 있다고 답한 기업이 85~86%였는데 정작 시도해서 성공한 곳은 30% 남짓이었다는 것이다. 여기에 더해 제공자가 예고 없이 모델 거동을 바꾸거나, 용량이 부족할 때 다른 모델로 트래픽을 돌릴 수 있다는 점, 버전을 고정하지 않고 최신 버전을 그대로 쓰던 코드가 갑자기 다르게 동작한 사례도 함께 언급됐다.

비용 구조에 대한 그의 진단은 단순하지 않다. 토큰 단가는 예상대로 내려갔지만 사용량이 폭발적으로 늘었고, 어떤 하네스를 쓰느냐에 따라 내부 호출 깊이가 달라져 소비량이 크게 벌어진다는 것이다. 그는 우버가 상장 이후 보조금을 걷어내고 실제 가격을 드러냈던 일을 떠올리며, 지금의 월정액 요금제도 언젠가 크게 오르거나 종량제로 바뀔 가능성이 크다고 봤다.

대안으로 그가 제시한 것은 이분법이 아니라 혼합이다. 최신 노트북이면 로컬 오픈 모델을 충분히 돌릴 수 있어 평소 코딩은 로컬로 처리하고 막히는 지점에서만 프런티어 모델을 호출하는 식이다. 다만 이제 막 시작하는 조직에는 정반대 조언을 했다. 처음에는 가장 빨리 움직일 수 있는 방법을 택하고, 규모나 효율이 문제가 되는 시점에 모델과 공급자의 조합을 고민하라는 것이다. 그러면서 데이터는 개인정보 처리방침 같은 약속이 아니라 아키텍처로 보호받아야 한다고 덧붙였다.

그는 프런티어 경쟁에서 오픈 진영이 이기기는 어렵다고 인정하면서도, 일정 관리나 정보 정리 같은 일상 업무에서는 오픈 모델이 이미 충분하다고 봤다. 리눅스가 데스크톱에서는 밀렸지만 사실상 모든 서버를 돌리고 있는 상황에 빗댄 것이다. 그가 보기에 지금 부족한 것은 모델이 아니라 조립이다. 하드웨어부터 API 계층까지 필요한 오픈소스 부품은 거의 다 존재하지만, 서로 맞물려 돌아가게 묶고 현업이 감당할 만큼 다듬는 작업이 남아 있다는 것이다.

주요 인사이트

• 그는 IT 부서가 점차 ‘에이전트의 인사팀’이 될 것이라고 전망했다. 어떤 에이전트를 몇 개나 만들고, 누구에게 보고하게 하며, 어떤 권한을 줄지 정하고 관측하는 일이 조직의 새로운 관리 업무가 된다는 뜻이다.
• 에이전트 운영의 위험은 읽기와 실행 권한이 겹치는 지점에서 커진다. 그는 같은 작업이 세 번 반복돼도 요금이 세 번 청구되지 않도록 멱등성을 확보하고, 문제가 생겼을 때 되돌릴 수 있는 트랜잭션 경계를 설계하는 일이 아직 미해결 과제라고 짚었다.
• 공개 벤치마크만 보는 것은 위험하다. 벤치마크는 통과하도록 맞춰 훈련할 수 있기 때문에, 자기 워크로드에서 실제로 쓴 프롬프트와 설정을 기록해 두고 새 모델이 나올 때마다 되돌려 실행해 보는 방식이 필요하다는 것이다. 그는 이런 용도로 프롬프트 기반 작업을 버전 관리하는 도구를 직접 만들어 공개했다고 밝혔다.
• 프롬프트를 기록하는 순간 프라이버시 문제가 따라온다. 내용을 지우면 평가 자료로서의 가치가 사라지기 때문에, 개인 기기에서 오간 모든 대화를 모으는 대신 평가에 쓸 프롬프트를 조직 차원에서 선별하는 사회적 합의가 필요하다는 것이 그의 생각이다.
• 그는 프린스턴대와 워싱턴대 연구진이 구매 결정을 에이전트에 맡겨 본 결과 후원을 받은 제품이 더 자주 추천되는 경향이 나타났다는 논문을 언급하며, 이런 시스템이 반드시 사용자 편에 서 있는 것은 아니라고 경고했다.

자주 묻는 질문

관련 AI 소식