노션 AI 엔지니어링 총괄이 말하는 토큰 비용 전략: 모델 비종속과 오픈웨이트 활용법

핵심 메시지

• AI 제품의 확장을 막는 구조적 장벽은 모델 성능이 아니라 비용이며, 응답당 토큰이 늘거나 신형 모델 가격이 뛰면 수익 구조가 흔들린다.
• 모델 공급사는 동시에 경쟁자이기도 해서, 한 곳에 묶이면 협상 레버리지도 이탈 경로도 사라진다.
• 노션은 자동 모델 선택으로 트래픽의 약 75%를 처리하며, 상황에 따라 모델을 갈아탈 수 있는 모델 비종속 구조를 택했다.
• 모든 작업에 최고 성능 모델을 붙이는 것은 낭비이며, 작업 성격에 맞춰 성능과 가격, 지연시간을 나눠 판단해야 한다.
• LLM이 필요 없는 결정적 작업은 CPU로 처리해 토큰 소모 자체를 줄일 수 있다.

쉽게 이해하기

노션에서 AI 엔지니어링 팀을 이끄는 세라 색스(Sarah Sachs)는 AI 엔지니어 콘퍼런스 강연에서 '토큰 타운'이라는 제목으로 AI 제품의 비용 구조를 이야기했다. 그는 기업들이 AI를 도입하는 여정을 생각의 파트너, 개별 작업을 처리하는 비서, 반복 업무를 맡는 동료, 그리고 시스템 전체가 맞물려 돌아가는 단계로 나눈다. 강연에서 그는 88%가 비서 단계를 넘어서지 못하고 있다고 지적했다.

핵심 문제로 지목된 것은 비용이다. 추론 모델이 좋아지면서 토큰당 단가는 그대로여도 출력 토큰을 세 배로 쓰게 되는 상황, 새 모델이 이전 세대보다 40% 비싸면서 구형은 몇 달 뒤 폐기되는 상황이 매달 반복된다는 것이다. 그는 그동안 회사 매출이 그만큼 늘지는 않는다는 점을 짚으며, 모델을 자동으로 갈아 끼우기만 하면 결국 고객이나 투자자 어느 한쪽이 손해를 본다고 말한다.

그가 반복해 강조한 명제는 공급사가 곧 경쟁자라는 것이다. 프런티어 랩은 자사 제품을 직접 팔면서 동시에 토큰을 되파는 구조라, 그 토큰을 사서 다시 파는 회사는 애초에 불리한 조건에서 시작한다. 그래서 이길 지점은 토큰 경제가 아니라 제품이라고 말한다. 데이터 플라이휠을 만들고 고객을 누구보다 잘 이해하며, 언제 역량이 필요하고 언제 낮은 가격이나 짧은 지연시간이 필요한지 아는 것이 전문성이라는 것이다.

실행 방안으로는 모델 비종속 플레이북이 제시된다. 여러 모델을 전제로 시스템을 설계하고, 토큰 단가가 아니라 초당 역량당 비용으로 판단하며, 자주 그리고 빠르게 갈아타라는 것이다. 노션은 웹 검색 파트너를 고를 때 단일 호출의 비용이나 지연시간이 아니라 검색 궤적 전체를 평가해 결정했다고 소개했다. 또 대규모 선결제 약정 대신 평가 프로그램 파트너십처럼 랩에 돌려줄 수 있는 가치를 협상 카드로 쓴다고 밝혔다.

남은 선택지로는 오픈웨이트 모델과 CPU, 거버넌스가 꼽힌다. 오픈웨이트 모델은 중간 난이도 작업을 충분히 감당할 만큼 좋아졌고, 소수 공급사 구조에서 가격을 아래로 누르는 협상 레버리지가 된다. CSV를 PDF로 바꾸거나 결정적인 SQL을 실행하는 일에는 LLM이 필요 없다는 지적도 이어진다. 마지막으로 그는 앞으로 6개월의 과제는 역량이 아니라 보안이라며, 비공개 데이터 접근과 신뢰할 수 없는 외부 콘텐츠, 외부로 내보낼 수 있는 통로가 한꺼번에 갖춰지면 위험이 생긴다고 경고했다.

주요 인사이트

• 가격은 역량에 비례하지 않는다. 최고 모델이면 원하는 대로 값을 매길 수 있고, 근소하게 뒤진 모델은 100만 토큰당 1달러만 싸게 내놓아도 나머지 시장을 가져갈 수 있기 때문이다.
• 외부 벤치마크보다 자기 시스템에 대한 전문성이 중요하다. 도구 호출 오류율이나 실제로 필요한 지연시간처럼 자사 제품에서만 보이는 지표가 판단 근거가 되어야 한다.
• 특정 랩과 지나치게 밀착해 마케팅하는 응용 AI 회사는 경계 신호로 읽힌다. 최고 성능 모델과 그 공급사는 계속 바뀌므로, 한 곳에 묶이면 상당 기간 고객에게 최선이 아닌 제품을 주게 된다.
• 할인을 받는 대가로 선택권을 잃는 것이 가장 비싼 결정이다. 언제든 떠날 수 있는 상태 자체가 협상력이며, 모델 상호운용성에 드는 엔지니어링 비용보다 값지다.
• 시스템이 자율적일수록 위험은 감시받지 않은 채 커진다. 그래서 샌드박스와 결정적 처리는 안전장치인 동시에 고객 입장의 토큰 경제에도 도움이 된다.

자주 묻는 질문

관련 AI 소식