터보퍼퍼 창업자 인터뷰: S3 위에 검색 DB를 올려 커서 비용을 95% 줄인 과정

핵심 메시지

• AI 인프라 회사 창업자와의 대담이지만 정작 AI 이야기는 거의 나오지 않았다. 대신 단순함, 호기심, 직접 계산해 보는 습관이 대화의 중심이었다.
• 벤치마크 대신 '냅킨 수학'을 믿는다. 하드웨어 성능과 클라우드 가격 수치 50여 개를 표로 정리해 외우고, 계산과 측정이 어긋나면 둘 중 하나가 틀렸다고 본다.
• 첫 버전은 부끄러울 만큼 단순했다. 벡터를 군집으로 묶어 파일로 저장하고, 캐싱은 S3 앞에 엔진엑스 리버스 프록시를 세운 게 전부였으며 서버는 8코어 한 대였다.
• 첫 고객 커서는 이전 벤더 대비 청구액이 95% 줄었다. 창업자가 직접 샌프란시스코 사무실로 찾아가 그들의 데이터베이스 문제부터 함께 들여다본 것이 신뢰의 출발점이었다.
• 지금은 GPU가 아니라 CPU가 부족하다. 강화학습 환경과 에이전트가 대량의 CPU를 쓰기 때문이라는 것이 그의 진단이다.

쉽게 이해하기

AI 엔지니어 콘퍼런스 무대에서 뉴스레터 '프래그매틱 엔지니어'의 저자 게르게이 오로스가 터보퍼퍼 창업자 겸 대표 사이먼 에스킬센과 마주 앉았다. 터보퍼퍼는 여러 AI 기업이 검색과 벡터 저장에 쓰는 인프라지만, 한 시간 남짓한 대담에서 AI라는 단어는 거의 등장하지 않았다. 진행자도 마지막에 그 점을 짚으며 대화의 대부분이 엔지니어링 원칙과 사람 사이의 신뢰에 관한 것이었다고 정리했다.

덴마크에서 자란 그는 파워포인트로 놀다가 프론트페이지에서 실수로 HTML 버튼을 누른 것이 프로그래밍의 시작이었다고 했다. 고등학생 때 깨진 아이폰 대신 옛날 노키아 피처폰을 쓴 경험을 쓴 글이 해커뉴스를 거쳐 뉴욕타임스에 소개됐고, 이를 본 쇼피파이 채용 담당자가 연락해 오면서 2013년 캐나다 오타와로 건너갔다. 1년만 일하고 대학에 가려던 계획은 8년이 됐다.

쇼피파이에서는 인프라 팀에 자리 잡았다. 샤딩, 다중 데이터센터, 캐시 서버 장애 대응 같은 일을 거치며 그는 '캐시는 쓰기를 캐싱할 수 없다'는 상사의 말을 체득했다. 장애 상황을 미리 테스트하려고 만든 것이 톡시프록시다. 데이터베이스 앞에 프록시를 두고 API 호출로 지연이나 장애를 주입해, 드라이버와 애플리케이션이 실제로 어떻게 무너지는지 자동화 테스트에서 확인하는 도구였다. 이 과정에서 생태계 전반의 결함이 여럿 드러났다.

창업의 씨앗은 두 가지였다. 하나는 검색 엔진을 다루며 겪은 좌절이다. 계산상 밀리초 단위여야 할 질의가 왜 느린지 알 수 없었고, 소스 코드를 읽어도 납득되지 않았다. 다른 하나는 지인 회사에서 만든 추천 엔진이다. 성능은 좋았지만 전체 사용자로 확대하면 월 3만 달러가 들었고, 나머지 인프라 전체가 월 5천 달러인 회사에서는 감당할 수 없어 결국 출시되지 못했다. 왜 벡터를 저장하는 데 이렇게 큰 돈이 드는지가 그를 놓아주지 않았다.

2023년 여름, 그는 S3 위에서 답을 찾기 시작했다. S3는 내구성이 훌륭하지만 수백 밀리초대 지연이 문제였다. 256~512킬로바이트 객체의 상위 1퍼센타일 응답이 약 200밀리초여서, 트리를 여러 단계 오르내리면 지연이 그대로 쌓인다. 그래서 왕복 횟수를 줄이는 방향으로 설계했다. 최초 구현은 군집 중심점 파일을 먼저 읽고 가까운 군집 파일만 내려받는 방식이었고, 그해 10월 공개됐다.

주요 인사이트

• '냅킨 수학'은 단순한 취미가 아니라 의사결정 도구였다. 그는 팀들이 부실한 벤치마크만 보고 데이터베이스를 고르는 상황을 여러 번 겪고, 그 자리에서 계산해 반박할 근거가 필요해 수치 표를 만들었다고 했다.
• 제품을 SaaS처럼 던져본 것이 오히려 통했다. 그는 단일 인스턴스 위의 최소 구현을 트위터에 올리며 '누가 실제로 쓰겠다면 그때 제대로 만들겠다'는 태도를 취했다. 100만 벡터를 1달러라는 가격은 당시 대안 대비 파격이었다.
• 신뢰는 제품보다 먼저 왔다. 커서를 찾아간 그는 계약 이야기 대신 상대의 데이터베이스 문제를 함께 진단했고, 그 모습이 '이 사람이라면 데이터베이스도 만들 수 있겠다'는 판단으로 이어졌다.
• 자본 조달에는 여섯 가지 이유가 있다는 그의 분류가 인상적이다. 연구개발, 성장, 창업자의 자아, 직원 보상, 전략적 제휴, 인수합병이다. 그는 세 번째, 즉 큰 숫자와 언론 노출을 위한 조달을 가장 위험하다고 봤다. 직원 지분이 희석되고 앞으로 합류할 사람의 몫도 미리 깎이기 때문이다.
• 완전 원격이지만 만남을 포기하지는 않는다. 몇 명이 우연히 한 도시에 모이면 '캠프파이어'라 부르고 원하는 사람은 누구든 합류하게 한다. 발표나 글쓰기 같은 활동을 하면 다음 출장 좌석을 업그레이드할 수 있는 사내 크레딧을 준다.

자주 묻는 질문

관련 AI 소식