AI 에이전트 운영 사례: 포디움이 LangSmith로 상담 에이전트를 만들고 1억 달러 매출로 키운 방법

핵심 메시지

• 포디움은 로컬 비즈니스의 인바운드 문의에 사람처럼 유용하게 응답하는 AI 에이전트를 만들어, 문의를 더 빠르게 성사시키며 1억 달러가 넘는 AI 매출을 냈다.
• '리드에 대한 응답 속도(speed to lead)'가 핵심으로, 가장 먼저 제대로 답한 업체가 대개 그 고객을 얻는다.
• 에이전트 개발에서 가장 어려운 부분은 화려한 데모가 아니라, 실제 현장에서 마주치는 품질과 예외 상황(엣지 케이스) 처리다.
• 포디움은 LangSmith로 에이전트의 추론 과정(트레이스)을 관찰하고, 고객 피드백을 평가(eval) 케이스로 전환하며 품질을 개선했다.
• 직접 만든 런타임 대신 LangSmith 배포로 옮겨, 차별화되지 않는 부분은 재발명하지 않고 자사만의 핵심 가치에 집중했다.

쉽게 이해하기

10년 넘게 로컬 비즈니스용 소통 플랫폼을 운영해 온 포디움은 최근 몇 년 사이 AI 에이전트에 전면적으로 투자하며 회사의 궤도를 바꿨다. 이들이 만든 상담 에이전트는 기본 이름이 '제리(Jerry)'로, 자동차 딜러를 비롯한 여러 업종에서 들어오는 문의에 응답한다. 회사는 이 방향으로 1억 달러가 넘는 AI 매출을 냈다고 밝혔다.

포디움이 주목한 것은 '리드에 대한 응답 속도'였다. 문의를 남긴 잠재 고객에게 가장 먼저, 그리고 진짜로 원하는 정보를 담아 답한 업체가 대개 그 거래를 가져가기 때문이다. 제리는 딜러의 재고 정보와 '이런 상황엔 이렇게 응대한다'는 플레이북을 결합해, 문의에 답하고 시승 예약까지 대신 잡아준다. 서비스 품질이 좋아 고객이 직접 매장을 찾아와 '제리를 만나게 해달라'고 하거나 감사의 쿠키를 들고 왔다는 일화도 소개됐다.

가장 어려운 부분은 처음부터 품질과 예외 상황이었다. 초기에는 50개 남짓한 '골든 예시'의 입력과 출력을 구글 문서에 적어 사람이 일일이 검토하는 조악한 평가로 시작했지만, 지금은 더 견고한 평가 체계로 발전했다. 담당자는 에이전트가 이상하게 답할 때도 실제로는 주어진 맥락 안에서 '합리적으로' 행동한 경우가 많다고 말한다. 그래서 LangSmith로 모델 요청과 추론의 연쇄를 처음부터 끝까지 들여다보며, 맥락과 지시를 더 명확하게 다듬는 데 품질 개선의 열쇠가 있다고 봤다.

런타임에 대한 판단도 흥미롭다. 초기에는 마땅한 제품이 없어 직접 런타임을 만들고 계속 고쳐 썼지만, 끝없이 등장하는 엣지 케이스와 버그를 감당하는 것이 자사의 차별적 가치가 아님을 깨닫고 LangSmith 배포로 옮겼다. 코딩 에이전트 덕에 '무엇이든 직접 만들 수 있을 것 같은' 유혹이 크지만, 런타임처럼 충분히 범용적인 추상화는 재발명하지 말고 혁신 자원을 아껴 써야 한다는 것이다.

포디움은 현재 역할이 다른 여러 개의 에이전트를 운영하며, 공통 아키텍처와 사용자에게 노출하는 개념(프리미티브) 위에서 이들을 확장한다. 개발 루프는 빠르게 실제 고객 앞에 시제품을 내놓고, 사용자 피드백과 LangSmith 트레이스로 문제를 찾아 평가 케이스로 codify하는 방식이다. 앞으로는 지역 사업주가 직접 자기 업무를 대신할 맞춤형 에이전트를 만들 수 있게 하는 것을 목표로 삼는다. 이제 막 시작하는 사람에게는 '무엇이 내 에이전트를 차별화하는지 먼저 찾아 거기에 집중하고, 이미 자리 잡은 생태계와 모범 사례를 적극 활용하라'고 조언했다.

주요 인사이트

• 에이전트는 주어진 맥락 안에서 '합리적으로' 행동하는 경우가 많다. 디버깅은 모델을 블랙박스로 취급하는 것이 아니라, 제공된 맥락과 지시를 명확히 다듬는 일에 가깝다.
• 실제 운영에서 나온 트레이스를 평가 케이스로 전환하면, 끝없는 '두더지 잡기' 같은 엣지 케이스 대응이 오래 유지되는 품질 기준으로 codify된다.
• 조직 공통의 에이전트 플랫폼을 두면, 새 팀이 관측 가능성과 검증된 패턴을 처음부터 다시 배우지 않고도 빠르게 도입할 수 있다.
• 코딩 에이전트는 '무엇이든 직접 만들 수 있다'는 착각을 준다. 런타임처럼 재발명할 필요 없는 것을 가려내야 혁신 자원을 지킬 수 있다.
• 좋은 에이전트로 가는 가장 빠른 길은 통제된 데모가 아니라, 시제품을 실제 고객에게 빨리 내놓고 진짜 피드백으로 반복 개선하는 것이다.

자주 묻는 질문

관련 AI 소식