세일즈포스의 에이전트 평가 표준화 사례: LangSmith로 코드 품질을 검증하다

핵심 메시지

• 세일즈포스의 엔터프라이즈 '바이브 코딩' 제품 Agentforce Vibes 팀이 에이전트 평가를 표준화한 방법을 공유한다.
• 예전엔 각 팀이 앱 구성요소를 만드는 도구를 따로 만들고, 그 출력이 기대대로인지 각자 검증하느라 바퀴를 재발명했다.
• LangSmith로 트레이스를 대규모로 평가해, 고객에게 닿기 전에 예상치 못한 출력의 원인을 찾고 개선한다.
• 지시 준수·일관성·사실성·배포가능성 등 공통 기준으로 모든 팀이 같은 잣대로 채점하게 만든다.
• Agentforce 5는 승인된 코드 1억 줄을 넘겼고, LangSmith가 그 품질을 보증하는 단일 평가 도구가 됐다.

쉽게 이해하기

Agentforce Vibes는 2025년 10월 출시된 세일즈포스의 엔터프라이즈 '바이브 코딩' 제품이다. 발표 팀은 이 제품을 만드는 팀 중 하나로, 앱 제작 과정의 여러 조각을 자동 생성하는 일을 맡고 있다.

LangChain을 쓰기 전에는 각 팀이 메타데이터와 컴포넌트 등 앱을 이루는 요소를 생성하는 MCP 도구를 저마다 만들었다. 문제는 그렇게 만든 도구가 기대한 출력을 내는지 어떻게 보장하느냐였고, 모든 팀이 이 문제를 각자 알아서 씨름하고 있었다.

이때 LangChain, 특히 LangSmith를 도입했다. 이를 통해 도구들을 대규모로 평가하고, 트레이스를 살펴 왜 예상 밖의 출력이 나오는지 파악한 뒤 개선을 반복할 수 있게 됐다. 이 모든 과정을 고객에게 닿기 전에 수행한다. LangSmith는 내부 전문성을 증폭시켜 수천 개의 테스트 케이스를 돌리게 해 주고, 팀마다 같은 구조와 테스트를 재사용해 매번 바퀴를 재발명하지 않게 한다.

LangSmith는 또한 팀들이 무엇을 기준으로 점수를 매길지 표준을 세우는 데도 쓰인다. 지시 준수, 일관성, 사실성, 배포가능성 등 여러 지표를 공통 기준으로 삼아 모든 팀이 동일한 잣대로 평가하도록 만든다. 최근 Agentforce 5는 승인된 코드 1억 줄 돌파라는 이정표를 세웠는데, 여기서 LangSmith는 생성되는 모든 코드가 품질을 갖추도록 보증하는 단일 평가 도구 역할을 한다.

주요 인사이트

• 여러 팀이 각자 만든 코드 생성 도구의 품질을 보장하려면, 공통된 평가 기준과 도구로 표준화하는 것이 핵심이다.
• 트레이스 기반의 대규모 평가는 문제를 '고객에게 닿기 전에' 잡아내는 사전 방어선이 된다.
• 지시 준수·일관성·사실성·배포가능성처럼 명시적 지표로 채점하면 팀 간 품질 편차를 줄일 수 있다.
• 같은 테스트 구조를 재사용하면 팀마다 평가 체계를 새로 만드는 낭비를 없앨 수 있다.

자주 묻는 질문

관련 AI 소식