코인베이스 개발자 지원 AI 에이전트 구축기: LangSmith 관측성과 가드레일 실전 사례

핵심 메시지

• 코인베이스 개발자 지원팀은 단순 디스코드 챗봇에서 출발해, 추적·평가·개선이 반복되는 '자기개선형' 고객지원 에이전트 시스템으로 발전시켰다.
• 관측성이 없던 초기 챗봇은 성능을 알 길이 없었기에, 파이썬 서비스와 LangSmith 트레이싱을 1급 인프라로 도입해 '유리 상자'를 먼저 만들었다.
• 문서 조회는 원격 MCP 서버로 하되, 고객 대면 상황에서의 불안정성에 대비해 벡터 DB 기반 RAG 폴백을 두고 A/B 테스트에도 활용했다.
• 결정론적 안전장치와 경량 LLM 심판(정확도·위험 평가), 사람 개입 루프를 결합해 안전하게 자동 응답으로 나아가고 있다.

쉽게 이해하기

이 발표는 LangChain의 Interrupt 26 행사에서 코인베이스의 에번 코모스가 개발자 지원 엔지니어링 팀의 전환 과정을 소개한 사례다. 코인베이스 개발자 플랫폼은 크립토 API, 지갑, 결제, 스테이킹 등을 다루는 개발자 커뮤니티를 지원하는데, 오랫동안 지원은 디스코드에 질문을 올리면 사람이 답하는 방식이었다.

1세대는 외부 호스팅 챗 서비스를 붙인 것으로 '그럭저럭' 동작했지만, 문서가 낡아도 알 수 없고 사용 현황이나 품질을 파악할 방법이 없었다. 좋아요·싫어요를 손으로 세는 수준이었다는 것이다. 팀의 과제는 기존만큼, 이상적으로는 그보다 나으면서 시간이 갈수록 좋아지는 서비스를 세우는 것이었다.

새 설계에서는 디스코드와 웹 등 고객이 있는 곳에서 만나되, 백엔드에는 에이전트 기반 토대를 두었다. 큰 전환점은 파이썬 서비스를 1급 인프라로 포함하고 자체 호스팅 LangSmith로 트레이싱을 붙인 것이다. 문서 조회용 원격 MCP 서버를 에이전트가 사용하되, 고객 대면에서의 불안정을 대비해 기본 지식 파이프라인이 벡터 DB를 채우는 RAG 폴백을 두었다.

안전은 여러 겹으로 설계됐다. 에이전트가 거래나 민감 데이터 접근 권한은 없지만, 오용을 탐지·차단하는 결정론적 가드레일과 함께 경량 모델로 응답의 정확도와 위험을 평가하는 LLM 심판을 적용했다. 이 구조는 공개 자동 응답으로 가기 위한 출발점이다. 디스코드 AI 챗, 슬랙 분류(Triage), 사내 지원 엔지니어 어시스턴트 등 여러 에이전트가 이 틀 위에서 만들어졌다.

팀의 작업 방식은 '의도(intent) 기반'이다. Linear 슬랙봇으로 대화를 의도 기반 작업으로 바꾸고, Claude Code와 여러 MCP 도구로 깊은 리서치와 계획·실행을 거친다. 산출물은 교차 모델 리뷰와 평가, 사람 승인을 거쳐 프로덕션에 반영되고, 거기서 나온 트레이스와 실시간 평가를 다시 자연어로 조사(백테스팅)해 개선 신호를 찾는다.

주요 인사이트

• 에이전트 엔지니어링을 하나의 독립된 분야로 대해야 한다. 제품 엔지니어링 감각과 ML 사고방식을 팀 차원에서 균형 있게 갖추는 채용·성장이 중요하다.
• 관측성은 나중에 붙이는 기능이 아니라 토대다. 에이전트를 만들기 전에 동작을 들여다볼 수 있는 '유리 상자'부터 만들어야 이후 모든 개선이 가능해진다.
• AI는 소규모 팀이 놀라운 일을 하게 해주지만, 그것은 팀이 공동 실행을 향해 정렬돼 있을 때뿐이다. 팀 자체가 성과의 곱셈기다.
• 적대적 테스트 데이터셋은 개발 도구 약관 때문에 만들기가 쉽지 않고, 디스코드에는 곧바로 다국어 대화가 등장해 다국어 공격까지 고려해야 했다.

자주 묻는 질문

관련 AI 소식