LangSmith로 Cursor 에이전트 추적하기: 플러그인 설치부터 트레이스 구조까지

핵심 메시지

• 설정을 마치면 Cursor에서 실행한 에이전트 턴 하나하나가 LangSmith에서 온전한 트레이스로 남는다.
• 설치는 Cursor 설정의 플러그인 항목에 저장소 URL을 붙여 넣는 방식이며, 사전 컴파일된 번들이라 별도 빌드 없이 추가하고 재시작하면 된다.
• 환경 변수 세 개가 각각 추적 활성화, 인증, 트레이스가 쌓일 프로젝트 이름을 담당하고, 셸 설정을 건드리기 싫다면 동일한 필드를 담은 설정 파일로 대체할 수 있다.
• 트레이스 구조는 항상 동일하다. 최상단에 모델 실행이 오고 그 아래 도구 실행이 붙으며, 서브 에이전트가 동작하면 자체 도구 호출을 가진 중첩 태스크로 표시된다.
• Claude Code·Codex용 연동도 내부적으로 같은 트레이스 구조를 공유하므로 세 에이전트를 하나의 LangSmith 워크스페이스에서 비교할 수 있다.

쉽게 이해하기

LangChain 제품팀의 에이미가 Cursor에서 실행한 작업을 LangSmith로 추적하는 방법을 시연했다. 목표는 명확하다. 설정을 마치고 나면 Cursor에서 돌린 모든 에이전트 턴이 LangSmith에 완전한 트레이스로 나타난다. 코딩 에이전트가 어떤 모델을 얼마나 쓰고 어떤 도구를 호출했는지가 실행이 끝난 뒤에도 그대로 남는다는 뜻이다.

준비물은 세 가지다. Cursor가 설치돼 있어야 하고, Node.js가 필요하며, LangSmith API 키가 있어야 한다. Node.js가 요구되는 이유는 Cursor의 훅이 내장 모듈을 이용해 로컬 데이터베이스에서 첨부 파일을 꺼내오기 때문이다. 설치 자체는 Cursor 설정에서 플러그인 항목으로 들어가 저장소 URL을 링크 필드에 붙여 넣고 추가를 확인하는 것으로 끝난다. 사전 컴파일된 번들이라 그대로 추가할 수 있으며, 다음 단계로 넘어가기 전에 Cursor를 재시작해야 한다.

이어서 셸 설정에 환경 변수 세 줄을 추가한다. 하나는 LangSmith 추적을 켜는 스위치이고, 하나는 API 키로 인증을 담당하며, 나머지 하나는 트레이스가 쌓일 프로젝트 이름이다. 프로젝트 이름을 생략하면 기본값으로 Cursor가 쓰인다. 셸 파일을 수정하고 싶지 않다면 같은 필드를 담은 전용 설정 파일을 쓰는 선택지도 있다. 훅이 실제로 살아 있는지는 로그 파일을 tail로 지켜보는 방식으로 확인한다.

이 상태에서 Cursor 에이전트에게 작업을 시키면 실행이 끝난 뒤 로그에 훅 활동이 찍히고, LangSmith의 해당 프로젝트를 열면 각 턴이 개별 트레이스로 정리돼 있다. 구조는 매번 같다. 맨 위에 모델 실행이 오고 모델 이름과 토큰 사용량, 입력과 출력이 따라붙으며, 그 아래에 파일 읽기나 셸 명령 같은 도구 실행이 놓인다. 서브 에이전트가 개입한 경우에는 자체 도구 호출을 가진 중첩 태스크 실행으로 나타난다.

프롬프트에 이미지나 파일을 첨부했다면 Cursor의 로컬 데이터베이스가 그 첨부물을 보관하고 있는데, 플러그인이 이를 복원해 사용자 메시지 위에 그대로 렌더링해 준다. 발표자는 마지막으로 이 시리즈의 Claude Code편과 Codex편을 본 사람이라면 트레이스가 내부적으로 공통 구조를 공유한다는 점을 알아챘을 것이라며, 덕분에 세 에이전트를 같은 워크스페이스에서 비교할 수 있다고 덧붙였다.

주요 인사이트

• 코딩 에이전트를 도입할 때 가장 아쉬운 지점은 사후 검증이다. 턴 단위 트레이스가 남으면 '왜 이렇게 고쳤는가'를 추측이 아니라 기록으로 확인할 수 있다.
• 트레이스에 토큰 사용량이 함께 남는다는 점은 비용 관리 측면에서 실질적이다. 어떤 작업이 비싼지 눈으로 확인해야 사용 방식을 조정할 수 있다.
• 서브 에이전트를 중첩 실행으로 표현하는 구조는 다단계 위임이 늘어날수록 가치가 커진다. 평면적인 로그로는 어느 층에서 잘못됐는지 가려내기 어렵다.
• Cursor·Claude Code·Codex가 같은 트레이스 구조를 공유한다는 점은 도구 선택을 실측으로 비교할 여지를 준다. 같은 워크스페이스에 쌓인 기록이면 인상 대신 데이터로 판단할 수 있다.
• 셸 환경 변수 대신 설정 파일을 허용하는 구성은 팀 단위 배포에 유리하다. 개인 셸 설정에 손대게 하는 방식은 표준화가 어렵다.

자주 묻는 질문

관련 AI 소식