AI 코딩 에이전트 팀 협업 여섯 가지 교훈 — 모델 중립성, 세션 공유, 격리 환경, 자체 벤치마크

핵심 메시지

• 특정 모델이나 하네스에 팀 전체 작업 흐름을 묶지 말고 언제든 갈아탈 수 있게 만들어야 한다는 것이 첫 번째 교훈이다.
• 슬랙에서 시작해 앱과 깃허브로 이어가도 같은 에이전트 세션이 유지돼야 사람과 에이전트가 맥락을 잃지 않는다.
• 에이전트를 개인 노트북이 아니라 격리된 클라우드 환경에서 돌리는 진짜 이유는 편의가 아니라 권한을 최소화하기 위해서다.
• 공개 벤치마크 대신 자기 코드베이스의 실제 풀 리퀘스트로 에이전트를 평가했더니 기본 도구를 바꾸는 결정이 나왔다.
• 발표자는 자사 제품을 예시로 들면서도 "우리를 쓰지 않아도 좋으니 이 방식만은 갖추라"고 반복해 강조했다.

쉽게 이해하기

이 발표는 AI 엔지니어 행사에서 아르준 싱이 진행한 세션으로, 요즘 논의가 대부분 에이전트 자체에 쏠려 있다는 문제의식에서 출발한다. 그는 에이전트가 강력한 것은 맞지만 정작 그것을 쓰는 사람과 팀에 관한 이야기는 잘 나오지 않는다고 짚었다. 발표자와 동료들은 10년 넘게 함께 소프트웨어를 만들어 온 팀이며, 지난 1년간 자기 업무에 에이전트를 공격적으로 밀어 넣으면서 드러난 마찰 지점을 정리해 여섯 가지 교훈으로 묶었다.

첫 교훈은 모델과 하네스에 중립적으로 남으라는 것이다. 가장 좋은 조합은 새 모델이 나오거나 쓰던 것이 사라지면서 언제든 바뀌는데, 그때마다 팀 전체의 작업 흐름이 흔들려서는 곤란하다는 이유다. 발표자는 오픈 웨이트 모델도 이제 충분히 쓸 만해졌고 값도 훨씬 싸다며 자신들이 GLM 5.2에 만족하고 있다고 밝혔다. 여기에 더해 토큰을 파는 쪽의 이해관계는 토큰을 더 많이 쓰게 만드는 데 있지 사용자의 목적과 같지 않다는 점도 지적했다.

두 번째와 세 번째 교훈은 에이전트를 사람의 작업 공간 안으로 끌어들이는 문제다. 코딩 에이전트가 노트북에 갇혀 있으면 아무도 그 세션에 끼어들 수 없고, 슬랙 봇만 붙이면 이번엔 슬랙에 갇힌다. 이들이 택한 방식은 슬랙과 앱, 깃허브 어디서 이어가든 문맥이 그대로 남는 하나의 세션을 쓰는 것이다. 여기에 누가 그 작업에 관여했는지 한눈에 보이게 하고, 작업 결과를 스크린샷이나 영상 같은 산출물로 남겨 어디서든 확인할 수 있게 했다.

네 번째 교훈은 밖에서 들어오는 신호를 곧바로 코드로 바꾸라는 것이다. 발표자는 행사 부스에 회의 참관 봇을 네 시간 동안 켜 둔 사례를 보여 줬다. 지나가던 사람이 코딩 에이전트가 작업을 끝냈다고 선언하기 전에 판정 기준을 갖췄으면 좋겠다는 의견을 말했을 뿐인데, 봇이 대화에서 그 아이디어를 골라내 스스로 티켓을 열고 작업을 시작해 제품의 티켓 양식에 수락 기준 항목 두 개를 추가한 화면까지 만들어 냈다. 그는 이것을 그대로 내보내지는 않겠지만, 고객 통화와 팀 회의마다 수십 개의 시제품과 몇 건의 실제 반영 가능한 변경이 나온다고 설명했다.

다섯 번째와 여섯 번째 교훈은 안전과 측정이다. 에이전트를 격리된 클라우드 환경에서 돌리면 노트북을 닫아도 작업이 이어질 뿐 아니라, 개인 기기에 흩어져 있는 자격 증명이나 파일에 에이전트가 손대지 못하게 막을 수 있다. 접근 가능한 네트워크 목적지를 미리 정해 두고 벗어나려 할 때만 승인을 묻는 방식도 함께 쓴다. 마지막으로 이들은 공개 벤치마크가 자기 문제와 무관할 수 있다고 보고, 잘 만들어진 과거 풀 리퀘스트를 골라 여러 에이전트에 붙여 품질과 비용, 시간을 자기 코드베이스 기준으로 비교했다.

주요 인사이트

• 발표자는 공개 벤치마크의 과제가 자기 일과 아무 상관이 없을 수 있다고 지적했다. 예로 든 것이 널리 쓰이는 코딩 벤치마크가 전부 파이썬인 반면 자신들은 루비 온 레일즈를 쓴다는 점이다.
• 자체 측정 결과 앤트로픽 계열은 꾸준히 좋아졌지만 비용이 확연히 비쌌고, 코덱스 계열은 빠르면서 저렴했다. 이 데이터가 기존의 감을 확인해 주자 이들은 기본 도구를 코덱스로 바꿨다.
• 규모도 함께 공개됐다. 비교적 작은 팀인데 한 달에 15억 토큰을 썼고, 클로드 코드 실행 3,300건의 토큰 환산 비용은 하루 1만 달러 수준이었다고 밝혔다(요금제를 쓰고 있어 실제 지출은 아니다).
• 풀 리퀘스트의 사실상 전부가 에이전트 주도로 만들어지지만 품질과 보안 때문에 모든 변경은 사람이 검토한다는 원칙은 유지하고 있다.
• 격리 환경을 갖추자 개발 환경이 없던 고객 지원이나 성장 담당자도 슬랙에서 문제를 말하는 것만으로 실제 제품 개선을 시작할 수 있게 됐다는 점이 부수적인 성과로 언급됐다.

자주 묻는 질문

관련 AI 소식