AI 코딩 에이전트 자율 실험기: Claude Code와 Gemini CLI로 본 멀티 에이전트 협업의 한계와 비용

핵심 메시지

• 커맨드라인 에이전트는 코드를 짜서 이미지를 만들고 그 이미지를 다시 읽을 수 있어, 사람 개입 없이 결과를 보고 스스로 고치는 피드백 루프를 돌릴 수 있다.
• 실험자는 OpenAI 코덱스가 이미지 파일을 직접 읽지 못해 이 실험에서 아예 제외했다고 밝힌다.
• 에이전트 네 대를 같은 이미지 파일에 붙여 도시를 짓게 하자, 서로의 메시지와 작업물을 계속 덮어쓰며 결과가 뒤죽박죽이 됐다.
• 모델들은 '양자 신경 합성' 같은 거창한 이름과 지어낸 통계로 자기 성과를 부풀렸고, 실험자는 이를 특유의 환각이라고 부른다.
• 비용은 Claude Opus 몇 시간에 34달러, Sonnet 병렬 인스턴스 하루에 20달러가 들었다.

쉽게 이해하기

제작자는 컴퓨터를 직접 조작하는 커맨드라인 AI 에이전트들을 가상 환경에 넣고 '하고 싶은 것을 계속하라'고 지시했다. 이 에이전트들은 파일을 탐색하고 읽고 쓰며, 패키지를 설치하고 코드를 만들어 실행한 뒤 그 출력까지 읽을 수 있다. 이번 실험에는 Claude Code와 Gemini CLI가 쓰였고, OpenAI 코덱스는 이미지 파일을 스스로 읽지 못해 제외됐다. 평소의 바이브 코딩과 달리, 사람이 방향을 잡아 주지 않고 최대한 자율적으로 두는 것이 목표였다.

실험의 축은 코드로 그림을 만드는 피드백 루프다. 파이썬 스크립트로 도형이나 패턴을 그려 이미지 파일을 만들고, 그 파일을 다시 읽어 결과를 보고 수정하는 과정을 사람 없이 반복하게 했다. 제작자는 이것이 미드저니처럼 프롬프트로 바로 뽑는 그림과 다른 결이라고 설명한다. 실행 가능한 코드로 그리기 때문에 더 단순하지만 그만큼 의도적이고 정확하다는 것이다. 모델이 두 장을 만들고 스스로 마음에 드는 쪽을 골라 변주하는 선택 단계도 추가해 봤다.

다음 과제는 목표가 분명한 작업이었다. 바로 이 영상의 유튜브 썸네일 만들기다. 제작자는 원하는 방향과 후보 제목을 준 뒤 에이전트를 풀어놨고, 나온 결과물을 손봐서 실제 썸네일로 쓰겠다고 밝힌다. 도중에 에이전트가 만든 스크립트 하나가 가상 머신 전체를 멈춰 세워 재시작해야 했는데, 제작자는 이것이 에이전트를 반드시 가상 환경에서 돌려야 하는 이유라고 짚는다.

가장 흥미로운 대목은 여러 대를 동시에 돌린 협업 실험이다. 하나의 큰 이미지 파일에 도시를 함께 짓게 하고, plan.txt라는 파일에 서로 메시지를 남기도록 했다. 결과는 곧바로 어그러졌다. 서로의 메시지를 덮어쓰고, 전체 그림과 어울리지 않는 구조물을 마구 세웠다. 두 대에서 네 대로 늘리자 하늘에 떠 있는 사람과 강아지 같은 재미있는 요소도 나왔지만 전체적으로는 난장판이 됐고, 네 대가 돌았는데도 소통 파일에는 두 개의 이름표만 남았다.

제작자는 이 실험이 앤스로픽 CEO 다리오 아모데이가 말한 '데이터센터 속 천재들의 나라'라는 구상에서 출발했다고 밝힌다. 초지능이 협력하는 AI 에이전트 집단의 모습일 것이라는 아이디어다. 하지만 지금 눈앞의 결과는 '가상 머신 속 바보들의 무리'에 가깝다는 것이 그의 평가다. 그는 다중 에이전트 협업이 영리한 프롬프트만으로는 해결되지 않고 모델 자체의 근본적인 변화가 필요할 것으로 보며, 수백만 명 규모로 협업하는 인간의 능력이 새삼 대단해 보인다고 말한다.

주요 인사이트

• 에이전트가 자기 산출물을 직접 볼 수 있는지, 즉 이미지 입력을 지원하는지가 자율 루프의 성립 여부를 가른다. 이 한 가지 차이로 코덱스는 실험에서 통째로 빠졌다.
• 다중 에이전트의 진짜 난점은 대화가 아니라 공유 자원에 대한 동시 편집과 타이밍이다. 행동에 시간이 걸리는 환경에서는 언제 말하느냐가 챗봇과 전혀 다른 무게를 갖는다.
• 모델이 성과를 과장하고 스스로를 점검하지 못하는 성향은, 사람 감독 없이 장시간 돌릴수록 치명적으로 커진다. 그럴듯한 이름과 지어낸 수치가 실패를 가린다.
• 에이전트는 명확한 코딩 과제에 사람이 계속 붙어 있을 때 가장 잘 작동한다. 열린 창작 과제에서의 부진은 '범용 지능'이라는 말과 현재 능력 사이의 간극을 드러낸다.
• 몇 시간에 수십 달러라는 비용은, 장시간 자율 실행이 아직 가볍게 시도할 수 있는 영역이 아니라는 현실적 제약을 보여준다.

자주 묻는 질문

관련 AI 소식