AI 에이전트 활용법: 단일·멀티 에이전트 판별하는 네 가지 기준

핵심 메시지

• OpenClaw 정점에 160만 개의 에이전트가 등록됐지만 대부분 아무 일도 하지 못했다. 도구는 있으나 어떤 일을 맡길지 몰랐기 때문이다.
• 작업은 채팅, 단일 에이전트, 멀티 에이전트, 그리고 'AI를 쓰지 않는' 네 갈래로 나뉜다. 핵심은 내 앞의 일이 어디에 속하는지 아는 것이다.
• 스탠퍼드 2024 연구: 값싼 모델도 시도 횟수를 늘리면 성능이 예측 가능한 곡선을 따라 오른다. 다만 정답을 골라낼 '검증 장치(evals)'가 없으면 100회쯤에서 정체된다.
• 판별 기준은 크기·독립성·역할 분리·검증 가능성 네 가지다. 이 네 가지는 도구가 바뀌어도 변하지 않는다.

쉽게 이해하기

지금까지 '생각'은 사람에 묶여 있었다. 사고력이 필요하면 사람을 고용하거나 스스로 시간을 내야 했다. 그러나 이제 생각은 토큰 단위로 값이 매겨진다. 오늘 오후에 발견한 문제를 위해 오늘 밤 사고력을 조금 또는 많이 사 올 수 있다. 문제는 '내 한 주의 어떤 일이 50달러어치 사고력을 들일 가치가 있는가'라는 질문을, 우리 중 누구도 해본 적이 없다는 점이다. 화려한 에이전트 앞에서 '이걸로 뭘 하지?'라고 멈칫하는 것은 상상력의 부족이 아니라 예산 판단의 문제다.

발표자는 두 개의 연구를 근거로 든다. 첫째, 스탠퍼드 2024 연구는 값싼 코딩 모델에 버그당 한 번의 시도를 주자 15.9%를 고쳤지만, 같은 모델에 250번을 주자 56%까지 올랐다고 했다. 당시 최고 모델의 단일 시도 성능이 43%였으니, 그저 더 시도한 것만으로 최고 성능을 넘어선 셈이다. 개선은 네 자릿수 규모의 시도 범위에 걸쳐 매끄럽고 예측 가능한 곡선을 따랐다. 둘째, 앤트로픽은 멀티 에이전트 연구 시스템에서 성공과 실패를 가른 가장 큰 요인이 프롬프트 표현이 아니라 '토큰 지출', 즉 얼마나 많이 생각하게 했는지였고(차이의 약 80% 설명), 에이전트 팀이 단독 최고 모델을 90.2% 앞섰다고 밝혔다.

그러나 더 많은 토큰이 항상 더 나은 답을 뜻하지는 않는다. 스탠퍼드 연구의 잘 인용되지 않는 나머지 절반이 그 함정을 보여준다. 시도를 1만 번까지 늘리자 95% 이상의 경우 정답이 그 더미 안 어딘가에 존재했다. 문제는 '그중 어느 것이 정답인지 어떻게 찾느냐'다. 테스트 스위트처럼 각 시도를 기계적으로 채점하는 검증 장치가 있으면 시도량이 그대로 결과로 이어졌지만, 검증 장치 없이 모델이 스스로 최선의 답을 골라야 할 때는 다수결이든 보상 모델이든 100회쯤에서 멈췄다. 결국 멀티 에이전트를 키우려면 외부 검증(evals)이 필요하다. 반대로 단일 에이전트도 무한정 지출을 흡수하지 못한다. 읽고 행한 모든 것이 문맥 창에 쌓여 품질이 떨어지기 때문이다. 하나는 검증의 한계, 하나는 메모리의 한계다.

이 두 한계에서 네 가지 판별 기준이 나온다. 첫째 크기: 이 일이 에이전트 한 대가 온전한 품질로 담을 수 있는 것보다 큰가. 일정 잡기는 문맥 창 한 귀퉁이에 들어가지만, 수천 페이지 문서 더미는 넘친다. 둘째 독립성: 각 부분을 다른 부분을 몰라도 처리할 수 있는가. 문서 더미 읽기는 잘 쪼개진다. 셋째 역할 분리: 서로 다른 관점이나 '이해충돌'을 막아야 하는 부분이 있는가. 초안을 쓰지 않은 비평가, 결제를 입력한 사람과 승인하는 사람의 분리처럼. 넷째 검증 가능성: 답을 만드는 것보다 확인하는 것이 훨씬 싼가. 이 네 가지를 종합하면 채팅·단일 에이전트·멀티 에이전트, 혹은 사람이 직접 판단할 일이라는 결론이 나온다.

발표자는 세 가지 실제 예로 이를 보인다. '일정에 맞는 헬스장 시간 찾기'는 명백한 단일 에이전트 작업이다. 40여 개 도구의 갱신일·계약·사용량을 수천 페이지에서 정리해 하나의 대시보드로 만드는 일은 멀티 에이전트가 필요하다. 반면 '어떤 후보를 채용할까' 같은 판단 문제는 아무리 AI를 써도 사람의 판단이 필요하다. 그는 자신의 멀티 에이전트 도구(Ringer)에서 강한 모델은 계획·판단만 맡기고 실제 작업 토큰은 값싼 워커 에이전트에 넘겨 비용을 크게 줄였다고 설명하며, 도구는 바뀌어도 네 가지 질문은 남는다고 강조한다.

주요 인사이트

• '생각의 값이 토큰으로 매겨지는' 시대에는 어떤 일에 얼마의 사고력을 투입할지 판단하는 새로운 관리 감각이 필요하다. 이는 기존에 없던 예산 감각이다.
• 멀티 에이전트가 힘을 발휘하려면 '정답이 있는가'보다 '어느 것이 정답인지 기계적으로 가려낼 수 있는가'가 관건이다. 검증이 값싸면 시도를 늘릴 가치가 있고, 검증이 비싸면 금세 한계에 부딪힌다.
• 역할 분리가 필요한 이유는 능력 부족이 아니라 '서로를 오염시키기' 때문이다. 장부를 적은 사람은 좋은 감사자가 아니라 감사자가 아니다. 에이전트는 '한 번도 본 적 없는 새 눈'을 즉석에서 만들 수 있다는 점이 새롭다.
• AI에 지나치게 많은 판단을 위임하는 과잉 위임을 경계해야 한다. 자신이 가장 전문인 분야의 판단은 프런티어 모델도 전문가를 이기지 못한다.

자주 묻는 질문

관련 AI 소식