AI 에이전트에게 문제 정의를 맡긴 실험: 코덱스와 페이블이 고른 자동화 대상 비교와 시사점

핵심 메시지

• 2026년의 과제는 프롬프트나 도구를 고르는 것이 아니라, 무엇을 자동화할지 문제 자체를 AI가 고르게 하는 것이다.
• 같은 조건을 준 두 에이전트는 서로 다른 문제를 골랐고, 그 차이가 각 모델의 성향을 드러냈다.
• 한쪽은 한 번에 막힘없이 완주했지만 스스로 범위를 좁게 잡는 경향을 보였다.
• 다른 한쪽은 사용 과정이 번거로웠지만 사업에서 더 중요한 지점을 짚어냈고, 대신 문제 정의가 지나치게 좁았다.
• 두 에이전트를 동시에 돌려 관점의 다양성을 확보한 뒤 실행은 저렴한 쪽에 맡기는 방식이 실용적 결론으로 제시된다.

쉽게 이해하기

AI 에이전트를 쓸 때 우리는 보통 '무엇을 시킬지'를 이미 알고 있다고 전제한다. 이 영상은 그 전제를 뒤집는다. 진행자는 두 코딩 에이전트에게 자신의 로컬 파일과 업무용 메신저 기록을 자유롭게 살펴본 뒤, 문제를 스스로 정의하고 해결 자동화까지 만들어 오라는 과제를 줬다. 문제를 고르는 일 자체를 AI에게 맡긴 실험이다.

결과는 갈렸다. 코덱스 쪽은 실행이 매끄러웠다. 권한 확인 같은 방해 없이 한 번에 끝까지 진행했고 오류도 없었다. 그러나 골라 온 문제는 '자료 정리 결과를 다음 단계로 넘기는 과정을 개선하자'는, 진행자 표현으로는 가장 지루한 축의 해석이었다. 실제 존재하는 문제이긴 하지만 지금 가장 아픈 문제는 아니었다는 것이다. 그는 여기서 중요한 단서를 읽는다. 완전히 열린 문제 공간을 줘도, 그리고 토큰을 넉넉히 쓸 수 있는 설정에서도 이 에이전트는 스스로 경계를 좁게 잡는다는 점이다.

다른 한쪽인 페이블은 정반대였다. 사용 경험은 번거로웠다. 권한 확인 창이 여러 번 떴고 진행이 더뎠다. 대신 훨씬 흥미로운 문제를 찾아냈다. 콘텐츠를 만드는 일에서 가장 어려운 부분이 '무엇을 다룰지 고르는 일'이라는 점을 짚고, 아이디어를 미리 다듬어 선택하기 쉬운 상태로 만들어 두는 도구를 제안한 것이다. 진행자는 이를 두고 지렛대가 있는 아이디어라고 평가했다. 다만 문제 정의 범위가 지나치게 좁게 잡혔다는 한계도 함께 지적한다.

이 실험에서 진행자가 얻은 것은 결과물보다 방법이었다. 그는 과정을 재사용 가능한 스킬 형태로 정리했다. 여기에는 몇 가지 안전장치가 들어간다. AI가 건드리면 안 되는 영역, 예컨대 개인용 메신저 같은 곳에 벽을 세우는 것이 하나다. 원인을 한 단계에서 멈추지 않고 여러 층위로 파고들어 지렛대가 큰 지점을 찾게 하는 지시도 포함된다.

또 하나 넣은 것은 '작게 생각하지 말라'는 명시적 지시다. 코덱스가 스스로 범위를 좁히는 모습을 보고 추가한 항목으로, 크게 생각하되 만들 때는 인증이나 보안까지 포함해 끝까지 완성하라는 요구다. 결론적으로 그는 두 에이전트를 동시에 돌리라고 권한다. 서로 다른 관점을 받아 본 뒤 어느 쪽이 나은지 판단하고, 실제 구현은 비용이 덜 드는 쪽에 맡기는 방식이다.

주요 인사이트

• 에이전트를 평가할 때 '주어진 일을 얼마나 잘 하는가'와 '무엇이 문제인지 알아보는가'는 별개의 능력이다. 이 실험은 후자를 측정하려는 시도다.
• 완주율이 높은 에이전트가 반드시 더 좋은 결과를 주는 것은 아니다. 안정적으로 끝내는 성향과 범위를 좁게 잡는 성향이 함께 나타날 수 있다.
• 사용 경험이 불편하다는 이유로 도구를 배제하면, 정작 판단이 필요한 국면에서 얻을 수 있었던 통찰을 놓칠 수 있다.
• AI에게 자기 업무 기록을 훑게 할 때는 접근 금지 영역을 먼저 정하는 것이 전제 조건이다. 진행자도 개인용 메신저는 명시적으로 차단했다.
• 여러 에이전트를 병렬로 돌려 관점을 모으고, 실행은 비용이 낮은 쪽에 넘기는 분업은 개인 사용자도 바로 적용해 볼 만한 패턴이다.

자주 묻는 질문

관련 AI 소식