AI 에이전트 구축 원칙: 모델 진보에 올라타는 설계법 정리

핵심 메시지

• 가장 흔한 실수는 모델의 진보와 싸우는 것이다. 모델 연구소의 로드맵에 맞춰, '중력을 거스르지 않는' 방향으로 설계하라.
• 정교한 프롬프트 해킹을 회사의 방어력으로 삼지 마라. 모델이 좋아질수록 그런 요령은 필요 없어진다. 대신 어떤 도구를 줄지 고르는 '도구 설계'가 새 관건이다.
• 완벽주의를 버려라. 평가(eval)에 갇히지 말고 80%까지 빠르게 도달한 뒤, 사람의 안목이 필요한 마지막 20%에 집중하라.
• 클라우드 에이전트를 병렬로 여러 개(예: 자식 에이전트 10개) 띄우면 대규모 코드 마이그레이션 같은 작업을 나눠 처리하고 각 에이전트의 컨텍스트를 작게 유지할 수 있다.

쉽게 이해하기

피터 양이 진행하는 이 대담에서 코그니션(Cognition)의 빌딩 인 레지던스 재러드 조너레이치가 좋은 AI 에이전트를 만드는 법을 이야기한다. 그는 프롬프트레이어(PromptLayer)를 거쳐 코그니션에서 코딩 에이전트 데본(Devon)을 다룬다. 그는 에이전트 구축을 사용자용(챗봇 등)과 내부용(팀 업무용) 두 갈래로 나눈다.

그가 꼽는 가장 큰 실수는 '모델의 진보와 싸우는 것'이다. 예전에는 사고의 연쇄(chain of thought)를 끌어내려 특정 방식으로 프롬프트를 짰지만 이제는 모델에 내장됐다. 그래서 그는 지금 필요한 요령이 앞으로는 덜 중요해진다고 가정하고 로드맵을 짜라고 조언한다. "모델을 특정 방향으로 밀어붙이지 말고 익게 두라(let the model cook)"는 것이다.

방어력(defensibility)에 대한 대화도 흥미롭다. 화려한 프롬프트는 모델이 따라잡기 때문에 방어력이 되지 못한다. 그는 방어력을 빠르게 출시하고 최신 모델에 즉각 반응하는 능력, 좋은 하네스, 그리고 고객에게 직접 들어가 문제를 함께 푸는 포워드 디플로이 엔지니어(FDE) 같은 시장 접근 방식에서 찾는다.

출시 단계에 대해서는 "완벽은 완성의 적"이라고 말한다. 결정론적 코드 세계에서 온 팀들이 모든 것을 평가로 검증하려다 막히는데, 어떤 최고 팀들은 평가셋 없이 프로덕션에 배포하기도 한다. 80%까지는 쉽게 가지만 마지막 구간은 사람의 안목과 손길이 필요하며 1년이 걸릴 수도 있다.

데모에서는 클라우드 에이전트 데본이 브라우저와 전체 컴퓨터를 갖추고 통합 테스트를 스스로 수행하는 모습을 보여준다. 랜딩 페이지를 다시 디자인하라며 자식 데본 10개를 띄우자 각자 별도 VM에서 새 브랜치와 PR을 만들고, 상위 데본이 이들과 메시지를 주고받으며 조율한다.

주요 인사이트

• '도구 엔지니어링'이 새로운 핵심이라는 관점이 인상적이다. 모델이 알아서 시도할 것이라 믿고 어떤 도구를 줄지 고르며, 프롬프트와 스킬은 어떤 상황에 어떤 도구를 쓰라는 '커닝페이퍼' 역할을 한다.
• 에이전트 팬아웃(fan-out)의 실제 쓸모는 대규모 마이그레이션이다. 코볼에서, 혹은 자바스크립트에서 타입스크립트로 옮기는 작업을 병렬화하면서 각 에이전트의 컨텍스트를 작게 유지해 검증 가능성을 높인다.
• 코그니션은 '검증 가능한 코드'를 지향한다. 에이전트가 코드를 쓰기만 하는 게 아니라 실행하고 스크린샷을 찍어 확인하는, 완결된 팀원처럼 동작하게 만든다.
• 데본에는 모델 선택기가 없다. 소프트웨어 공학에 특화된 자체 모델 '스위트(Suite)'를 포함해 상황에 맞는 모델로 라우팅하며, '토큰 최적화'가 아니라 'ROI 최적화'를 목표로 한다고 설명한다.
• 재러드는 코딩에 집중하는 것이 현명하다고 보면서도, 비기술 업무의 에이전트 활용에 낙관적이다. 반대로 초보자용 '버전1 만들기' 제품에는 회의적이며, '진짜 엔지니어링'과 일회성 '숏폼 소프트웨어'로 시장이 갈라질 것으로 전망한다.

자주 묻는 질문

관련 AI 소식