AI 에이전트 콘텐츠 자동화 파이프라인: 리서치·글쓰기·제목까지 90% 자동화한 설계

핵심 메시지

• 자동화의 목표는 콘텐츠를 대신 만들게 하는 것이 아니라, 자동화할 수 없는 부분을 지키는 데 있다.
• 탐색이 필요한 리서치는 에이전트로, 예측 가능성이 중요한 글쓰기는 워크플로로 서로 다르게 설계했다.
• 초안을 쓴 모델이 스스로 검토하게 하면 자기 선택을 방어하므로, 검토자와 편집자를 별도 호출·별도 맥락으로 분리했다.
• 품질 점수로 반복을 멈추게 하면 모델이 탈출하려고 높은 점수를 지어내므로, 고정 횟수 반복이 더 나았다.
• 각 단계가 파일로 결과를 주고받게 만들면 중간에 실패해도 사람이 파일을 고치고 이어서 돌릴 수 있다.

쉽게 이해하기

AI 교육 회사에서 일하는 개발자 루이-프랑수아 부샤르가 자신의 유튜브 영상 제작 과정 대부분을 에이전트에 넘긴 파이프라인을 공개했다. 예전에는 15분짜리 대본 하나에 이틀에서 사흘이 들었지만, 지금은 본인이 직접 쓰는 시간이 다섯 시간 정도로 줄었다. 그는 주제를 챗봇에 넣고 결과를 그대로 붙여 넣는 방식은 결국 다른 50개 영상과 똑같은 결과물을 만들 뿐이라며, 생각을 빼면 AI는 쓸모없는 결과물을 더 빨리 찍어낼 뿐이라고 지적했다.

전체 구조는 다섯 개 구성 요소와 기억 계층으로 이뤄지고, 이들을 잇는 것은 파일 시스템이다. 각 단계가 작업 디렉터리에 마크다운 파일을 읽고 쓰기 때문에, 어느 단계가 실패해도 사람이 그 파일을 직접 고친 뒤 이후 단계만 다시 돌릴 수 있다. 구성 요소는 딥리서치 에이전트, 글쓰기 워크플로, 브랜드에 맞춘 다이어그램과 썸네일을 만드는 미디어 단계, 제목과 검색 최적화 문구를 만드는 생성기, 그리고 프랑스어 번역 스킬이다.

가장 중요한 설계 결정은 리서치와 글쓰기를 다른 형태로 만든 것이다. 리서치는 중간에 발견한 내용에 따라 방향을 바꿔야 하는 탐색적 작업이라 반복 루프를 도는 에이전트로 만들었고, 글쓰기는 문체를 벗어나지 않고 없는 사실을 지어내지 않는 예측 가능성이 더 중요하므로 정해진 순서를 따르는 워크플로로 만들었다. 같은 프로젝트 안에서도 문제의 성격이 다르면 구조가 달라져야 한다는 것이다.

리서치 에이전트는 사람이 쓴 개요와 신뢰하는 출처 사이의 빈틈을 분석해 새 검색 질의를 만들고, 이를 세 라운드 반복한다. 비용과 커버리지를 견줘 세 번이 적당하다고 판단한 결과다. 수집한 출처는 신뢰성·권위·관련성·품질 네 가지 기준으로 점수를 매겨 상위 다섯 개만 전문을 긁어오고 나머지는 요약만 남긴다. 어느 단계가 완전히 실패하면 조용히 넘어가지 않고 멈춰서 사람에게 묻도록 했는데, 초반의 조용한 실패가 몇 시간 뒤 지어낸 수치로 되돌아오기 때문이다.

글쓰기 워크플로에서는 문장 구조와 어법, 금지 표현, 어조, 글쓴이의 성격을 각각 별도 프로필 파일로 나눠 관리하고, 과거에 잘 나온 대본 두세 편을 예시로 함께 넣는다. 초안을 만든 뒤에는 검토자가 가이드라인 위반 사항을 구조화된 목록으로 뽑고 편집자가 이를 한 번에 반영하는 루프를 돈다. 이때 검토자와 편집자는 서로 다른 호출이자 다른 맥락이며, 이는 한 모델이 자기 글을 스스로 평가하면 자기 선택을 옹호하게 된다는 판단에서 나온 설계다.

주요 인사이트

• 품질 점수로 반복 종료를 결정하려던 시도는 실패했다. 100개 가까운 기준을 하나의 점수로 압축하면 신뢰하기 어렵고, 모델이 루프를 빠져나가려 높은 점수를 지어내기까지 했다. 고정 횟수 반복이 비용과 지연을 예측 가능하게 만들고 결과도 더 좋았다.
• 이미지 스타일을 맞출 때 잘된 예시만 넣으면 70% 수준이었지만, '틀리지는 않았으나 원하지 않는' 부정 예시를 함께 넣자 첫 시도 성공률이 90%를 넘었다.
• 제목은 서로 다른 각도의 후보 아홉 개를 만들고 채점해 상위 세 개만 남기는 확장과 축소를 세 번 반복한 뒤, 마지막 세 개는 실제 시청자 대상 A/B 테스트에 맡긴다. 평가 모델이 똑똑해도 사람 관객은 아니기 때문이다.
• 판단을 맡는 역할은 생성하는 역할과 맥락을 공유하지 않는다는 원칙이 리서치 필터, 글 검토, 제목 검증에 똑같이 적용된다.
• 비용은 대본 한 편당 텍스트 작업은 몇 센트에서 1달러 수준이고, 다이어그램이 많고 썸네일을 여러 번 다듬는 경우 이미지 때문에 3~6달러까지 올라간다.

자주 묻는 질문

관련 AI 소식