AI 에이전트 프롬프트 엔지니어링 — 시스템·유저·툴 3계층 설계 가이드

핵심 메시지

• 누구나 같은 AI 도구를 쓰는 시대에 차이를 만드는 것은 도구가 아니라 '신뢰성 있게 작동하게 만드는 프롬프트 설계'다.
• AI 에이전트 프롬프트는 시스템 프롬프트, 유저 프롬프트, 툴 사용 지침의 세 계층으로 나눠 설계해야 한다.
• 좋은 프롬프트의 기본은 간결함, 마크다운으로 중요도 표시, 중복 제거, 성공·오류 예시를 담은 전략적 맥락이다.
• 맥락 창은 앞쪽 토큰일수록 가중치가 크므로 역할·목표·제약·출력 형식을 프롬프트 맨 앞에 둔다.
• 툴이 여러 개라면 메인 에이전트를 오케스트레이터로 두고 작업을 서브 에이전트로 분리하는 편이 안정적이다.

쉽게 이해하기

영상은 많은 운영자가 'AI에게 할 일만 알려주고' 정작 에이전트를 실전에서 무너지지 않게 하는 두 계층을 건너뛴다고 지적한다. 챗봇과 클로드 같은 도구는 경쟁자와 고객도 똑같이 쓸 수 있으므로, 진짜 차이는 도구를 대규모에서도 신뢰성 있게 작동시키는 3계층 프롬프트 시스템에서 나온다고 본다.

세 계층은 (1) 시스템 프롬프트, (2) 유저 프롬프트, (3) 툴 사용 지침이다. 발표자는 직원을 채용하는 것에 비유한다 — 직원에게는 역할, 처리할 업무 목록, 그리고 사용할 도구에 대한 교육이 필요하다. 도구를 쓰지 않는 에이전트라면 세 번째 지침은 생략할 수 있지만, 도구를 쓰는 순간 그 부분이 에이전트가 가장 자주 어긋나는 지점이 된다.

프롬프트 설계의 기본 원칙으로는 첫째 간결함을 든다. 불필요한 단어는 토큰을 늘려 비용을 높이고 출력이 잘릴 위험을 키운다(예컨대 유튜브 자막처럼 긴 입력은 맥락 창이 큰 Gemini를 쓰라고 권한다). 둘째는 마크다운으로 정보의 우선순위를 표시하는 것, 셋째는 같은 말을 다른 표현으로 반복하지 않는 중복 제거, 넷째는 성공적인 입력·출력 예시와 처리해야 할 오류·엣지케이스 예시를 담는 전략적 맥락이다.

마크다운(제목·불릿을 만드는 해시태그와 별표)은 임베딩 공간에 일종의 이정표를 세우는 역할을 한다. 또한 맥락 창은 왼쪽에서 오른쪽으로 읽히며 앞쪽 토큰이 더 큰 가중치를 받으므로, 역할·목표·제약·출력 형식을 최대한 앞에 배치해야 한다. 시스템 프롬프트 템플릿에는 역할, 해야 할 것과 하지 말아야 할 것의 규칙, 툴 지침, 출력 형식(JSON 또는 일반 텍스트), 그리고 정상 동작 예시와 오류 사례 예시를 넣는다.

발표자는 웹사이트 방문자를 상담 예약으로 안내하는 챗봇을 예로 든다. 이 에이전트는 가용 시간 확인·일정 생성 같은 툴을 쓰고, '기후 변화 에세이를 써 달라' 같은 범위 밖 요청은 토큰 낭비를 막기 위해 거절하도록 금지 주제 가드레일을 둔다. 툴이 두어 개를 넘어가면 메인 에이전트를 CEO·오케스트레이터로 두고 개별 작업을 서브 에이전트로 분리할 것을 권한다. 유저 프롬프트(2계층)에는 챗 메시지와 함께 현재 날짜·시각 같은 변동 정보를 넣어야 하는데, 그러지 않으면 모델이 연도를 2023년으로 착각할 수 있다.

세 번째 계층인 툴 지침에서는 단계별 실행 순서, 필수 입력 필드, 그리고 밑줄까지 포함한 툴의 정확한 이름 참조가 중요하다. 프롬프트 품질은 결국 에이전트에 넣어 원하는 출력이 나오는지로 검증되는데, 영상은 프롬프트를 클로드에 넣어 명확성·간결성·툴 실행 가능성을 1~10점으로 평가시키는 방법, OpenRouter의 API 키로 워크플로별 토큰 사용량과 비용을 추적하는 방법, 그리고 잘못된 데이터를 일부러 넣어 한계를 시험하는 엣지케이스 테스트를 소개한다.

주요 인사이트

• 도구의 평준화 시대에 경쟁력은 '무엇을 쓰느냐'가 아니라 '얼마나 신뢰성 있게 작동시키느냐'에서 갈리며, 그 핵심이 프롬프트 설계라는 관점을 제시한다.
• 에이전트 프롬프트를 시스템·유저·툴의 3계층으로 명시적으로 분리하면 어디서 문제가 생기는지 진단하고 고치기가 쉬워진다.
• 맥락 창이 앞쪽 토큰에 더 큰 가중치를 둔다는 점을 근거로 역할·목표·제약·출력 형식을 프롬프트 앞에 배치하라는 조언은 실측 가능한 설계 원칙이다.
• 프롬프트를 LLM 자신에게 점수 매기게 하고, 일부러 잘못된 입력으로 한계를 시험하는 등 '검증 가능한 프롬프트 개선' 루프를 강조한다.

자주 묻는 질문

관련 AI 소식