저코드 AI 에이전트 만들기: VS Code Foundry 에이전트 빌더와 MCP 활용

핵심 메시지

• Foundry 툴킷의 에이전트 빌더를 쓰면 애플리케이션 코드부터 시작하지 않고도 프롬프트 기반의 저코드 에이전트를 만들 수 있다.
• 좋은 시스템 프롬프트는 에이전트의 역할·대상·경계·출력 형식을 명확히 규정하며, 정보가 부족하면 되묻도록 설계할 수 있다.
• MCP(Model Context Protocol) 서버를 연결하면 에이전트가 승인된 최신 정보(예: Microsoft Learn 공식 문서)에 접근해 응답을 근거 있게 만든다.
• 플레이그라운드 테스트만으로는 확장성이 없으므로, LLM을 심판으로 쓰는 합성 데이터 기반 평가로 여러 지표를 측정하고 반복 개선한다.

쉽게 이해하기

영상은 소셜미디어 관리팀이 링크드인, 블로그 요약, 출시 글, 캠페인 브리프 등 개발자 대상 콘텐츠를 만들어야 하는 상황을 가정한다. 목표는 캠페인 입력(제품 발표, 이미지, 기능 요약, 대략적 목표)을 채널에 맞는 콘텐츠로 바꿔 주는 저코드 에이전트를 Foundry 툴킷의 에이전트 빌더로 만드는 것이다.

에이전트는 브리프가 불완전하면 명확화 질문을 하고, 링크드인 문구·짧은 캡션·캠페인 앵글을 제안하며, 승인된 자료가 있으면 그것을 활용하고, 검토하기 쉬운 구조화된 결과를 돌려줘야 한다. 개발 도구에서 “에이전트 만들기”를 열면 프로코드와 저코드(에이전트 빌더) 중 선택할 수 있는데, 영상은 저코드 방식을 택한다.

에이전트 빌더에서는 이름(dev social content assistant)을 정하고, 간결한 글쓰기와 지시 추론, 멀티모달 입력을 처리할 모델로 이미 배포해 둔 GPT-5를 고른다. 이어 시스템 프롬프트로 역할, 대상(개발자 청중), 톤 가이드라인(과장 금지, 명확한 기술적 이점 포함, 최종 카피와 근거 분리 등)을 명시한다. 개선(improve) 기능으로 LLM의 다듬기 제안을 받거나 지시문을 파일로 열어 편집할 수도 있다.

모델의 일반 지식에만 의존하지 않도록 MCP를 통해 승인된 정보원에 연결한다. 영상에서는 도구 카탈로그에서 Microsoft Learn MCP 서버를 검색해 연결하고, 언제 이 도구를 써야 하는지(마이크로소프트 기술·도구 관련 질문이면 문서 검색·가져오기 도구로 근거를 확보하고 절대 지어내지 말 것)까지 시스템 프롬프트에 추가한다. 실제로 “GitHub Copilot 앱에 관한 링크드인 글” 프롬프트에서 에이전트는 Microsoft 문서 검색 도구로 공식 문서를 조회해 초안과 후속 질문, 근거를 함께 제시했다.

플레이그라운드 테스트는 유용하지만 확장성이 없다. 그래서 Foundry 툴킷의 내장 평가 기능으로 GitHub Copilot 세션에서 Microsoft Foundry 스킬을 이용해 평가를 설정한다. 작업 준수도·유창성·관련성·근거성 같은 지표(루브릭)를 정하고, 데이터가 없으면 합성 데이터셋을 생성한다. 각 행은 테스트 설명, 질의, 기대 응답으로 구성되며, GPT-4o가 LLM 심판으로 25개 입력 행을 채점한다. 결과는 Foundry 포털에서 지표별 집계 점수와 행별 상세 점수·사유로 확인해, 문제를 조기에 찾아 반복 개선한다.

주요 인사이트

• 에이전트 빌더의 핵심 가치는 “코드 구현에 투자하기 전에” 워크플로·톤·도구 사용을 저코드로 빠르게 검증할 수 있다는 점이다.
• 도구를 연결하는 것으로 끝이 아니라, “언제 그 도구를 써야 하는지”를 지시문에 명시해야 에이전트가 근거 기반으로 동작한다.
• MCP는 에이전트를 승인된 최신 데이터(공식 문서 등)에 연결해 환각을 줄이고 응답을 검증 가능한 출처에 고정한다.
• 프로덕션 데이터가 없어도 합성 데이터셋과 LLM 심판을 이용해 에이전트를 정량 평가할 수 있으며, 이는 버전이 바뀔 때마다 반복해야 하는 과정이다.

자주 묻는 질문

관련 AI 소식