마이크로소프트 파운드리 AI 에이전트 구축·배포 실전 튜토리얼

핵심 메시지

• 로컬에서 잘 돌던 AI 에이전트도 운영 환경에서는 보안·모델 종속성·다수 SDK 통합·비용 급증·모니터링 부재로 무너지기 쉽다.
• 마이크로소프트 파운드리는 AI 앱과 에이전트를 구축·기반 마련·관리하는 통합 플랫폼으로, 에이전트 수명 주기 전반에 일관된 보안·규정 준수·정책 제어를 적용한다.
• VS Code용 Foundry 툴킷(과거 AI 툴킷)으로 모델 카탈로그에서 원하는 모델을 골라 배포하고, 로컬 문서로 벡터 인덱스를 만들어 RAG 에이전트를 구성한다.
• 코드로 완전히 제어하거나 노코드 오픈 에이전트 빌더로 만들 수 있고, 웹 검색·파일 검색 같은 도구와 1,400개 이상의 사전 구축 도구 연결을 붙일 수 있다.
• 완성한 에이전트를 파운드리 에이전트 서비스에 배포하면 호스팅·확장·ID 관리·관찰 가능성을 갖춘 관리형 프로덕션 에이전트로 전환된다.

쉽게 이해하기

발표자는 주말에 Claude·GPT·Llama로 멋진 에이전트를 만들었더라도, 막상 운영 환경에 올리는 순간 보안 문제, 모델 종속성, 10개 넘는 SDK 통합 필요, 비용 급증, 모니터링 부재 같은 벽에 부딪힌다고 지적한다. 이런 이유로 많은 에이전트가 배포 단계에서 무너진다.

해법으로 제시된 마이크로소프트 파운드리는 비즈니스 맥락을 이해하는 AI 앱·에이전트를 구축·기반 마련·관리하는 통합 플랫폼이다. 개방형 개발, 내장 인텔리전스, 그리고 모든 에이전트에 걸친 일관된 보안·규정 준수·정책 제어로 에이전트 수명 주기를 하나로 묶는다는 설명이다. (참고: 이 영상은 마이크로소프트가 후원했다.)

실습은 Azure 계정 로그인 후 VS Code에 Foundry 툴킷 확장을 설치하고, 리소스 그룹과 파운드리 리소스를 생성하는 것으로 시작한다. 툴킷은 오픈소스·독점 모델을 아우르는 모델 카탈로그를 제공하며, 원하는 모델을 '파운드리에 배포' 한 번으로 Azure 클라우드에 올려 접근할 수 있다.

핵심은 RAG 구성이다. 직원 핸드북 같은 로컬 문서를 업로드해 벡터 스토어와 검색 인덱스(Foundry IQ)를 만들고, 이를 도구로 변환해 에이전트의 지식 기반으로 붙인다. 에이전트는 코드로 완전히 제어하거나 노코드 오픈 에이전트 빌더로 만들 수 있으며, 모델 선택과 지침 입력, 프롬프트 개선 기능을 지원한다.

여기에 웹 검색과 파일 검색 도구를 붙이면 에이전트가 사내 문서와 웹을 함께 참조한다. 또한 GitHub처럼 개인 액세스 토큰만으로 연결되는 1,400개 이상의 사전 구축 도구가 있어 별도 웹훅이나 연결 코드가 필요 없다. 마지막으로 완성한 에이전트를 파운드리 에이전트 서비스에 배포하면 관리형 프로덕션 에이전트로 전환되며, 이 모든 과정이 VS Code 안에서 이뤄진다.

주요 인사이트

• 이 플랫폼의 가치 제안은 '개별 도구를 짜맞추는 대신 구축·기반 마련·관리·배포를 한 곳에서' 처리해 운영 단계의 실패 요인을 줄이는 데 있다.
• 로컬 문서를 인덱스로 만들고 도구로 변환해 붙이는 흐름은 사내 데이터 기반 Q&A 봇을 빠르게 만드는 전형적인 RAG 패턴을 보여준다.
• 노코드 빌더와 코드·Copilot 생성 방식을 함께 제공해 비전문가와 개발자 모두를 겨냥한다.
• 모델 라우터를 통한 비용 최적화, 호스팅·확장·관찰 가능성 같은 운영 기능이 배포와 함께 제공된다는 점이 데모의 핵심 메시지다.

자주 묻는 질문

관련 AI 소식