마이크로소프트 Interwhen 공개: AI 에이전트 행동을 실시간 검증하는 오픈소스 프레임워크

핵심 메시지

• 이메일 발송이나 데이터베이스 기록처럼 되돌릴 수 없는 행동을 하는 에이전트에게는 최종 출력뿐 아니라 중간 행동을 검증하는 장치가 필요하다.
• 기존 방식인 LLM 심판은 세밀한 오류를 놓치기 쉽고, 형식 검증기는 신뢰할 수 있지만 수학과 코드 영역에 갇혀 있다.
• Interwhen은 언어모델로 출력을 검증 가능한 속성 목록으로 분해한 뒤, 파이썬이나 Lean 코드로 된 검증기를 자동 생성한다.
• 검증은 비동기로 돌아가 위반이 발견될 때만 실행을 멈추며, 기존에 쓰던 검증기를 그대로 붙일 수 있는 구조로 설계됐다.
• 에이전트 벤치마크에서 작은 모델이 프런티어 모델에 필적하는 정확도를 냈고, 검증기를 통과하지 못하면 답을 내지 않는 방식으로 동작한다.

쉽게 이해하기

마이크로소프트 리서치가 자사 연구 포럼에서 AI 에이전트의 신뢰성을 다루는 오픈소스 프레임워크 Interwhen을 공개했다. 발표를 맡은 인도 연구소의 아미트 샤르마 수석 연구원은 이 작업이 동료 연구자들, 그리고 애리조나 주립대의 수바라오 캄밤파티 교수와 함께한 공동 연구라고 밝혔다.

문제의식은 분명하다. AI 시스템이 텍스트를 만들어내는 수동적 생성기에서 실제 세계에서 행동하는 에이전트로 옮겨가고 있다는 것이다. 받은 편지함을 대신 관리하거나 조직의 복잡한 업무 흐름을 실행하는 에이전트는 사용자를 대신해 메일을 보내고 조직 데이터베이스에 기록하며 때로는 실제 로봇을 움직인다. 되돌릴 수 없는 변경을 만드는 도구 호출이 걸려 있는 만큼, 최종 결과물만이 아니라 중간 행동을 검증해야 한다는 것이 출발점이다.

기존 검증 방식에는 각각 한계가 있다. 언어모델을 심판으로 쓰는 접근은 하나의 덩어리로 판단하기 때문에 미묘한 오류를 놓칠 수 있고, 형식 검증기는 신뢰할 만하지만 수학과 코드처럼 좁은 영역에만 적용된다. Interwhen의 해법은 언어모델을 이용한 투영 단계로, 에이전트의 출력을 검증 가능한 속성들의 목록으로 자동 분해한 뒤 형식 명세를 만들고 파이썬이나 Lean으로 된 검증기를 생성한다. 사후에 한 번 확인하는 방식이 아니라 어느 시점의 부분 응답이든 검증할 수 있고, 위반이 예상되면 실행 가능한 피드백을 돌려줘 추론 모델의 방향을 바꾼다.

발표에서 든 예시는 소매 고객 응대 에이전트다. 길게 늘어진 정책 문서가 '환불은 원래 결제 수단으로 이루어져야 한다' 같은 원자적 속성으로 변환되고, 이 속성으로부터 파이썬 검증 코드가 자동 생성되며 변수는 실행 시점에 사용자 맥락과 모델의 현재 응답으로 채워진다. 에이전트가 잘못된 결제 수단 ID로 반품을 처리하려 하자 검증기가 위반을 감지하고 신용카드 환불이 허용되지 않는다는 메시지를 반환했으며, 모델은 다음 차례에 그 피드백을 받아 행동을 수정했다.

설계 원칙은 두 가지로, 검증이 비동기로 돌아가 전체 시스템의 효율을 해치지 않게 했고 실무자가 이미 쓰던 검증기를 그대로 붙일 수 있게 만들었다. 별도의 모니터가 에이전트 출력을 실시간으로 추적하며 도구 호출마다 검증기를 비동기로 호출하고, 오류가 발견될 때만 실행을 멈춘다. 성능 면에서는 에이전트 벤치마크에서 최고 수준의 결과를 냈고 작은 모델이 프런티어 모델의 정확도에 필적하는 사례도 보고됐으며, 고객 응대뿐 아니라 여행 예약과 논리 퍼즐, 응답의 안전성 확보까지 여러 과제에서 출력 품질이 올랐다. 연구팀은 이 프레임워크를 깃허브에 공개하고 AI 검증과 안전성에 집중하는 커뮤니티를 함께 만들자고 제안했다.

주요 인사이트

• 검증을 사후 평가가 아니라 실행 중의 조타 장치로 옮긴 것이 이 접근의 핵심이다. 잘못된 행동을 뒤늦게 발견하는 것과, 되돌릴 수 없는 도구 호출 직전에 막는 것은 전혀 다른 문제다.
• 자연어 정책을 원자적 속성으로 쪼개는 단계가 형식 검증의 적용 범위를 넓히는 열쇠다. 모호한 문서를 그대로 검증할 수는 없지만, 문서에서 뽑아낸 개별 규칙은 코드로 옮길 수 있다.
• 검증기 생성이 일회성 작업이고 실행 시점에는 변수만 채워 넣는 구조라, 사람이 미리 검토할 수 있는 지점과 자동화되는 지점이 깔끔하게 분리된다.
• 비동기 실행이라는 선택은 성능이 아니라 채택 가능성의 문제다. 검증 때문에 에이전트가 느려지면 실무에서는 결국 검증을 끄게 된다.
• 작은 모델이 검증 장치를 붙였을 때 훨씬 큰 모델에 필적했다는 결과는, 에이전트 신뢰성이 모델 규모만의 함수가 아님을 시사한다.

자주 묻는 질문

관련 AI 소식