마이크로소프트 리서치 포럼: 소형 에이전트 모델과 실시간 검증, 그리고 AI 확산이 늦는 이유

핵심 메시지

• 에이전트를 지휘하는 오케스트레이터에 굳이 최대 크기 모델을 쓰지 않아도 된다는 점을 소형 모델로 보여 줬다.
• 브라우저를 조작하는 모델은 벤치마크 점수가 이전 세대 대비 35%에서 약 65%로 두 배 가까이 올랐다.
• 에이전트 검증은 결과가 아니라 진행 중인 각 단계에서 이뤄져야 하며, 이를 위해 자연어 정책을 검사 가능한 규칙으로 바꾼다.
• 다음 토큰 예측과 강화학습의 중간을 노린 학습법은 보상 모델 없이도 두 방식에 필적하는 성능을 냈다.
• AI의 경제적 충격이 아직 크지 않은 이유는 성능이 아니라 사람 중심으로 짜인 업무 흐름을 그대로 두고 있기 때문이다.

쉽게 이해하기

이번 회차의 중심은 소형 모델만으로 굴러가는 에이전트 애플리케이션이었다. 발표팀은 브라우저와 로컬 파일 시스템을 한 흐름 안에서 다루는 도구를 공개하면서, 이전 버전과 달리 프런티어급 대형 모델에 의존하지 않도록 실행 구조 전체를 다시 짰다고 밝혔다. 시연에서는 지난 행사 노트가 담긴 폴더를 읽어 할 일을 만들고, 가상 머신 안의 브라우저로 자료를 모아 문서를 작성한 뒤, 로그인처럼 사람 손이 필요한 지점에서 사용자에게 제어권을 넘겼다.

이 도구를 떠받치는 모델은 두 종류다. 하나는 브라우저 화면을 스크린샷으로 받아 클릭과 키 입력 같은 조작을 예측하는 컴퓨터 사용 모델이고, 다른 하나는 요청을 계획으로 쪼개고 도구를 고르고 필요하면 직접 코드를 쓰는 오케스트레이터다. 발표자는 오케스트레이터야말로 사람들이 가장 큰 모델을 쓰고 싶어 하는 자리인데, 학습 자체는 평범한 지도 미세조정이고 성패는 데이터 배합에서 갈렸다고 설명했다.

데이터 배합의 요지는 두 가지 성격을 섞는 것이었다. 하나는 도구를 파이썬 객체로 정의하고 그 객체들을 그래프의 노드로 삼아 검색→예약→일정→메일처럼 이어지는 경로를 궤적으로 만드는 방식이고, 다른 하나는 터미널에서 명령을 치고 결과를 읽어 다음 행동을 정하는 식의 궤적이다. 도구 호출만 배운 모델은 모든 문제를 도구로 밀어 넣으려 하지만, 실제로는 파이썬 다섯 줄이 정답인 경우가 많아 두 흐름을 함께 가르쳐야 한다는 것이다.

브라우저 조작 모델 쪽에서는 사람의 조작 기록 없이 합성 데이터만으로 학습시키겠다는 방침이 눈에 띈다. 실제 웹사이트와, 코딩 에이전트로 만들어 낸 가상 사이트를 함께 환경으로 쓰고, 더 강한 교사 모델과 사용자 시뮬레이터가 과제를 풀게 한 뒤, 정확성·효율성·사용자 상호작용 세 축으로 궤적을 걸러 학습에 넣는다. 특히 정보를 지어내지 않았는지, 되돌릴 수 없는 행동을 승인 없이 하지 않았는지를 따로 검사한다.

행사 후반부는 신뢰성과 사회적 파급으로 옮겨 갔다. 저장소 운영을 자동화하는 깃허브 기반 에이전트 워크플로, 자연어 정책을 검증 가능한 속성으로 바꿔 실시간으로 감시하는 프레임워크, 보상 모델 없이 의미 단위를 맞추는 학습법이 차례로 소개됐고, 마지막으로 경제학자가 AI 확산의 병목이 기술이 아니라 조직이라는 분석을 내놨다.

주요 인사이트

• 브라우저 조작 모델의 성능은 온라인 벤치마크에서 이전 세대 7B 모델의 35%에서 9B 모델의 약 65%로 올랐다. 다만 발표자는 벤치마크를 위해 학습한 것이 아니라 사람들이 실제로 시키고 싶어 하는 과제를 잘하게 만드는 것이 목표였다고 선을 그었다.
• 에이전트 검증의 관건은 시점이다. 메일 발송이나 데이터베이스 기록처럼 되돌릴 수 없는 행동이 실행되기 전에 잡아야 하므로, 결과물만 사후에 보는 방식으로는 부족하다는 것이 발표의 출발점이었다.
• 검증 프레임워크는 '환불은 원래 결제 수단으로 가야 한다' 같은 문장을 파이썬 검사 코드로 자동 변환한다. 실행 중 모델이 잘못된 결제 수단을 쓰면 위반을 알리는 메시지가 돌아가고, 다음 차례에 모델이 스스로 고치는 식이다.
• 검증을 비동기로 돌리고 문제가 발견될 때만 실행을 멈추는 설계 덕분에, 안전성을 위해 속도를 통째로 희생하지 않는다. 검증기를 통과하지 못하면 답을 내놓지 않는다는 원칙도 함께 걸었다.
• 새 학습법은 문장 전체의 의미가 맞는지를 특징 공간에서 비교한다. 교차 엔트로피를 직접 최적화하지 않았는데도 지도 미세조정보다 낮은 손실을 얻었고, 정답 여부 보상 없이도 검증 가능 보상 기반 강화학습에 필적하는 성능을 보였다.
• 경제학 발표는 AI 도입을 증강·자동화·재구성 세 단계로 나눈다. 지금까지의 성과는 대부분 첫 단계에 머물러 있고, 진짜 큰 효용은 업무 흐름을 AI의 특성에 맞춰 처음부터 다시 설계하는 세 번째 단계에 있는데 그 문턱이 기술이 아니라 권한 위임과 책임 구조라는 것이다.

자주 묻는 질문

관련 AI 소식