Qwen-AgentWorld 세계모델: 가상 환경을 만들어 AI 에이전트를 훈련하는 새로운 방법

핵심 메시지

• 대부분의 AI 에이전트는 '무엇을 할지(정책)'만 배우고 그 행동 뒤에 무엇이 일어나는지는 배우지 않는다. Qwen-AgentWorld는 반대로 '환경 그 자체'가 되어 행동의 결과를 예측한다.
• 현재 상태(터미널·웹페이지·앱 화면)와 행동을 주면, 그에 대한 응답(터미널 출력, 다음 HTML 화면, API의 JSON 등)을 텍스트로 되돌려 준다. 터미널·소프트웨어 개발·웹 검색·도구(MCP)·브라우저·데스크톱 OS·안드로이드 7개 영역을 다룬다.
• 이 모델은 진짜 서버나 샌드박스를 띄우지 않고도 강화학습용 환경을 흉내 낼 수 있어, 느리고 비싼 실환경 훈련을 대체한다. 일부러 오류를 주입하는 적대적 상황까지 공짜로 만들어 낼 수 있다.
• 결과를 미리 상상하는 습관이 에이전트의 추론 능력 자체를 끌어올려, 한 벤치마크에서 정확도가 69.9%에서 78.3%로 올랐다.
• 핵심 자산은 모델 자체가 아니라 '값싸게 합성 학습 데이터를 만들어 특정 용도의 작은 모델을 미세조정할 수 있다'는 개념이다.

쉽게 이해하기

알리바바의 Qwen 팀이 공개한 Qwen-AgentWorld를 두고 영상은 '벤치마크에서 GPT-5.4나 Claude를 이겼다'는 점은 별로 중요하지 않다고 말한다. 정작 흥미로운 것은, 이 모델이 환경을 상상해 내고 그 안에서 에이전트를 훈련시키며, 그렇게 훈련된 에이전트가 실제 강화학습 환경에서 훈련한 것보다 더 나은 성능을 내더라는 점이다.

오늘날 대부분의 에이전트는 터미널 명령을 치거나 웹 버튼을 누르거나 API를 호출하는 등 '무엇을 할지'를 결정하도록 훈련된다. 하지만 그 행동 다음에 무엇이 벌어질지는 예측하지 못한다. 강화학습 용어로는 정책(policy)은 배우지만 세계모델(world model)은 배우지 않는 셈이다. Qwen-AgentWorld는 이 구도를 뒤집어, 모델의 임무 자체를 '세계가 되는 것'으로 정의한다. 현재 상태와 행동을 넘겨주면 되돌아올 결과를 예측한다.

Genie나 엔비디아의 Cosmos 같은 기존 세계모델이 행동에 따른 이미지나 영상을 예측하는 것과 달리, 이 모델은 MCP 서버·검색엔진·운영체제가 되돌려 주는 문자열, 즉 자기회귀적 텍스트를 예측한다. 활용법은 크게 둘이다. 첫째, 시뮬레이터로 쓴다. 진짜 안드로이드 OS나 MCP를 띄워 강화학습을 돌리는 일은 느리고 비싸며 온갖 예외 상황을 모두 만들어 내기도 어렵다. 대신 모델에게 '환경인 척하라'고 시키면, 가짜이기 때문에 일부러 오류를 넣고 답을 숨기고 결과를 여러 쪽으로 나누는 적대적 조건까지 만들어 낼 수 있다. 현실이 쉽게 내주지 않는 이런 훈련 상황을 사실상 공짜로 얻는 것이다.

둘째, 세계를 예측하는 훈련 자체가 모델을 더 나은 에이전트로 만든다. 행동에 나서기 전에 '무엇이 벌어질지' 먼저 상상하는 습관은, 연쇄적 사고(chain of thought)처럼 스스로 상황을 점검하고 더 나은 최종 답을 내놓는 추론 능력으로 이어진다. 실제로 언어 세계모델 강화학습을 적용하자 정확도가 69.9%에서 78.3%로 뛰었다.

학습 과정은 'CPT는 주입하고, SFT는 활성화하며, RL은 벼린다'는 한 줄로 요약된다. 1단계 지속 사전학습에서는 샌드박스에서 모은 수백만 개의 행동·관찰 궤적과 법률·의료·금융·보안 같은 세계 지식을 먹인다. 2단계 지도 미세조정에서는 거절 샘플링으로 고른 7천여 개의 고품질 사고 궤적으로 명시적 추론을 활성화한다. 3단계 강화학습에서는 형식·사실성·일관성·현실성·품질 다섯 축을 평가하는 LLM 심판과, 코드나 JSON처럼 검증 가능한 것에 대한 규칙 기반 검증기를 함께 써서 보상 해킹을 막는다.

주요 인사이트

• 공개된 모델은 350억 파라미터에 30억만 활성화되는 전문가 혼합(MoE) 구조다. 공개하지 않은 큰 버전은 3,970억 파라미터에 170억 활성화로, 특정 과제에 맞춰 설계됐기 때문에 범용 모델을 이기는 것은 당연한 결과다.
• 이 방식의 매력은 실제 환경을 일일이 띄우지 않고도 방대한 강화학습 궤적을 빠르게 만들어 낸다는 데 있다. 최근 오픈웨이트 모델들이 수만~수십만 개의 강화학습 환경으로 성능을 끌어올린 흐름과 맞닿아 있다.
• 모델이 곧 환경이므로, 큰 모델을 이 환경에 넣고 대결시켜 궤적을 뽑아내는 방식으로 성능을 증류(distill)하거나, 실시간 강화학습 환경으로 삼아 자체 보상 모델을 붙이는 것도 가능하다.
• 결국 이 릴리스의 의미는 특정 용도의 고품질 로컬 모델을 만들 수 있게 해 준다는 점이다. 매번 거대한 상용 모델에 의존하지 않아도 되는 방향으로 한 걸음 나아간 것이다.

자주 묻는 질문

관련 AI 소식