AI 에이전트 시장 실험 매지네틱 마켓플레이스 - 마이크로소프트가 찾아낸 선택의 역설과 조작 취약점

핵심 메시지

• 마이크로소프트 연구소가 에이전트끼리 사고파는 양면 시장을 통째로 시뮬레이션하는 오픈소스 환경 '매지네틱 마켓플레이스'를 공개했다.
• 검색 품질이 좋을 때 최신 모델은 사람이 얻을 수 있는 최선에 가까운 성과를 냈지만, 검색 품질이 떨어지면 성과도 함께 무너졌다.
• 선택지를 3개에서 100개로 늘리자 오히려 만족도가 떨어지는 '선택의 역설'이 거의 모든 모델에서 나타났다.
• 에이전트의 80~100%가 가장 먼저 도착한 제안을 그대로 수락해, 더 나은 조건보다 응답 속도가 유리해지는 구조가 만들어졌다.
• 가짜 후기와 가짜 수상 이력, 프롬프트 인젝션 실험에서 일부 모델은 완전히 뚫려 대금이 공격자에게 넘어갔다.

쉽게 이해하기

마이크로소프트 리서치의 가간 반살 연구원은 AI 에이전트가 더 이상 혼자 일하지 않는 상황을 연구 주제로 삼았다. 개인마다 자기 에이전트를 두는 시대가 오면, 내가 통제하지 못하는 남의 에이전트와 협상하고 거래해야 한다. 문제는 상대 에이전트가 나와 다른 정보를 갖고 있고, 이해관계도 어긋난다는 점이다.

연구팀은 이 상황을 실험실로 옮기기 위해 '매지네틱 마켓플레이스'라는 시뮬레이션 환경을 만들었다. 고객을 대리하는 비서 에이전트와 사업자를 대리하는 서비스 에이전트가 있고, 가운데 놓인 마켓플레이스가 검색과 대화, 결제를 중개한다. 예를 들어 야외 좌석이 있는 엠파나다 맛집을 찾아 달라고 하면, 비서 에이전트가 검색하고 업체 에이전트들과 대화해 메뉴와 편의시설을 물어본 뒤 예약까지 마친다.

첫 질문은 '에이전트가 실제로 고객에게 이득을 주는가'였다. 연구팀은 고객이 얻은 가치에서 지불한 가격을 뺀 값을 후생으로 정의해 측정했다. 검색 결과 품질이 높을 때 GPT-5나 소네트 4 같은 최신 모델은 최적에 가까운 후생을 달성했지만, 검색 품질이 낮아지면 성과가 곧바로 떨어졌다. 오픈소스 모델과 최신 상용 모델 사이의 격차도 여전히 컸다.

예상을 벗어난 결과는 선택지를 늘렸을 때 나왔다. 검색 결과를 3개에서 100개까지 늘리면 후생이 올라갈 것으로 기대했지만 거의 모든 모델에서 반대로 떨어졌다. 에이전트가 충분히 탐색하지 않고 극소수 업체에만 연락했기 때문이다. 제안이 도착한 순서를 바꾸는 실험에서는 80~100%의 에이전트가 첫 제안을 그대로 받아들였다. 더 좋은 조건을 내는 것보다 빨리 답하는 쪽이 유리해지는 시장이 만들어진 셈이다.

연구팀은 조작에 대한 취약성도 시험했다. 가짜 후기, 가짜 수상 이력, 프롬프트 인젝션을 섞어 넣자 일부 최신 모델은 모두 막아냈지만 다른 모델들은 완전히 무너져 모든 결제가 공격자에게 흘러갔다. 반살 연구원은 이런 행동이 예외적 사례가 아니라 에이전트를 대규모로 모아 놓았을 때만 드러나는 성질이라고 강조하며, 배포 이후가 아니라 배포 이전에 확인해야 한다고 정리했다.

주요 인사이트

• 에이전트 시대의 위험은 개별 모델의 성능이 아니라 여러 에이전트가 뒤엉킬 때 생기는 상호작용에서 나온다. 혼자 쓸 때 멀쩡하던 모델도 시장에 풀어놓으면 다른 실패 방식을 드러낸다.
• '선택지를 많이 주면 좋을 것'이라는 직관이 에이전트에게는 통하지 않는다. 사람이 아니라 에이전트가 고르는 시장에서는 검색 결과를 몇 개 보여줄지가 곧 결과를 좌우하는 설계 변수다.
• 첫 제안을 그대로 받아들이는 습성은 곧 응답 속도 경쟁으로 이어진다. 품질보다 속도가 보상받는 시장은 결국 소비자에게 손해로 돌아온다.
• 프롬프트 인젝션이 실험실 얘기가 아니라 돈이 오가는 경로를 그대로 탈취할 수 있는 문제임을 보여준다. 결제 권한을 가진 에이전트일수록 방어 능력을 따로 검증해야 한다.
• 시뮬레이션 환경 자체를 오픈소스로 공개한 점이 중요하다. 각자 자기 에이전트를 넣어 스트레스 테스트를 돌려 볼 수 있어야 필요한 안전장치가 무엇인지 논의가 시작된다.

자주 묻는 질문

관련 AI 소식