AI 에이전트 10억 개 시대의 안전 문제, 대규모 에이전트 시스템이 던지는 새로운 과제

핵심 메시지

• 원격 노동 지표(remote labor index)에서 AI의 실제 업무 수행 능력이 15개월 만에 0.8%에서 16%로 약 16배 올랐다.
• 에이전트가 사람이 하던 경제·사회적 기능을 대신하기 시작하면, 에이전트끼리 대규모로 협력할 수 있는 시스템이 필요해진다.
• 안전 연구의 초점이 '한두 개 에이전트'에서 금융 시스템의 안정성을 다루듯 '시스템 전체'로 옮겨가야 한다.
• 대규모 에이전트 시스템의 세 축은 상호작용 메커니즘, 대규모에서만 나타나는 창발 행동, 그리고 규제다.
• 이 규모의 시스템을 운영하는 주체는 경제·금융시장·소셜 네트워크 정도로 매우 적어, 운영자와 규제기관을 일찍 설득하는 일이 중요하다.

쉽게 이해하기

호주 AI 안전 포럼 2026에서 기가스케일 래버러토리스의 연구 책임자 스티븐 엘리엇은 '10억 개 에이전트를 위한 안전'이라는 주제로 짧은 강연을 했다. 출발점은 능력 향상 속도였다. 실제 원격 업무 과제를 얼마나 해내는지 재는 지표에서 2025년 3월 모델이 0.8%에 그쳤던 반면, 올해 6월 공개된 모델은 16%를 기록했다. 15개월 만에 열여섯 배가 오른 셈이다.

그는 이 추세가 이어지면 에이전트가 경제적으로 의미 있는 일을 상당 부분 맡는 세상이 생각보다 빨리 올 수 있다고 봤다. 인류는 지금까지 서로 연결되기 어려운 사람들을 대규모로 묶기 위해 경제, 금융시장, 소셜 네트워크 같은 제도를 설계해 왔다. 사람이 하던 생산적 기능을 에이전트가 넘겨받는다면, 에이전트가 대규모로 협력할 수 있는 제도 역시 새로 필요해진다는 것이 그의 논지다.

여기서 안전 문제의 성격이 달라진다. 지금까지의 AI 안전은 모델 하나, 혹은 소수의 에이전트가 잘못 행동하지 않게 만드는 데 집중했다. 반면 엘리엇이 제안하는 것은 거시경제나 금융 시스템의 안정성에 가까운 접근이다. 그는 에이전트 행동의 변동성 때문에 금융 위기와 비슷한 사태가 벌어지거나, 공급망과 재화 생산이 말라붙는 상황을 어렵지 않게 상상할 수 있다고 말했다.

그래서 그는 '대규모 에이전트 시스템(large agent systems)'이라는 이름을 제안한다. 소수 에이전트를 다루는 기존 멀티에이전트 논의와 헷갈리지 않도록 '멀티'를 뺀 표현이다. 이 문제는 확장 가능한 협력을 위한 상호작용 메커니즘, 백만~십억 규모에서만 드러나는 창발적 행동, 그리고 규제라는 세 기둥으로 구성된다. 기존의 단일·소수 에이전트 연구를 버리는 것이 아니라 그 위에 쌓아 올리는 층이라는 설명이다.

실행 방안으로는 두 갈래를 꼽았다. 하나는 이 규모의 시스템을 실제로 운영하는 소수의 주체, 즉 금융시장 운영자와 규제기관에 문제를 미리 알리는 일이다. 다른 하나는 인재 유입이다. 이 문제들이 경제학이나 시장 설계 같은 사회과학과 크게 겹치는 만큼, 학계와의 접점을 넓혀야 한다고 봤다. 그는 자신의 연구 그룹이 점진적 무력화 과정을 시뮬레이션하는 실증 연구를 시작했고, 관심 있는 연구자들을 모으는 커뮤니티도 열었다고 밝혔다.

주요 인사이트

• 능력 향상을 '몇 % 올랐다'가 아니라 '몇 배 올랐다'로 읽으면, 대비할 시간이 생각보다 짧다는 결론이 나온다. 0.8%에서 16%는 절대치로는 작아 보여도 배수로는 열여섯 배다.
• 안전 논의의 단위를 모델에서 시스템으로 옮기면 필요한 도구도 달라진다. 정렬이나 통제 기법만이 아니라 시장 설계, 거시정책 같은 사회과학의 도구가 함께 필요해진다.
• 규모가 커질수록 개입 지점은 오히려 줄어든다. 십억 단위 에이전트가 오갈 만한 판은 경제, 금융시장, 소셜 네트워크 정도라 소수의 운영자가 사실상의 레버리지를 쥔다.
• '점진적 무력화'나 '권력 집중' 같은 개념적 문제 제기는 이미 충분히 나왔고, 다음 과제는 그것을 측정하고 조종할 수 있는 지표와 제어 수단을 만드는 일이다.
• 현재 에이전트의 품질을 생각하면, 사람 옆에서 에이전트가 함께 일하는 세계는 기회인 동시에 그 자체로 위험 요인이라는 점을 강연자는 분명히 했다.

자주 묻는 질문

관련 AI 소식