AI 에이전트 한계: 딥마인드 논문이 증명한 인과 모델의 벽과 에이전트 자동화가 늦어지는 진짜 이유

핵심 메시지

• 딥마인드 논문은 '충분히 넓은 범위의 분포 변화에 적응할 수 있는 에이전트는 반드시 데이터 생성 과정의 인과 모델을 학습했어야 한다'는 명제를 수학적으로 증명했다.
• AI 에이전트를 제대로 정의하면 자율성·사회성(다른 에이전트와의 소통)·반응성·능동성 네 가지를 모두 갖춘 시스템이며, 지금 '에이전트'로 팔리는 제품 상당수는 여기에 못 미친다.
• 인과 모델은 상관관계 모델과 근본적으로 다르다. 데이터만으로는 '보는 것의 결과'는 알 수 있어도 '행동하는 것의 결과'는 알 수 없다.
• 현재 최고 수준의 인과 추론은 변수 서너 개를 다루는 데 70쪽짜리 논문이 필요할 만큼 느리고 좁으며, 자동화·대규모화가 되지 않는다.
• 발표자는 AI 회의론자가 아니라고 밝히면서도, 인과 모델링에서 돌파구가 나오기 전에는 에이전트 AI가 큰 영향력을 갖기 어렵다고 결론짓는다.

쉽게 이해하기

지난 1년 사이 AI 에이전트는 검색 트렌드부터 구글·마이크로소프트의 개발자 콘퍼런스 발표까지 어디서나 화제가 됐다. 영상에서 인용한 IT 임원 설문에서는 93%가 에이전트형 AI에 큰 관심을 보였고 32%는 가까운 시일 안에 투자할 계획이라고 답했다. 하지만 발표자는 현재 기술로는 진짜 AI 에이전트가 불가능하게 만드는 근본적인 과학적 난제가 있다고 말한다.

먼저 용어부터 정리한다. 인터넷을 검색하고 코딩 도구를 쓰며 답변을 스스로 점검하는 언어 모델도 마케팅상 에이전트라 불리지만, 사람들이 상상하는 에이전트의 모습은 그보다 크다. 발표자는 1995년 고전 논문 '지능형 에이전트: 이론과 실제'의 네 가지 기준을 빌려온다. 사람의 개입 없이 행동하는 자율성, 다른 에이전트와 언어로 협력하는 사회성, 환경을 인식해 반응하는 반응성, 스스로 목표를 세우고 추구하는 능동성이다. 이 네 가지를 모두 높은 수준으로 갖춰야 비로소 에이전트다.

핵심 근거는 딥마인드의 논문 '견고한 에이전트는 인과 세계 모델을 학습한다'이다. 논문의 결론은 '충분히 넓은 분포 변화의 집합에 적응할 수 있는 에이전트는 반드시 데이터 생성 과정의 인과 모델을 학습했어야 한다'는 것이다. 분포 변화란 학습했던 환경과 달라진 환경을 뜻한다. 플로리다의 맑은 도로에서 배운 자율주행 에이전트가 알래스카의 빙판길에 놓이는 상황을 떠올리면 된다. 물리 법칙과 목표는 같지만 노면 조건이 완전히 달라졌다.

인과 모델이 왜 그렇게 어려운지는 간단한 예로 드러난다. 병원에 간 사람과 일주일 뒤 아픈 사람의 데이터를 보면, 병원에 간 사람이 더 자주 아프다. 아프기 때문에 병원에 갔으니 당연하다. 이 데이터로 '누군가 병원에 가는 것을 보았다'는 관찰의 결과는 예측할 수 있다. 그러나 '내가 병원에 갈까'라는 행동의 결과를 데이터 그대로 읽으면 병원에 가면 아파진다는 엉뚱한 결론이 나온다. 인과 모델은 이런 개입과 반사실까지 담기 때문에 상관관계 모델보다 훨씬 정보가 풍부하고, 그만큼 훨씬 만들기 어렵다.

증명은 현실 세계를 인과 베이즈 네트워크(방향성 비순환 그래프)로 형식화한 뒤 두 가지를 보인다. 넓은 범위의 분포 변화에서 항상 최적으로 행동하는 에이전트는 환경의 인과 구조를 알고 있어야 하고, 최적에 가깝게만 행동하더라도 인과 구조의 근사치를 학습했어야 한다는 것이다. 두 번째 결과가 있기에 현실의 불완전한 에이전트에도 논지가 적용된다. 특히 에이전트들이 서로 협력하려면 미래의 모든 상호작용을 미리 학습시킬 수 없으므로, 그 상호작용 자체가 분포 변화가 되어 견고함을 요구하게 된다.

그렇다면 오늘날의 인과 추론은 어디까지 왔을까. 발표자는 자신의 경력을 근거로 '느리고 좁다'고 단언한다. 실험을 다 돌릴 수 없어 관측 데이터로 인과 질문에 답해야 하는데, 데이터만으로는 여러 인과 모델을 구분할 수 없어(식별 불가능) 모델러가 도메인 지식으로 가정을 넣어야 하고 그 가정은 검증하기도 어렵다. 예로 든 에어비앤비 논문은 '특정 지역의 숙소 등록이 1% 늘면 임대료와 집값이 몇 % 변하는가'라는 변수 세 개짜리 질문에 70쪽을 쓴다. 발표자가 참여한 사용자 메시징 회사의 문제도 결국 '누구에게, 어떤 메시지를, 언제 보내면 무슨 일이 일어나는가'라는 변수 세 개의 인과 질문이고, 여기에 회사 하나가 통째로 매달린다.

주요 인사이트

• 에이전트가 막힌 지점은 모델 크기나 도구 연결이 아니라 '행동의 결과를 예측하는 능력'이라는 것이 이 논지의 핵심이다. 벤치마크 점수가 올라도 이 능력이 따라오지 않으면 새로운 환경에서 무너진다.
• 이 주장의 힘은 수학적 증명이라는 형식에서 나온다. 몇 가지 기술적 가정을 받아들이면 반박하기 어렵고, 근사 버전까지 증명했기 때문에 완벽하지 않은 실제 에이전트에도 적용된다.
• 인과 추론은 상업적 가치가 크고 최첨단 기술인데도 자동화되지 않았다. 변수 몇 개를 다루는 데 수십 쪽의 가정·검증·강건성 점검이 필요하다는 사실 자체가 규모 확장의 장벽을 보여준다.
• 발표자가 제시한 반전 시나리오는 추론 모델이다. 수학 벤치마크에서 보인 추론 능력이 인과 모델링 영역으로 옮겨갈 수 있다면 판이 바뀔 수 있다.
• 다만 추론 모델은 정답이 검증되는 데이터에 의존하는데, 인과 추론에는 정답에 해당하는 실측값이 거의 없다. 검증 가능한 영역에서 검증 불가능한 영역으로의 도약이 필요하다는 점이 가장 큰 난관이다.

자주 묻는 질문

관련 AI 소식