AGI 환상론 — 지속 학습, 시스템2 사고, 거버넌스가 막는 진짜 이유와 2050년 타임라인

핵심 메시지

• GPT 세대가 올라갈수록 성능 향상폭이 줄어드는 수확체감이 뚜렷해, 업계는 확산 모델 같은 새 아키텍처로 눈을 돌리고 있다.
• 현재 모델은 시간·공간 개념과 행동의 결과를 예측하는 '월드 모델'이 없어 드물거나 새로운 상황에 약하다.
• 한 작업을 새로 배우면 이전 지식을 잃는 '지속 학습(연속 학습)' 문제는 아직 해법이 없다.
• AGI에 닿으려면 시스템2 사고, 스스로 목표를 세우는 능력, 거버넌스가 차례로 풀려야 하며, 가장 낙관적으로 잡아도 2050년이라는 전망이다.
• 따라서 향후 25년 안에 AI가 인류를 지배한다는 식의 주장은 대체로 과장이라는 것이 화자의 결론이다.

쉽게 이해하기

영상은 2025년 AI 엔지니어링 지형을 두 갈래로 정리한다. 하나는 기존 거대언어모델(LLM)을 개선하는 흐름이고, 다른 하나는 LLM이 풀 수 없는 문제를 위해 아예 아키텍처를 바꾸려는 흐름이다. GPT는 세대가 올라갈수록 성능 향상폭이 줄어드는 수확체감을 보이고 학습 비용은 커져, 이 한계가 새 아키텍처 탐색의 동기가 된다.

그 대안으로 거대 확산 모델이 거론된다. OpenAI는 이미지·영상 생성에, 제미나이는 코딩에까지 확산 방식을 쓰고 있으며, 확산 모델은 같은 데이터로 더 잘 학습한다는 장점이 있다. 다만 영상은 확산이든 LLM이든 공통의 근본 문제를 풀지는 못한다고 지적한다. 동전을 열 번 던져 모두 앞면이 나온 상황에서 사람은 동전 자체를 의심하지만, 모델은 앞선 토큰만 보고 기대값을 계산할 뿐 시간·공간 개념이나 행동의 결과를 예측하는 능력이 없다는 것이다.

그래서 주목받는 것이 '월드 모델'이다. 세상에 대한 내부 표현이 있으면 토마토를 던지면 으깨진다는 식으로 행동의 결과를 예측할 수 있다. 토요타의 로봇 기반 대형 행동 모델, 얀 르쿤이 제시한 월드 모델 아키텍처가 사례로 언급된다. 그러나 이들도 '지속 학습' 문제는 풀지 못한다. 체스를 학습한 모델에 토마토 분류를 가르치면 이전 지식이 사라지는데, 사람은 잠을 자며 불필요한 정보를 버리고 유용한 것을 남기는 방식으로 이를 피하지만 모델에서 이를 재현하는 법은 아직 모른다.

화자는 AGI까지 남은 관문을 순서대로 짚는다. 첫째는 시스템2 사고(대니얼 카너먼)다. 느리지만 정확한 숙고, 메타 인지, 필요에 따라 작업 기억을 넣고 빼는 능력인데 현재 모델은 이를 못 한다고 본다. 둘째는 스스로 목표를 정하는 능력으로, '이기적 유전자'처럼 인간에게는 내재된 동기가 있지만 모델에는 존재 이유가 없어 코딩으로 심기 어렵다. 셋째는 거버넌스다.

이런 관문을 매우 낙관적으로 잡아도 시스템2 사고는 2035~2040년, 자기 목표 설정은 2040년, 거버넌스는 2045년에야 가능하며, 세상에 적용되는 시점까지 더하면 AGI의 최단 타임라인은 2050년이라는 계산이다. 화자는 자신이 일부러 지나치게 낙관적으로 잡았다고 강조하며, 향후 25년간 AI가 인류를 지배한다는 식의 거대 담론은 대체로 틀렸다고 결론짓는다. 끝부분에서는 일부 인기 팟캐스트의 준비 부족한 질문을 비판하며, AI가 인류의 문제를 대신 풀어줄 것이라는 기대를 일종의 회피 심리로 본다.

주요 인사이트

• 수확체감은 단순한 성능 정체가 아니라 아키텍처 전환의 신호다. LLM 개선의 효율이 떨어질수록 확산 모델 등 새 접근의 매력이 커진다.
• 현재 AI의 약점은 '계산'이 아니라 '세계에 대한 이해'다. 시간·공간·인과를 담은 월드 모델의 부재가 드문 상황에서의 취약함으로 이어진다.
• 지속 학습(연속 학습) 문제는 AGI로 가는 가장 근본적인 장애물 중 하나다. 새 작업을 배우며 기존 지식을 잃지 않는 법을 아직 모른다.
• AGI 타임라인은 기술 하나가 아니라 시스템2 사고·자기 목표·거버넌스가 순차적으로 풀려야 하는 누적 과제이며, 그래서 낙관적 추정조차 2050년에 이른다.

자주 묻는 질문

관련 AI 소식