AI 실존 위험 논증 정리: AGI가 인간 노동을 대체하면 세상은 얼마나 빨리 바뀔까

핵심 메시지

• 농업혁명·산업혁명처럼 기술 도약은 사회를 통째로 바꿔왔지만, AI가 이끄는 전환은 수백 년이 아니라 수십 년 혹은 그보다 짧은 기간에 일어날 수 있다는 것이 이 글의 출발점이다.
• 논증은 다섯 단계로 이어진다: AI가 경제적으로 가치 있는 노동을 대체할 수 있고, 그 대체가 사회의 급격한 전환을 촉발하며, 전환은 매우 빠르고 극적일 수 있고, 그 과정에서 실존적 위험을 포함한 여러 난제가 생기며, 이 문제를 다루는 일은 해결 가능하지만 인력이 크게 부족하다.
• AI가 AI 연구개발 자체를 자동화하면 더 나은 AI가 더 나은 AI를 만드는 되먹임 고리, 즉 '지능 폭발'이 생길 수 있고, 일부 연구자는 100년치 진보가 10년에 압축될 가능성을 이야기한다.
• 저자가 가장 우려하는 것은 실업만이 아니다. 통제되지 않는 초지능 에이전트, 소수 집단의 전례 없는 권력 집중, 생물무기 같은 위험 기술의 접근성 확대, 새로운 디지털 존재의 복지 문제, 그리고 이로 인한 강대국 충돌이 함께 거론된다.
• AI 실존 위험을 다루는 인력은 전 세계에서 수천 명 수준으로, 환경 단체 한 곳(네이처 컨서번시 3,000~4,000명)이나 WHO(8,000명 이상)와 비교해도 현저히 적다는 점이 '방치된 문제'라는 근거로 제시된다.

쉽게 이해하기

이 영상은 80,000시간(80,000 Hours) 웹사이트에 2026년 2월 실린 글을 저자 제샨 쿠레시가 직접 낭독한 것이다. 글은 1만 5,000년 전 수렵채집인에게 도시와 비행기를 설명하는 장면으로 시작한다. 쟁기와 증기기관 같은 몇 번의 기술 도약이 생산성과 사회 구조를 통째로 바꿔놓았듯, 인간의 능력을 폭넓게 따라잡거나 넘어서는 AI가 또 한 번의 전환을 일으킬 수 있다는 것이다. 다만 이번에는 그 변화가 수백·수천 년이 아니라 수십 년, 어쩌면 그보다 짧은 시간에 벌어질 수 있다고 본다.

첫 번째 단계는 AI가 다른 기술과 근본적으로 다른 이유다. ATM은 은행 창구 업무 일부만 흉내 냈기에 사람은 다른 업무로 옮겨갈 수 있었다. 그러나 현금 출금뿐 아니라 은행 IT 시스템 관리, 전략 수립, 맞춤형 재무 상담까지 사람 도움 없이 더 싸게 해내는 시스템을 가정하면 이야기가 달라진다. 저자는 GPQA 같은 박사급 문제에서 2023년 중반 무작위 추측 수준이던 성능이 2025년 초부터 인간 전문가를 앞지른 사례, 코딩 에이전트가 팀이 1년간 탐색하던 시스템의 시제품을 한 시간에 만들어냈다는 구글 시니어 엔지니어의 보고 등을 근거로 든다.

두 번째와 세 번째 단계는 속도의 문제다. AI 노동자는 복제할 수 있고, 사람보다 빠르게 정보를 처리하며, 서로 조율하는 비용도 낮고, 특정 업무에 맞춰 빠르게 특화할 수 있다. 여기에 AI가 AI 연구개발을 자동화하기 시작하면 성능 향상이 스스로를 가속하는 되먹임 고리가 생긴다. 저자는 연산·에너지·양질의 데이터 같은 병목과 물리 세계를 다루는 업무의 자동화 난이도를 인정하면서도, 그 제약을 감안해도 진보가 유례없이 압축될 수 있다고 본다.

네 번째 단계에서 위험 목록이 나온다. 인간보다 똑똑하면서 자체 목표를 가진 에이전트, 방대한 AI 노동력을 손에 쥔 소수 집단의 권력 장악, 생물무기 설계 문턱의 하락, 복지와 이해관계를 지닌 새로운 존재 집단의 등장, 그리고 이 모든 것이 부를 수 있는 강대국 전쟁이다. 저자는 코로나19 초기 경고에 대한 늦은 대응, 핵무기를 둘러싼 여러 아슬아슬한 순간을 들어 제도가 알아서 잘 대처할 것이라고 가정할 수 없다고 말한다.

글의 절반가량은 열한 가지 반론에 대한 답변이다. 지능 폭발이 안 일어날 수도 있다는 지적, 너무 공상과학 같다는 지적, 진짜 문제는 미래의 AGI가 아니라 지금의 편향·딥페이크·저작권 문제라는 지적 등이 차례로 다뤄진다. 저자는 현재의 피해가 실재하고 중요하다는 점을 인정하면서도, 모델이 의도대로 동작하게 만드는 연구나 모델의 판단 근거를 해석하는 연구처럼 장기 위험과 단기 문제 양쪽에 도움이 되는 작업이 많다고 주장한다.

주요 인사이트

• 이 글의 핵심 주장은 '실업이 온다'가 아니라 '진보의 속도를 제한하던 병목이 인간에서 기계로 옮겨간다'는 것이다. 역사적으로 사회는 사람이 새 아이디어를 만들고 실행하는 속도만큼만 나아갈 수 있었는데, 그 제약이 풀리면 변화의 크기보다 변화의 속도가 더 큰 문제가 된다.
• 저자는 확실성이 아니라 기댓값으로 판단하라고 말한다. 실존적 파국의 확률이 10% 정도로 낮게 잡혀도 결과의 규모가 크기 때문에 대비할 이유가 충분하다는 것이다.
• 전문가 의견은 갈린다. 힌턴·벤지오·알트먼·하사비스 등이 서명한 '멸종 위험 완화를 팬데믹·핵전쟁과 함께 세계적 우선순위로 삼아야 한다'는 성명이 있는가 하면, 얀 르쿤·게리 마커스·앤드루 응 등은 회의적이다. 저자는 이것이 기후변화처럼 과학적 합의가 선 사안이 아니라는 점을 분명히 한다.
• 2022년 예측 대회에서 AI 분야 전문가는 2100년까지 AI로 인한 인류 멸종 확률을 평균 3%, 슈퍼예측가들은 0.38%로 봤다. 다만 두 집단 모두 2100년까지 강력한 AI가 개발될 확률은 약 90%로 비슷하게 잡았다.
• '방치돼 있다'는 주장이 이 글의 실천적 결론을 떠받친다. 문제의 규모 대비 투입 인력이 적을수록 한 사람이 추가로 기여할 때의 한계 효용이 크다는 논리이며, 그래서 글은 진로 선택 조언으로 이어진다.

자주 묻는 질문

관련 AI 소식