AI 지식노동 전환은 왜 느린가 — 아르빈드 나라야난 스탠퍼드 강연 정리, 벤치마크 대신 신뢰성과 확산 병목을 보라

핵심 메시지

• AI가 사람이 하는 일을 학습하지 못할 이유는 없지만, 능력이 곧바로 경제·노동 시장 변화로 이어지지는 않는다는 것이 강연의 핵심 전제다.
• 챗GPT 공개 이후 3년 반이 지났어도 각 산업에서 실제 활용은 잠재 활용 범위에 크게 못 미치며, 이 격차는 능력이 아니라 확산 단계의 문제다.
• 벤치마크 정확도는 18개월 사이 25%에서 70~75%로 뛰었지만, 일관성·견고성·자기평가·치명적 오류 회피 같은 신뢰성 지표는 몇 퍼센트포인트밖에 개선되지 않았다.
• 범용성·고위험 업무·완전 자동화 세 가지를 동시에 만족하는 에이전트는 아직 실전에 없다는 '에이전트 트릴레마'가 제시됐다.
• 생산성 향상이 곧 서비스 확대가 아닐 수 있다는 점을 법률 분야 사례로 설명하며, 제도 자체를 미리 손봐야 한다는 제안이 이어졌다.

쉽게 이해하기

스탠퍼드 디지털경제연구소 세미나에 프린스턴대 컴퓨터과학과 아르빈드 나라야난 교수가 연사로 나섰다. 그는 책 『AI 스네이크 오일』과 에세이 「일반적인 기술로서의 AI」의 공동 저자로, 이날 강연에서 AI가 지식노동을 바꾸긴 하겠지만 그 시간표는 수십 년 단위라는 관점을 폈다. 그가 거부하는 것은 AI의 능력이 아니라, 능력이 임계점을 넘으면 곧바로 인간 노동을 대체한다는 인과 구조다.

그는 초지능 시나리오를 받아들이지 않는 이유로 인간 지능의 한계가 생물학이 아니라 환경에서 정보를 얻는 방식에 있다는 점을 들었다. 예컨대 암 정복의 진짜 병목은 계산이 아니라 임상시험이고, 경제 정책을 잘 짜는 법은 현실에서 정책을 집행해봐야 알 수 있다. 실험실 안의 계산만으로는 넘어설 수 없는 병목이 사람과 AI 모두에게 똑같이 걸려 있다는 것이다.

확산 이론을 AI에 적용한 4단계 틀도 소개됐다. 모델 능력 향상은 첫 단계일 뿐이고, 그 위에 제품화, 초기 도입, 그리고 가장 느린 '적응' 단계가 쌓인다. 코딩을 예로 들면 사람들은 챗봇에 직접 붙는 대신 코드 편집기에 통합된 형태를 쓰고, 바이브 코딩으로 초기 도입까지는 왔지만 대규모 서비스를 안정적으로 내보내는 단계로는 아직 넘어가지 못했다.

측정 방식에 대한 비판이 강연의 중심축이었다. 그는 현재의 벤치마크가 실제 업무 수행력에 대해 알려주는 정보가 매우 적다고 주장했다. 객관식 시험 점수로 직무 적합성을 판정하는 것과 비슷하며, 자동 채점이 가능해야 한다는 제약 때문에 지저분하고 복잡한 실제 과제는 아예 시험대에 오르지 못한다는 지적이다.

대안으로 제시된 것이 실제 세계에서 에이전트를 돌려보는 '개방형 평가'다. 연구팀은 에이전트에게 앱을 만들어 앱스토어에 올리게 하는 실험을 진행했다. 흥미로운 부분은 코딩이 아니라 개인정보 처리방침 작성, 인증서, 스크린샷과 메타데이터 준비, 심사 질의 응답 같은 절차였고, 에이전트는 몇 차례 사람의 개입을 받으며 결국 등록에 성공했다.

주요 인사이트

• 정확도와 신뢰성은 다른 축이다. 벤치마크 점수가 급등하는 동안에도 현장 배포 경험이 나아지지 않는 이유를 이 격차가 설명한다.
• AI 통계는 이질성을 구분하지 않으면 오히려 해롭다. '의사의 몇 퍼센트가 AI를 쓴다'는 수치가 근무표 소프트웨어인지 음성 기록인지 진단 보조인지 구분하지 않으면 각자 원하는 서사로 소비된다.
• 새로 생기는 일자리는 'AI 통제 업무'일 가능성이 높다. 문제를 정확히 규정하고, 진행을 감시하고, 결과를 검증하고, 책임질 수 있을 만큼 이해하는 작업이 늘어난다.
• 업무를 잘게 쪼개 하나씩 자동화하면 직무 전체가 자동화된다는 과제 모형은 흔들린다. 인간의 몫이 오히려 과제와 과제 사이의 빈틈에 남을 수 있기 때문이다.
• 적대적 구조의 직업에서는 생산성 향상이 비용 절감으로 이어지지 않는다. 문서 전자화 이후 소송 문서량이 폭증했던 전례처럼, 양측이 함께 빨라지면 군비 경쟁만 위로 올라간다.

자주 묻는 질문

관련 AI 소식