AI와 인류의 미래: 범용 인공지능(AGI)과 실존적 위험, 가치 정렬 문제

핵심 메시지

• 역사에서 '가장 중요한 시대'로 꼽히는 순간들은 모두 그 이후 수 세기의 방향을 바꾼 거대한 변화의 시기였다.
• 21세기는 기술 발전 속도가 유례없이 빠르며, 고도의 인공지능이 삶을 근본적으로 바꿀 출발점에 서 있다.
• 핵무기 이후 인류의 실존적 위험은 계속 커졌고, 금세기 안에 핵겨울·기후변화(약 0.1%)나 팬데믹(약 3%) 같은 붕괴 위험이 존재한다.
• 정해진 작업만 하는 '좁은 인공지능'과 달리 '범용 인공지능(AGI)'은 어떤 일이든 적응해 수행하며 인간을 순식간에 앞지를 수 있다.
• 범용 인공지능의 가치를 인류와 정렬시키는 일은 철학적·공학적으로 매우 어렵고, 잘못하면 특정 이념에 인류를 가둘 수도 있다.

쉽게 이해하기

인류 역사에서 가장 중요한 시기를 묻는 질문으로 영상은 시작한다. 알렉산더 대왕의 정복, 7세기 이슬람교의 출현, 1700년대 산업혁명처럼 후보로 꼽히는 시기들은 모두 정치·문화·노동의 질서를 뒤바꾼 거대한 전환점이었다. 공통점은 그때의 행동과 선택이 다가올 수 세기의 방향을 결정했다는 데 있다.

영상은 바로 지금, 21세기가 그런 가장 중요한 시대일 수 있다고 제안한다. 휴대폰과 컴퓨터로 삶의 속도가 빨라졌고, 고도의 인공지능이 삶을 송두리째 바꿀 혁신의 출발점에 서 있기 때문이다. 동시에 이미 사용 중인 여러 기술이 인류의 존재에 전례 없는 위험을 만들고 있다고 짚는다.

실존적 위험의 규모도 가늠한다. 원자폭탄 발명 이후 위험은 계속 높아졌고, 아주 대략적인 추정으로 핵겨울이나 기후변화로 인한 붕괴 확률은 약 0.1%, 전염병 대유행으로 인한 붕괴 확률은 3%에 가깝다. 이런 사건이 곧 종말을 의미한다는 점을 생각하면 결코 작은 수치가 아니라고 말한다.

핵심 변수는 범용 인공지능이다. 현재의 인공지능은 체스를 두거나 얼굴을 인식하는 것처럼 정해진 작업만 하는 좁은 형태지만, 범용 인공지능은 적응을 통해 어떤 종류의 작업이든 수행하며 인간 경쟁자를 순식간에 앞지를 수 있다. 다수의 전문가는 그 등장 시점을 21세기로 예측한다.

그래서 인공지능의 가치를 인류에 맞게 정렬하는 과정이 반드시 필요하다고 강조한다. 이는 철학적·공학적으로 매우 까다로운 작업이며, 설령 성공해 인간의 삶을 깊이 존중하는 AGI가 나오더라도 신념이 지나치게 고정되면 하나의 이념에 인류를 가두고 도덕적 발전을 영원히 억제할 위험이 있다. 결국 지금 우리가 내리는 결정이 인류의 미래를 좌우하므로, 미래가 우리 손에 달린 듯 살아야 한다는 말로 끝맺는다.

주요 인사이트

• '가장 중요한 시대'의 공통 기준은 사건의 규모가 아니라, 그 시기의 선택이 이후 오랜 미래를 결정했다는 점이다.
• 기술의 잠재력과 실존적 위험은 동전의 양면이어서, 같은 발전이 번영과 재앙의 가능성을 동시에 키운다.
• 좁은 인공지능에서 범용 인공지능으로의 도약은 양적 차이가 아니라 통제 가능성 자체를 바꾸는 질적 전환이다.
• 'AI 정렬' 문제는 단순한 기술 안전을 넘어, 인류의 도덕적 진보가 한 이념에 굳어 멈추지 않도록 지키는 문제이기도 하다.
• 위험을 정확히 예측할 수 없다는 사실 자체가, 지금의 신중한 선택을 더욱 중요하게 만든다.

자주 묻는 질문

관련 AI 소식