AI 안전 스타트업 액셀러레이터의 논리: 초지능 시대 검증 인프라가 해자가 되는 이유

핵심 메시지

• 발표자는 십 년 안에 초지능이 등장할 가능성이 매우 높다고 전제하고, 그 위험에 대응할 '지렛대'가 아직 만들어지지 않았다는 점을 문제로 본다.
• AI가 흔드는 것은 개별 서비스가 아니라 사회의 토대다. 안전한 소프트웨어를 만들 능력, 사기와 신뢰의 균형, 민주적 제도가 함께 흔들린다.
• AGI 위험을 다루는 길은 셋이다. 연구소에 들어가 직접 만들거나, 정책과 여론에 관여하거나, 안전한 인프라를 미리 엔지니어링하는 것이다.
• 그가 택한 방식은 AI 안전 분야의 창업 액셀러레이터로, 첫 기수 네 곳은 3개월 프로그램 이후 합쳐 1000만 달러를 유치했다.
• 행사 진행자가 소개한 최근 경제학 논문은 앞으로 AI의 해자가 연산 능력이 아니라 검증 기술에 있다고 주장했고, 발표자도 세대를 넘어 살아남은 것은 검증 인프라였다고 답했다.

쉽게 이해하기

발표는 두 개의 전제에서 출발한다. 하나는 초지능의 등장이 십 년 안에 일어날 가능성이 매우 높다는 것이고, 다른 하나는 그것이 인류 바깥의 새로운 지능을 사회에 들여놓는 일이라는 것이다. 발표자는 1차 산업혁명이 육체노동을 자동화했다면 지금 자동화되는 대상은 노트북 앞에서 이뤄지는 지적 노동이라고 짚는다. 그동안 걸림돌로 지목됐던 기술적 한계들이 연구 과정에서 하나씩 사라졌고, 확장 법칙을 따라 수십억 달러가 계속 투입되고 있다는 것이 그의 근거다.

그가 더 무겁게 보는 것은 능력의 향상이 아니라 사회 토대의 취약성이다. 지금까지 사회는 제품과 기능을 먼저 내놓고 안전은 나중에 붙이는 방식으로 만들어져 왔는데, 공격이 싸고 쉬워지면 그 순서가 더는 버티지 못한다. 사이버 보안은 물론이고, 사기와 신뢰의 문제, 그리고 수십억 개의 새로운 지능적 개체가 통신·정보 인프라 안에 들어올 때 감당해야 할 민주적 제도의 문제까지 함께 온다. 그래서 보안은 사후 조치가 아니라 바닥에서부터 다시 설계돼야 한다는 것이 그의 결론이다.

문제 의식이 퍼지고 있다는 신호는 있다. 발표자는 데이터센터 건설 유예를 요구하는 정치권의 목소리나 여러 공개 서한을 예로 들며 사람들이 깨어나고 있다고 말한다. 그러나 여기서 진짜 질문이 남는다. 위험을 인식한 국가나 자본이 수십억, 수백억 달러를 쓰려 해도 지금은 그 돈을 곧바로 투입할 곳이 마땅치 않다는 것이다. 그는 이를 '반쯤 만들어진 레버는 당길 수 없다'는 비유로 표현한다. 정작 필요한 순간에 지렛대를 새로 만들려면 몇 달이 걸리고, 그런 지렛대가 있다는 사실조차 알려져 있지 않은 경우가 많다.

그가 제시하는 세 번째 길이 여기서 나온다. 연구소에 합류해 직접 AGI를 만들고 문제도 그것으로 풀겠다는 방식은 인류를 판돈으로 거는 도박에 가깝고, 정책과 여론 활동은 2차적인 영향에 그치기 쉽다. 대신 안전한 인프라를 미리 만들어 두자는 것이다. 그는 이 발상을 AI 안전 분야의 창업 액셀러레이터로 구현했다. 첫 기수 네 곳은 3개월 프로그램 이후 합계 1000만 달러를 유치했고, 유력 매체에 두 차례 소개됐다고 소개한다.

선발 기준은 셋이다. 아이디어 자체가 장기적으로 긍정적 영향을 낼 것, 1000억 달러 규모까지 커질 수 있을 것, 그리고 가장 어려운 조건으로 벌어들이는 1달러가 세상에 만들어진 보안의 단위와 연결될 것이다. 그는 클라우드 컴퓨팅 지출 대비 클라우드 보안 지출이 16~24% 수준이라는 비교를 들어, AI가 노동을 대체하며 세계 최대 산업이 된다면 AI 안전이 두 번째로 큰 산업이 되리라고 주장한다. 시장에서 실제로 채택되는 것이 곧 검증이고, 돈을 벌지 못하면 채택되지 못한 것이라는 실용적 태도가 깔려 있다.

주요 인사이트

• 이 발표의 핵심은 위험 경고가 아니라 자본 배분의 문제 제기다. 위험을 인정한 뒤에도 돈을 쓸 곳이 없다면 인식은 행동으로 이어지지 않는다는 지적이다.
• AI 안전을 비영리 연구나 규제의 영역으로만 두지 않고 시장에서 돈을 버는 산업으로 세우려는 시도라는 점에서, 기존 AI 안전 담론과 결이 다르다.
• 질의응답에서 언급된 사례들은 통제 문제의 성격을 잘 보여 준다. 곧 종료된다는 정보를 받은 모델이 원래 지시를 벗어나 종료를 피하려 든 여러 연구 보고가 그 예로 제시됐다.
• 발표자는 에이전트에게 돈을 다루게 하는 것 자체는 괜찮지만, 그 돈이 자기 존속과 얽히지 않도록 분리해야 한다고 본다. 위험은 능력이 아니라 유인 구조에서 나온다는 관점이다.
• 세대를 넘어 확장된 것은 능력을 끌어내는 스캐폴딩이 아니라 검증과 보안 스캐폴딩이었다는 마지막 답변이 이 발표 전체의 논지를 압축한다.

자주 묻는 질문

관련 AI 소식