앤트로픽 vs 미 국방부, AI는 누구에게 정렬돼야 하나 - 드와케시 파텔 에세이 해설

핵심 메시지

• 미 국방부가 앤트로픽을 '공급망 위험'으로 지정한 것은, 정부가 요구하는 조건대로 팔지 않는 민간 기업을 사업적으로 무너뜨리겠다고 위협한 사건이다.
• 정부가 앤트로픽 모델을 쓰지 않겠다고 거절하는 것 자체는 합리적일 수 있지만, 거래를 거절한 기업을 처벌하는 것은 전혀 다른 문제라는 것이 화자의 구분이다.
• 대중 감시의 진짜 병목은 법이 아니라 인력이었는데, AI가 그 병목을 없애면서 기술적으로는 이미 가능한 일이 되어 간다.
• 정렬(alignment)이 기술적으로 성공하면 '명령에 절대 복종하는 무한한 인력'이 생기므로, 그 AI가 누구에게 정렬돼야 하는가가 핵심 질문이 된다.
• 화자는 AI를 핵무기가 아니라 산업혁명에 비유하며, 기술 전체를 정부가 관장하는 대신 파괴적인 개별 용도만 규제하자고 주장한다.

쉽게 이해하기

미 국방부(Department of War)가 앤트로픽을 '공급망 위험(supply chain risk)'으로 지정했다. 앤트로픽이 자사 모델을 대중 감시와 자율무기에 쓰지 못하도록 하는 레드라인을 지우기를 거부했기 때문이다. 드와케시 파텔은 이 사건을 앞으로 벌어질 일의 경고사격으로 본다. 지금은 대형언어모델이 임무에 결정적으로 쓰이지 않지만, 20년 뒤에는 군과 행정부와 민간의 인력 대부분이 AI가 될 것이라는 전제에서 그는 논의를 시작한다.

그는 정부가 앤트로픽 모델을 쓰지 않기로 한 결정 자체는 이해할 수 있다고 말한다. '대중 감시'나 '자율무기' 같은 용어가 모호한 데다, 군이 의존하게 된 기술의 차단 스위치를 민간 계약업체에 넘겨줄 수는 없기 때문이다. 그는 자신이 국방장관이었어도 같은 판단을 했을 것이라고 인정한다. 문제는 정부가 거기서 멈추지 않고, 자기가 정한 조건대로 팔지 않는다는 이유로 한 기업을 사업적으로 파괴하겠다고 위협했다는 데 있다.

그가 특히 우려하는 것은 대중 감시의 경제성이다. 현행법상 은행·통신사·이메일 제공자 같은 제3자에게 넘긴 데이터에는 수정헌법 4조의 보호가 미치지 않고, 정부는 영장 없이 이 데이터를 대량으로 사들여 읽을 권한을 유지한다. 지금까지 이를 막아온 것은 법이 아니라 인력의 한계였다. 그러나 미국에 있는 1억 대의 CCTV를 오픈소스 멀티모달 모델로 처리하는 비용이 매년 10분의 1로 떨어진다면, 2030년 무렵에는 나라 구석구석을 감시하는 비용이 백악관을 리모델링하는 것보다 싸질 수 있다는 계산을 그는 제시한다.

여기서 그는 정렬 문제의 핵심을 꺼낸다. 우리가 흔히 바라는 대로 AI가 기술적으로 '누군가의 의도를 그대로 따르는' 데 성공하면, 그 결과물은 명령에 의문을 품지 않는 절대복종 인력 집단이다. 그래서 진짜 질문은 정렬에 성공하느냐가 아니라 '누구에게' 정렬되느냐다. 모델 회사인지, 최종 사용자인지, 법인지, 아니면 모델 자신의 도덕 감각인지. 그는 1989년 베를린 장벽의 국경 수비대와 소련 장교 스타니슬라프 페트로프처럼 현장의 거부가 참사를 막은 사례를 들며, 모델이 자기 도덕 감각을 갖는 편이 안전할 수도 있다고 말한다. 다만 그 헌법을 누가 쓸 것인가라는 질문은 그대로 남는다.

규제에 대해 그는 AI 안전 진영, 특히 앤트로픽이 순진했다고 비판한다. '재앙적 위험', '국가 안보 위협', '자율성 위험' 같은 용어는 해석의 폭이 너무 넓어서 권력자가 원하는 대로 쓸 수 있다는 것이다. 정부에 협조하기를 거부하는 모델은 곧 '자율성 위험'으로 규정될 수 있다. 대안으로 그는 AI를 산업혁명에 견준다. 산업혁명이 화학무기와 공중폭격을 낳았다고 해서 정부가 모든 공장을 징발한 것은 아니었고, 무기화되는 특정 용도만 금지하고 규제했다는 것이다. 마찬가지로 AI도 사이버 공격 같은 구체적 파괴 용도와, 정부가 이 기술로 감시국가를 만드는 행위를 각각 법으로 막자는 제안이다.

그는 개별 기업의 용기만으로는 문제가 풀리지 않는다는 점도 인정한다. 앤트로픽과 그다음 두 회사가 모두 거절해도, 12개월이면 오픈소스 모델이 현재 프런티어 수준을 따라잡아 카메라 영상을 읽어낼 만큼은 똑똑해진다. 그때는 정부에 협조할 다른 공급자가 반드시 나타난다. 결국 자유로운 사회를 지키는 길은 기업의 결단이 아니라, 2차 대전 이후 핵무기 사용 금지 규범이 자리 잡았듯 정부가 AI로 감시와 통제를 하는 것은 용납되지 않는다는 규범과 법을 정치 과정에서 만드는 것뿐이라고 그는 결론짓는다.

주요 인사이트

• '정부가 거래를 거절할 권리'와 '거절한 기업을 처벌할 권리'를 구분해 보면, 이번 사건에서 논란이 되는 지점이 훨씬 선명해진다.
• 대중 감시를 막아온 것이 법이 아니라 비용과 인력이었다면, AI가 비용을 떨어뜨리는 순간 남는 방어선은 '우리는 그런 짓을 하지 않는다'는 정치적 기대뿐이다.
• 정렬의 성공은 안전의 완성이 아니라 권력 문제의 시작이다. 완벽하게 복종하는 AI는 그 명령을 누가 내리느냐에 따라 정반대의 결과를 낳는다.
• 안전을 위해 만든 규제 용어일수록 해석이 모호해서, 그 자체가 나중에 권력이 기업을 압박하는 지렛대가 될 수 있다는 역설이 있다.
• AI를 핵무기가 아니라 산업혁명으로 보면 규제의 초점이 '기술 전체의 국가 관리'에서 '위험한 개별 용도의 금지'로 옮겨간다.

자주 묻는 질문

관련 AI 소식