AI 정렬의 한계와 견제·균형 구조: 애틀러스 컴퓨팅 에번 미야조노의 AI 거버넌스 강연

핵심 메시지

• 사람의 가치를 완벽히 반영한 AI를 만들어 주는 '정렬 상자'가 있다 해도, 누가 그 상자에 들어가는지를 정할 방법이 없으면 문제는 그대로 남는다.
• 사실에 대한 진술만으로는 당위에 대한 진술을 이끌어낼 수 없기 때문에, 정렬에는 실험으로 정답을 확인할 수 없는 질문이 섞여 있다.
• 사회는 '가장 도덕적인 사람을 따라 하라'가 아니라 최소한의 규칙을 정해 두는 방식으로 굴러가며, AI에도 같은 접근이 필요하다는 것이 발표의 핵심이다.
• 발표자는 프런티어 연구소들이 대표를 보내 모델 사양의 공통분모에 합의하는 비영리 단체를 구체적인 대안 하나로 제시했다.
• 지능이 싸질수록 합의는 비싸지므로, 합의를 빠르게 만들어 내는 작업 자체가 앞으로 중요한 과제가 된다.

쉽게 이해하기

비영리 단체 애틀러스 컴퓨팅을 이끄는 에번 미야조노는 'Intelligence at the Frontier 2026' 무대에서 하나의 사고실험으로 발표를 시작했다. 사람이 걸어 들어가 잠시 시간을 보내면, 그 사람이 원하는 모든 것과 모든 가치·선호가 그대로 반영된 AI를 얻어 나오는 '정렬 상자'를 상상해 보라는 것이다. 그는 여기에 80시간이 걸리고 토큰 비용으로 3천만 달러가 든다는 제약을 붙여도 터무니없는 가정은 아니라고 봤다. 기술적 정렬을 연구하는 대부분의 사람들이 '이것만 풀리면 끝'이라고 여기는 바로 그 문제다.

그런데 상자가 완성된 다음이 오히려 불투명하다고 그는 지적한다. 누가 그 상자를 쓸 자격을 갖는지, 그리고 그 자격을 누가 정하는지가 남기 때문이다. 한 사람만 들어가면 결과가 나쁠 것이 분명하고, 여러 사람이 들어가면 두 사람의 가치가 충돌할 때 무엇을 따를지 정하는 구조가 필요해진다. 지금까지 들어 본 최선의 답은 모든 사람을 상자에 넣고 그렇게 만들어진 AI들끼리 숙의하게 하는 것이지만, 그것 역시 좋은 성질을 갖고 있지 않다는 것이 그의 평가다.

이런 질문이 어려운 이유로 그는 '사실'과 '당위' 사이의 간극, 이른바 흄의 단두대를 든다. 세상이 어떠하다는 진술만으로는 세상이 어때야 한다는 진술을 논리적으로 도출할 수 없다는 것이다. 그는 이를 북극 지도에 나침반 장미를 그려 넣는 일에 비유했는데, 대부분의 장소에서 유용한 도구지만 북쪽이 지도 전체에서 같은 방향이 아닌 곳에서는 아예 성립하지 않는 질문이 된다. 같은 맥락에서 그는 지금의 자신이 두 시간 뒤·5년 뒤·10년 뒤의 자신과 다른 사람인데 대체 누구에게 맞출 것이냐고 되묻는다.

정렬은 불가능할 수도, 충분하지 않을 수도 있다는 것이 그의 진단이다. 맥락을 충분히 설계하면 지능이 원래 하지 않으려던 행동을 '옳은 일'로 판단하게 만들 수 있어 적대적 강건성도 흔들리고, 그렇다고 거짓말은 어떤 경우에도 잘못이라는 식의 엄격한 의무론을 심는 것은 도끼 살인자에게도 피해자의 위치를 사실대로 말해야 한다는 결론으로 이어진다. 가치를 굳게 지키는 정렬은 값이 어긋났을 때 통제할 수 없다는 위험을, 설득으로 가치를 바꿀 수 있는 교정가능성은 통제권을 쥔 쪽이 무엇이든 시킬 수 있다는 권력 집중 위험을 각각 안는다. 그래서 그는 소수가 스스로 권력을 넓게 나눈 드문 사례인 미국 건국을 참고하며, 각 부처에 서로의 침범을 막을 수단과 동기를 주자는 연방주의자 논고 51번의 구절을 인용한다.

구체적인 예로 그는 프런티어 연구소들이 대표를 보내 모델 사양 또는 AI 헌법의 일부에 합의하고 모든 연구소가 이를 채택하는 501(c)(6) 형태의 단체를 제안했다. AI 싱글턴을 금지하고 다극 체제를 지향한다는 조항이나 일종의 권리장전을 넣을 수 있고, 모델이 공개되면 사양이 곧 밖으로 새어 나오기 때문에 지켜졌는지 검증할 수 있다는 장점도 있다. 그는 무엇이 망가졌는지, 누가 고칠 재정적 유인을 갖는지, 채택해야 할 이해관계자가 그만큼 신경을 쓰는지를 차례로 따져 해법을 고른다면서, 정작 15분이면 문제를 풀 수 있는 소수의 사람들은 바빠서 이런 자리에 오지 않는다고 덧붙였다. 질의응답에서는 사회기술적 문제를 기술만으로도 사회적 방법만으로도 풀 수 없으므로, 기술적 해법을 최대한 빨리 밀되 사회 쪽 인터페이스에 맞추는 것이 가장 빠른 길이라고 답했다.

주요 인사이트

• '정렬을 풀면 끝'이라는 통념은 기술 문제와 분배·권한 문제를 뒤섞은 결과다. 완벽한 정렬 기술을 가정해도 접근권과 가치 충돌 조정이라는 질문은 그대로 남는다.
• 정렬과 교정가능성은 함께 가질 수 없는 성질에 가깝다. 하나를 강화하면 통제 불능 위험이, 다른 하나를 강화하면 권력 집중 위험이 커지므로 어느 한쪽만 밀어붙이는 논의는 위험을 옮길 뿐이다.
• 모델 사양처럼 '탈옥으로 결국 드러나는' 규범은 검증 가능성이라는 드문 장점을 갖는다. 지킬 수 없는 약속보다 확인할 수 있는 약속을 설계 지점으로 삼자는 제안으로 읽힌다.
• AI 정책 논쟁이 '국방부냐 기업 CEO냐'로 좁혀지는 상황 자체가 문제라는 지적은, 선택지를 늘리는 일이 곧 거버넌스 설계라는 점을 보여 준다.
• 모델을 더 싸게 돌릴수록 사람들 사이의 합의는 상대적으로 더 비싸진다. 합의 비용을 줄이는 작업이 AI 시대의 병목이 될 수 있다는 관점이다.

자주 묻는 질문

관련 AI 소식