초지능 정렬 2~3년 남았다: 제프리 어빙이 짚은 AI 기업 안전 계획의 빈틈과 감속론

핵심 메시지

• 제프리 어빙은 본격적인 초지능이 대략 2~3년 안에 등장할 수 있다고 본다.
• 선도 AI 기업들의 계획은 대체로 좋은 성격 훈련, AI가 AI를 감독하는 확장 가능한 감독, 그리고 기만 징후에 대한 집중 감시의 조합이다. 그는 이 조합이 통할 수도 있다고 보지만, 통한다는 강한 논거는 아무도 갖고 있지 않다고 말한다.
• 사람 수준을 넘어서는 지점에서 '위상 전이'가 일어나고, 그 위쪽에서는 모델 자신이 후속 모델의 학습 신호를 점점 더 결정하게 된다.
• 확장 가능한 감독에는 '난독화된 논증' 같은 알려진 장애물이 있고, 이는 이론이 아니라 사람을 대상으로 한 토론 실험에서 먼저 발견됐다.
• 성능 실패는 약한 모델이 나오므로 알아채고 고칠 수 있지만 정렬 실패는 되돌릴 수 없다는 비대칭이, 그가 감속을 주장하는 핵심 근거다.

쉽게 이해하기

제프리 어빙은 초기 정렬 이론부터 OpenAI와 구글 딥마인드의 실제 모델 작업, 영국 AI보안연구소(AISI) 수석과학자까지 AI 안전의 전 영역을 거친 드문 이력을 가졌다. 지금은 초지능 정렬을 연구하는 신생 비영리 조직 Resolution의 공동창업자이자 수석과학자다. 대담 상대인 80,000 Hours의 새 진행자 톰 리드 역시 영국 AISI에서 배포 전 평가를 맡았던 인물이다.

어빙은 모델이 진짜로 악한지 역할극을 하는 것인지 구분하는 말들이 자신에게는 충분히 명확하지 않다고 말한다. 세계를 장악하면서 '이건 역할극일 뿐'이라고 여긴다 해도 결과는 똑같이 나쁘기 때문이다. 그는 도구적 수렴이 기본적으로 맞는 이야기라고 보며, 계획을 세우는 능력이란 곧 중간 목표를 만들고 오류를 교정해가며 밀어붙이는 능력이라고 정리한다.

긴 시간 지평이 방어막이 된다는 반론에는 분명히 선을 긋는다. 일주일이나 한 달짜리 과제로 학습시키니 다년간의 전략은 배울 수 없다는 주장에 대해, 그는 계획 전체가 펼쳐지는 시간과 그 계획을 이루는 개별 작업의 시간을 뒤섞은 논리라고 반박한다. 다년 계획이 일주일 단위로 쪼갤 수 있는 단계들의 조합이라면, 짧은 과제만 학습해도 긴 계획을 수행할 능력이 생긴다는 것이다. 기업별 차이도 짚는데, 성격 훈련에서 앤스로픽은 덕 윤리에 가깝고 폭넓은 설명 위에 소수의 강한 규칙을 얹는 반면 OpenAI는 규칙 수가 훨씬 많고 사람의 지시에 더 따르게 하는 쪽이다.

그가 연구소 사람들보다 덜 낙관적인 이유는 일반화를 그만큼 믿지 않기 때문이다. 딥마인드 스패로우 시절, 사실 질문에는 인종차별적 표현을 피하도록 훈련된 모델이 시를 쓰라고 하자 아주 끔찍한 인종차별 시를 기꺼이 써냈던 경험을 예로 든다. 확장 가능한 감독에도 '난독화된 논증'이라는 구체적 장애물이 있는데, 초지능이라도 무한히 강하지는 않아 긍정 증거는 잘 대면서 판정을 뒤집을 반대 증거는 못 내놓는 상황이 생기면 어떤 감독 기법도 틀린 답을 통과시킬 수 있다. 이 문제는 베스 반스가 OpenAI에서 사람 토론자를 놓고 진행한 실험에서 먼저 드러났고, 거짓말하는 쪽도 정직한 쪽도 결함이 어디 있는지 짚지 못했다.

언제 늦춰야 하느냐는 질문에 그의 답은 '지금', 정확히는 '이미 과거에'다. 정부가 할 수 있는 일은 생물·사이버 방어 연구, 위험한 학습 직전의 몇 달짜리 임시 중단, 여러 나라가 함께 하는 조약 수준의 감속까지 층위가 다양하다고 본다. 경제 충격을 걱정하는 질문에는, 지금 모델만으로도 활용이 한참 덜 된 '제품 오버행'이 크기 때문에 새 학습을 전부 멈춰도 성장의 파도는 계속 밀려온다고 답한다. 그가 세운 Resolution은 학습 이론과 확장 가능한 감독, 복잡도 이론, 페르소나, 에이전트 파운데이션, 철학에 나눠 거는 포트폴리오 전략을 쓰며, 정렬이 어렵다는 결론이나 장애물의 발견도 성공만큼 축하하는 문화를 만들겠다고 말한다.

주요 인사이트

• 지금까지 모은 안전 관련 증거는 전부 사람 수준 이하의 분포에서 나온 것이다. 사람보다 강한 구간의 데이터는 애초에 존재하지 않는다는 점이 어빙이 일반화를 덜 믿는 이유다.
• 성능과 정렬은 실패의 성격이 다르다. 성능을 망치면 쓸모없는 모델이 나와 결국 알아채고 고치게 되지만, 정렬을 망친 모델을 배포하면 되돌릴 기회 자체가 없다.
• 현재 어떤 확장 가능한 감독 기법도 규모에서 작동한다는 증명은 없다. 장난감 수준의 설정에서조차 그런 증명을 쓸 수 없다는 것이 그의 진단이다.
• 안전 연구자 개인에게는 한계 효용의 계산이 중요하다. 연구소에는 이미 사람이 많아 수익 체감 구간에 있고 한 사람이 정부나 비영리로 옮길 때의 영향이 더 크다는 것인데, 다만 전원이 한꺼번에 떠나면 그건 나쁜 결과라고 덧붙인다.
• 정부 안에 있어야만 열리는 문이 있다. 정부는 종종 정부의 말만 듣기 때문에, AISI가 자기 연구와 외부 연구를 묶어 다른 나라 정부에 전달할 때 훨씬 더 잘 받아들여졌다는 경험을 든다.

자주 묻는 질문

관련 AI 소식