AGI 타임라인 논쟁과 재귀적 자기개선: 토비 오드가 짚은 AI 위험과 모라토리엄 설계

핵심 메시지

• 오드는 AI가 스스로를 개선해 지능이 폭발할 가능성을 낮게 보지만, 그 가능성이 AI 분야 최대 쟁점 중 하나라는 데는 동의한다.
• AI 연구는 코딩만이 아니라 무엇을 시도할지 정하는 판단을 포함하는데, 지금 시스템이 그 부분을 대신한다는 증거는 아직 약하다.
• 재귀적 자기개선은 속도, 정렬 실패의 대물림, 중간 단계 학습 기회 상실, 승자독식 네 갈래로 각각 다른 위험을 만든다.
• 그는 '일시중지'보다 '모라토리엄'이라는 표현을 선호하며, 모니터할 수 없는 사고사슬 연구 금지를 현실적인 첫 합의 지점으로 꼽는다.
• 타임라인에 대한 가장 정직한 요약은 '모른다'이며, 이는 편한 가정을 골라도 된다는 허가가 아니라 여러 시나리오를 동시에 준비하라는 요구다.

쉽게 이해하기

옥스퍼드 AI 거버넌스 이니셔티브 선임연구원이자 『The Precipice』의 저자인 토비 오드가 80,000 Hours 팟캐스트에 다시 나와 요즘 모두가 이야기하는 재귀적 자기개선(RSI)을 정면으로 다뤘다. 그는 AI가 스스로를 개선해 지능이 폭발하는 시나리오가 일어날 확률은 낮다고 본다. 근거는 단순하다. AI 연구에는 코드를 짜는 일 말고도, 무엇을 바꿔야 오래된 문제가 풀릴지 모르는 상태에서 방향을 정하는 일이 섞여 있는데 지금 시스템이 그 일을 해낸다는 증거가 별로 없다는 것이다. 그는 프로그래밍이 아예 즉시 끝나게 되더라도 그것만으로 시점이 크게 당겨지지는 않을 수 있다고 덧붙였다.

그는 이 아이디어의 역사도 짚었다. 처음 나온 형태는 초지능 기계가 자기보다 나은 기계를 만들고 그것이 또 다음을 만든다는 구상이었고, 2000년 무렵에는 인간 수준 아래에서 출발해 자기 코드를 고치며 올라가는 버전이 등장했다. 지금 연구소들이 말하는 형태는 이 둘과 다르다. 수천 명의 연구자와 아직 인간 수준 언저리에 있는 AI가 함께 일하면서, AI의 기여분이 조금씩 커지는 구조다. 오드는 이 점진적 형태가 오히려 더 안전하다고 본다. 사람이 계속 개입할 여지가 있고, 내부를 들여다보는 해석 가능성 도구를 쓸 수도 있기 때문이다.

그렇다고 안심할 일은 아니다. 그는 재귀적 자기개선이 위험을 키우는 경로를 네 갈래로 나눴다. 첫째는 속도 자체다. 능력을 키우는 작업은 빨라지는데 정렬 연구나 거버넌스는 그만큼 빨라지지 않아, 어떤 능력 수준을 지날 때마다 준비가 덜 된 상태로 지나게 된다. 둘째는 대물림이다. 중간 어느 모델이 어긋나 있고 계획을 세울 수 있다면, 자기가 만드는 다음 모델에도 그 목표를 남겨둘 유인이 생긴다. 셋째는 학습 기회의 상실이다. 우리는 총이든 자동차든 약한 형태를 먼저 겪으며 배웠는데, 진행이 다섯 배 빨라지면 그 중간 단계를 건너뛰게 된다. 넷째는 권력 집중이다. 먼저 도달한 쪽이 압도적으로 앞서면 경쟁은 승자독식으로 기운다.

대응 방안으로는 모라토리엄을 이야기했다. 그는 2023년의 6개월 중단 요구가 당시로선 별 효과가 없었을 것이라고 보면서도, 인류의 일반적 능력을 넘어서는 AI를 만드는 일은 그 무게에 걸맞은 준비를 갖춰야 한다는 원칙이 지금도 지켜지지 않는다고 지적했다. 멸종 위험을 1%로만 잡아도 기댓값으로는 8천만 명의 생명이 걸린 문제인데, 위험을 만드는 쪽의 투자와 줄이는 쪽의 노력은 전혀 대등하지 않다는 것이다. 그가 '일시중지' 대신 '모라토리엄'을 쓰자고 하는 이유도 여기 있는데, 일시중지는 결국 그 목적지로 간다는 전제를 깔지만 모라토리엄은 가지 않기로 결정하되 나중에 근거가 생기면 다시 논의하겠다는 뜻이기 때문이다.

미중 합의와 검증에 대해서도 그는 통념보다 낙관적이었다. 먼저 확보해 상대를 무장해제시키겠다는 전략은 레이건의 미사일 방어 구상이 오히려 소련에 선제공격 유인을 만들었듯 상대의 최선의 대응을 계산하지 않은 것이라고 봤고, 검증 역시 냉전기에 폭격기를 활주로에서 톱으로 잘라 정찰기가 확인하게 했던 방식이나 양국이 각각 100만 장 규모의 GPU를 제네바로 가져와 상호 확인 뒤 폐기하거나 공동 관리로 넘기는 방식처럼 길이 있다고 말했다. 타임라인 자체에 대해서는 확신을 걷어내야 한다고 했는데, 벤치마크가 목적지까지 몇 개나 더 남았는지 알 수 없고 과제 시간지평 그래프도 어느 높이가 AGI인지 알려주지 않는 데다 연산 확장 속도와 학습 데이터마저 한계에 부딪히고 있기 때문이다. 그래서 그가 권하는 태도는 '넓은 타임라인'으로, 화산 폭발 시점을 두고 전문가들이 1년과 10년으로 갈릴 때 편한 쪽만 골라선 안 되듯 모른다는 사실은 아무 가정이나 택해도 된다는 허가가 아니라 여러 시나리오를 동시에 준비하라는 요구라는 것이다.

주요 인사이트

• 검증이 불가능하다는 단정은 대개 충분히 고민한 결과가 아니다. 냉전에서 나온 해법들은 오랫동안 생각한 끝에야 나왔고, 논의할 수 있는 범위가 넓어진 뒤에야 가능해졌다.
• 지금 모델들이 영어로 생각하고 그 과정을 읽을 수 있다는 건 의도한 안전장치가 아니라 우연히 얻은 선물에 가깝다. 연산 두 배 절약 같은 대가로 이걸 내주는 선택은 남는 장사가 아니다.
• 규범과 도덕의 변화는 인센티브 규제보다 강할 수 있다. 인간 복제나 우생학이 멈춘 것은 감시 체계 때문이 아니라 사람들이 그걸 하고 싶어 하지 않게 됐기 때문이다.
• '모른다'는 답은 원하는 가정을 골라도 된다는 허가가 아니다. 전문가들이 화산 분화 시점을 1년과 10년으로 갈라 예측한다면 편한 쪽만 택할 게 아니라 대피 계획과 용암 유로 변경을 함께 준비해야 한다.
• 데이터센터에서 아주 똑똑한 시스템이 나와도 곧바로 유능한 것은 아니다. 오드의 비유대로라면 어느 분야든 최고의 신입 지원자이지만, 30년 경력자가 쌓은 맥락과 신뢰를 대체하지는 못하는 상태에 가깝다.

자주 묻는 질문

관련 AI 소식