재귀적 자기개선 논쟁 정리: AI가 다음 세대 AI를 스스로 설계하는 날은 얼마나 가까운가

핵심 메시지

• 1965년 I.J. 굿이 제기한 '기계가 기계를 더 잘 설계하는 순간'이라는 가설이, 이제는 실험으로 확인해야 할 현실의 질문이 됐다.
• 앤트로픽이 자사가 배포하는 코드의 80% 이상을 모델이 쓴다고 밝혔지만, 패널들은 연구소에서 사람을 모두 빼면 개발이 금방 멈출 것이라고 봤다.
• 재귀적 자기개선의 판별 기준으로 '어떤 세대의 모델이 만든 다음 모델의 작업 지속 시간이 두 배 이상으로 늘어나는가'가 제시됐다.
• 토비 월시는 엔지니어링 중심의 쉬운 80%는 AI가 가속해도 창의성이 필요한 마지막 20%는 훨씬 어려울 것이라고 반박했다.
• 세 패널의 마지막 제안은 속도를 늦춰 평가 체계가 따라잡을 시간을 벌고, 그 사이에 인간다움의 가치를 지키자는 것이었다.

쉽게 이해하기

이 세션은 그래디언트 인스티튜트의 수석 과학자 티베리오가 진행하고, UNSW AI 연구소 수석 과학자 토비 월시, P 제로 리서치 공동창업자 데인 셔번, 애들레이드 엘더 음악원 학장이자 작가인 애나 골즈워디가 참여한 패널 토론이다. 주제는 '재귀적 자기개선', 곧 AI가 자기보다 나은 후속 세대를 스스로 설계하고 학습시키는 상황이다. 진행자는 1965년 I.J. 굿이 쓴 논문을 출발점으로 삼았다. 기계가 인간보다 사고를 잘하게 되면 기계를 설계하는 일도 더 잘하게 되고, 그 과정이 계속 반복된다는 논리이며 굿은 그것을 '인간이 만드는 마지막 발명'이라고 표현했다.

실제 측정을 담당하는 데인 셔번은 지금의 데이터가 평범한 수준이라고 평가했다. 앤트로픽이 배포 코드의 80% 이상을 모델이 작성한다고 밝혔고 특정 기간에 풀 리퀘스트 수가 여덟 배로 늘었다는 보고도 있지만, 그는 프런티어 연구소에서 사람을 전부 내보내고 에이전트만 남기면 작업이 빠르게 멈출 것이라고 봤다. 그가 제시한 진짜 기준은 완전 자율 연구소가 굴러가는지, 그리고 모델의 '작업 지속 시간'이 세대를 넘기며 배로 늘어나는지다. 한 달짜리 작업을 감당하는 모델이 두 달짜리를 감당하는 모델을 만들면 자기개선이지만, 증가폭이 그보다 작으면 급수는 수렴해 버리고 만다.

토비 월시는 건전한 회의론을 유지했다. 실험을 돌리고 코드를 짜는 앞의 80%는 AI가 도와 가속할 수 있지만, 창의성이 필요한 마지막 20%는 훨씬 어렵다는 것이다. 그는 규모만 키우면 된다고 보지 않았고 트랜스포머만으로는 부족하며 새로운 무언가를 발명해야 한다고 말했다. 지금까지 AI가 내놓은 흥미로운 수학적 결과도 잘 알려지지 않은 분야의 성과를 끌어와 연결한 쪽에 가깝지, 수학자들을 놀라게 한 완전히 새로운 것은 아니라는 평가였다.

월시는 인류가 이미 만든 자기개선 시스템의 예로 컴파일러를 들었다. 컴파일러는 자기가 컴파일하는 언어로 작성되곤 해서 자기 자신에게 적용해 효율을 높일 수 있지만, 그 일은 한 번뿐이고 다시 적용하면 고정점에 도달해 더 나아지지 않는다. 초지능 컴파일러 같은 것은 나오지 않았다는 뜻이다. 진화 역시 자기개선을 만들어냈지만 수백만 년 단위로 아주 느리게 움직였고, 대신 그 결과물인 인간의 뇌는 학습과 문화를 통해 훨씬 빠른 시간 척도에서 스스로를 개선한다는 반론이 이어졌다.

작가이자 피아니스트인 애나 골즈워디는 바깥에서 들어온 시선을 보탰다. 그는 저녁 식탁에서 아이들과 논쟁하며 사실상 미래와 논쟁하는 기분이었다고 말했고, 법학자 앤시아 로버츠가 말한 '잠자리 사고'를 인용해 AI를 훌륭하거나 끔찍하다는 이분법이 아니라 서로 모순되면서도 나란히 놓이는 여러 렌즈로 봐야 한다고 했다. 그는 글쓰기와 연주가 패턴 기계가 아니라 몸과 감정에 뿌리를 둔 활동이라는 점을 강조하며, 이 모든 것이 인간의 번영에 봉사하지 않는다면 무슨 의미가 있느냐고 되물었다. 진행자도 똑똑한 사람일수록 지능의 중요성을 과대평가한다며, 기후 문제는 해법을 몰라서가 아니라 조율이 안 돼서 풀리지 않는다고 거들었다.

세션 말미에 진행자는 어떤 경로가 펼쳐지든 도움이 될 단 하나의 행동을 물었다. 셔번은 속도를 늦추자고 답했다. 이미 평가가 개발 속도를 따라잡지 못하고 있으며, 코로나 때처럼 지수 곡선 위에서는 경고가 너무 이르거나 너무 늦거나 둘 중 하나라는 이유였다. 월시는 기계가 지루하고 힘든 일을 대신하게 하되 우리를 우리답게 만드는 것이 무엇인지 잊지 말자고 했고, 골즈워디는 두 답을 합쳐 속도를 늦춰 '마감 시한이 걸린 철학'을 감당할 시간을 벌자고 정리했다.

주요 인사이트

• 패널이 제안한 측정 방식은 벤치마크 점수가 아니라 '모델이 얼마나 긴 작업을 끝까지 감당하는가'였다. 세대가 바뀔 때 이 시간이 두 배 이상 늘어나야 자기개선의 고리가 닫히고, 그렇지 않으면 개선폭이 점점 줄어 한계에 수렴한다.
• 지금 평가가 어려운 진짜 이유는 과제 자체가 금방 낡기 때문이다. 프런티어 연구소들이 더 어려운 과제를 만들어도 완성될 무렵이면 모델이 이미 그 과제를 포화시켜 버려서, 속도를 재는 자가 속도를 따라가지 못한다.
• AI가 강한 영역은 답을 검증할 수 있는 곳이다. 코드는 실행해 보고 증명은 확인할 수 있지만, 그렇지 않은 영역에서는 근거 없이 지어내는 문제가 남는다는 지적은 도구를 어디에 쓸지 정하는 실용적 기준이 된다.
• 생산성을 '사람을 빼면 얼마나 떨어지는가'로 보는 관점은 냉정하다. 100%가 아니라 99%만 떨어지는 단계라면 자동화라기보다 보조에 가깝고, 그 숫자가 줄어드는 추세를 추적하는 것이 진행 상황을 보는 현실적인 방법이다.
• 투자 규모가 체감 속도를 만든다는 설명도 나왔다. 한 기술에 이 정도 자본이 몰린 전례가 없었고 데이터와 연산이 충분해진 상황이 겹치면서, 기술적 돌파만이 아니라 돈의 흐름이 지금의 가속을 설명한다는 것이다.

자주 묻는 질문

관련 AI 소식