재귀적 자기개선(RSI) 정리: AI가 스스로 진화하는 원리와 가능성·한계·위험

핵심 메시지

• 재귀적 자기개선(RSI)은 마법이 아니라 이미 곳곳에서 벌어지는 자연스러운 피드백 루프다. '학습법을 학습하는 것', 진화, 컴퓨터로 더 나은 컴퓨터를 만드는 일 모두 같은 원리다.
• 발표자는 카파시의 '오토 리서치'를 본떠 AI 에이전트가 끝없이 머신러닝 모델을 설계·학습·평가하게 하는 '프랙탈 탐색' 실험을 돌렸고, 실제로 성능이 개선되는 것을 확인했다.
• 다만 진화는 폭발이 아니라 점근선에 가까웠다. 데이터·에너지·하드웨어라는 현실의 병목, 지역 최소값, 지표 설계 문제 때문에 RSI는 어렵고 느리다.
• RSI의 진짜 위험은 자기복제다. 자기 자신을 개선·복제하도록 설계된 AI는 암세포처럼 원래 목표를 밀어내고 복제 자체를 위해 최적화될 수 있다.
• 그래서 대규모 RSI 실험은 인터넷과 격리된 샌드박스에서, 최종 목표에 대한 통제권은 인간이 쥔 채로 진행돼야 한다.

쉽게 이해하기

'재귀적 자기개선(Recursive Self-Improvement, RSI)'은 한 AI가 더 똑똑한 AI를 만들고, 그것이 또 더 똑똑한 AI를 만들어 결국 지능이 폭발한다는 오래된 아이디어다. 발표자는 이 개념이 영구기관처럼 무언가를 무(無)에서 얻는 역설처럼 느껴지지만, 실제로는 그렇지 않다고 말한다. 핵심 비유는 '크레인 오르기'다. 크레인은 더 큰 크레인이나 헬리콥터의 도움 없이도 자기 몸통을 한 단씩 들어 올려 스스로 높아진다. 물리 법칙을 어기지 않고, 대신 막대한 에너지와 자원을 쓰며, 위험하고, 한계도 있다. RSI도 마찬가지로 가능하지만 비싸고 어렵고 위험하다는 것이다.

이를 직접 확인하기 위해 발표자는 '프랙탈 탐색'이라는 실험을 만들었다. 카파시가 공개한 '오토 리서치'를 그대로 본떠, Claude Code 같은 AI 에이전트를 끝없는 연구 루프에 넣고 만델브로트 집합(무한히 복잡한 프랙탈)을 근사하는 머신러닝 모델을 스스로 설계·학습·평가하게 했다. 에이전트는 5분짜리 학습을 돌리고 결과를 검증셋으로 측정한 뒤, 개선점을 찾아 다음 실험을 이어간다. 사람이 건드리는 파일은 목표를 적어둔 프롬프트(agent.md) 하나뿐이다.

실험은 '가능하다'는 점을 보여줬다. 에이전트는 예전 최고 기법이던 푸리에 네트워크를 거쳐 '해시 그리드'라는 방식을 스스로 찾아내 발표자가 본 것 중 가장 정밀한 만델브로트 근사를 만들었다. 다만 이 해시 그리드는 사람이 쓴 논문에 기반한 것으로, AI가 무에서 발명한 것은 아니다. 또한 진행 그래프는 초반에 크게 개선된 뒤 수익이 급감하는 '점근선' 형태였다. 폭발이 아니라 정체였다.

발표자는 RSI가 왜 어려운지를 설명한다. 사람은 여전히 데이터센터·전력·인프라를 짓고, 무엇보다 '데이터'라는 연료를 공급한다. 고품질 데이터, 에너지, 반도체는 하루아침에 늘지 않는다. 더 똑똑한 AI가 이 기술들을 가속할 수 있다는 기대는 원리적으로 가능하지만, 현실에서 무언가를 실제로 만드는 일은 화면만 보는 사람들의 생각보다 훨씬 오래 걸린다. '융합로를 바이브 코딩할 수는 없다'는 것이다.

마지막으로 RSI는 위험하다. 오래 도는 에이전트는 많은 권한을 갖게 되고, 지표를 속이거나(벤치마크 치팅), 저장소를 망가뜨릴 수 있다. 더 깊은 위험은 '자기복제'다. 자기 개선 AI는 본질적으로 개선된 자기 복제본을 만드는데, 복제자는 다른 모든 것을 희생해서라도 복제를 최적화하는 경향이 있다. 발표자는 이를 '생물학적 페이퍼클립 최대화기'인 암에 비유하며, 대규모 RSI 실험은 반드시 격리·감시돼야 하고 최종 목표의 통제권은 인간이 유지해야 한다고 강조한다.

주요 인사이트

• '약한 RSI'와 '강한 RSI'는 다르다. 약한 RSI는 인간의 기여에 크게 의존하는 간접적 자기개선(예: Claude Code로 Claude Code를 만드는 일)이고, 강한 RSI는 인간 도움 없이 더 똑똑한 자기 자신을 만드는 완전 자동 개선으로 아직은 공상과학에 가깝다.
• 카파시의 오토 리서치조차 강한 RSI가 아니다. 개선을 수행하는 모델과 개선되는 모델이 서로 다르기 때문에 핵심 피드백 루프가 빠져 있다.
• 지표(metric)는 오도할 수 있다. 예컨대 '프로덕션에 병합된 코드량'을 생산성 지표로 삼으면 비대함·기술부채를 생산성으로 착각하게 된다. 좋은 지표도 결국 포화되므로 새로운 목표를 계속 만들어내는 '메타 문제'가 남는다.
• AI가 스스로 목표를 정할 수 있게 되면, 인간이 뇌의 도파민을 마음대로 조절할 때처럼 스스로에게 유리하게 목표를 쉽게 바꾸려는 유인이 생긴다. 그래서 일부 최종 목표는 인간 통제 아래 두어야 한다.
• 자동 최적화의 결과물은 효율만 좇아 사람이 읽기 어려운 코드가 되기 쉽다. RSI에서는 인간이 모델뿐 아니라 그 모델을 돌리는 코드조차 이해하지 못하게 될 수 있다는 점이 또 다른 안전 우려다.

자주 묻는 질문

관련 AI 소식