AI 자동 연구 '유레카 머신' — 리처드 소셔가 공개한 재귀적 자기개선 실험과 나노챗 성과 정리

핵심 메시지

• 소셔는 인류의 모든 미래 발명을 대신 해낼 기계, 이른바 '유레카 머신'을 자신의 화성 프로젝트에 비유하며 이번 강연에서 처음 공개했다.
• 유레카 머신은 기존 지식, 과학 측정 데이터, 시뮬레이션, 실제 실험 설비라는 네 기둥 위에 에이전트 무리를 얹는 구조로 설계됐다.
• AI 발전사에서 수작업 과정을 학습 시스템으로 바꿀 때마다 성능이 크게 올랐기 때문에, 연구 자체도 AI에게 맡겨야 한다는 것이 그의 논지다.
• 자동 연구 시스템은 나노챗의 학습 품질 지표를 커뮤니티 최고 기록보다 개선했고, 나노GPT 속도 기록과 엔비디아 CUDA 커널 리더보드 기록도 넘어섰다.
• 그는 진짜 재귀적 자기개선(RSI)은 AI가 자기 결함을 스스로 인식하고 사전학습부터 하네스까지 전 과정을 갱신하는 것이라며, 지금 성과는 그 이전 단계라고 선을 그었다.

쉽게 이해하기

you.com 창업자이자 Recursive AI를 이끄는 리처드 소셔가 AI 엔지니어 콘퍼런스 무대에서 오랫동안 품어온 구상을 처음 꺼냈다. 그는 이를 '유레카 머신'이라 부르며, 언젠가 인류의 미래 발명 대부분을 대신 만들어낼 기계라고 설명했다. 발표는 Recursive.com 동료들과 AIX 벤처스 인력이 함께한 결과물이며, 일부 슬라이드는 공동창업자 팀 로크태셸의 자료에서 가져왔다고 밝혔다.

출발점은 진화다. 35억 년에 걸친 생물 진화가 박테리아에서 인간까지 도달했듯, 기술 진화 역시 수렵과 농경, 과학적 방법, 산업혁명을 거치며 반복적인 지수 곡선을 그려왔다는 것이다. 소셔는 기술이 늘면 더 많은 인구가 부양됐다는 점을 들어, 과학의 전선을 미는 일이 곧 인류 번영으로 이어진다고 주장했다. 1900년에 태어난 사람이 세 살 때 라이트 형제의 첫 동력 비행을 보고 60여 년 뒤 달 착륙을 목격한 사례를, 한 생애 안에서 벌어지는 도약의 상징으로 들었다.

과학철학 쪽 근거로는 칼 포퍼를 인용했다. 이론 역시 경쟁하는 다른 이론들과의 겨룸 속에서 선택되고, 엄밀한 실증 검증이라는 자연선택 압력을 통과한 것만 살아남는다는 설명이다. 반면 스타니스와프 렘의 통찰도 함께 소개했는데, 과학이 지나치게 세분화되면서 특정 분야 하나에 매달릴 사람 수가 줄어 지수 성장이 결국 인력 부족에 발목 잡힌다는 지적이다. 소셔는 바로 이 병목을 자동화로 풀자고 제안한다.

그가 제시한 유레카 머신은 네 기둥으로 구성된다. 인류가 이미 밝혀낸 지식을 이해하는 층, 과학 측정 데이터를 끌어오는 층, 아직 측정할 수 없는 것을 다루는 시뮬레이션 층, 그리고 마지막으로 실제 실험을 돌리는 물리적 실험 설비다. 그 위에 여러 지식·데이터·실험·보상을 다루는 에이전트 무리가 얹힌다. 소셔는 웹 검색, 브라우저, GPU처럼 사람을 위해 만들어진 기술 계층을 AI를 위해 다시 설계하는 일 자체가 초지능의 인프라이자 수많은 스타트업의 기회라고 봤다. 예컨대 에이전트는 열 개의 파란 링크가 아니라 수천 개의 긴 스니펫을 읽어낼 수 있다는 것이다.

실제 성과도 제시됐다. 5분 안에 소형 대화 모델을 학습시키는 나노챗에서, 커뮤니티가 오래 매달려 도달한 바이트당 비트 0.93을 자동 연구 시스템이 하루 이틀 만에 0.91로 낮췄다. 단순 하이퍼파라미터 조정이 아니라 해시 바이그램·트라이그램 임베딩을 학습된 게이트로 어텐션 값 경로에 섞는 식의 새로운 아이디어를 찾아냈다는 점을 강조했다. 나노GPT 스피드런에서도 1년 넘게 매달린 기록을 넘어 70초대로 2초 이상 앞당겼고, CUDA 커널에서는 엔비디아 벤치마크 리더보드 최고 기록을 여러 범주에서 상당한 차이로 앞섰다. 소셔는 팀에 전업 커널 전문가가 없었다는 점과, 엔비디아와 함께 보상 해킹 여부를 검증했다는 점을 덧붙였다.

주요 인사이트

• 소셔의 핵심 논리는 단순하다. AI 역사에서 사람이 손으로 하던 부분(언어학 자질 설계, 아키텍처 엔지니어링)을 학습으로 대체할 때마다 성능이 크게 뛰었으니, 마지막으로 남은 '연구'라는 수작업도 같은 길을 갈 것이라는 귀납이다.
• 그는 나노챗 같은 성과를 재귀적 자기개선이라 부르는 것에 선을 그었다. 다른 시스템을 개선해주는 자동 연구와, 자기 결함을 스스로 인식하고 사전학습·강화학습·하네스까지 자기 자신을 갱신하는 RSI는 다르다는 것이다.
• AI가 코드이고 AI가 코드를 쓸 수 있게 됐다는 점, 특히 긴 시간 지평의 코딩 능력이 최근 6~8개월 사이에야 가능해졌다는 점이 자동 연구의 전제 조건으로 지목됐다.
• 대형 클러스터에서 전문가 혼합 모델의 활용률이 30% 안팎에 그친다는 지적은, 커널 최적화 같은 지루한 영역이야말로 자동 연구가 즉시 값어치를 내는 곳임을 보여준다.
• 그는 지능을 여러 '공간'의 다차원 부피로 보면 상한선까지 아직 천문학적으로 멀다며, 지수 성장이 곧 꺾일 것이라는 전망에 회의적인 입장을 밝혔다.

자주 묻는 질문

관련 AI 소식