실행 기반 AI 연구 자동화: 아이디어를 GPU로 돌려 검증한 스탠퍼드 연구, 진화 탐색은 되고 RL은 막혔다

핵심 메시지

• 전문가 블라인드 심사에서 AI가 낸 연구 아이디어는 사람 아이디어보다 참신하다는 평가를 받았지만, 대학원생들이 3개월씩 들여 실제로 실험한 뒤 다시 채점하자 효과성 점수가 6.0에서 4.13으로 떨어졌다. 사람 아이디어는 4.84에서 4.78로 거의 그대로였다.
• '아이디어가 통할지'를 예측하는 별도의 보상 모델을 학습시켜 봤지만 두 아이디어 중 나은 쪽을 고르는 이진 과제에서 정확도가 64.4%에 그쳤다. 채점을 우회하는 대신 실제로 GPU에서 돌려 보는 비싼 길을 택한 이유다.
• 자동 실행기는 의외로 잘 작동했다. 베이스라인 코드 전체를 컨텍스트에 넣고 코드 패치를 10개씩 병렬 생성해 실패하면 고쳐 쓰게 하는 단순한 구조만으로, 사후학습 환경에서 80% 이상, 사전학습 환경에서 최대 90%의 아이디어가 실행에 성공했다.
• 실행 결과를 문맥에 쌓아 다음 아이디어를 만드는 진화 탐색은 10회 반복만에 수학 정확도를 48%에서 69.4%로 끌어올렸다. 같은 과제를 받은 스탠퍼드 수업의 최고 학생 답안이 68.8%였다.
• 반면 강화학습은 막혔다. 평균 보상은 올랐지만 정작 중요한 최고 보상은 제자리였고, 모델은 실행에 실패할 위험이 있는 복잡한 아이디어를 피해 10줄이면 끝나는 안전한 아이디어 두 개로 수렴해 버렸다.

쉽게 이해하기

'AI가 AI 연구를 대신하게 하자'는 구상은 매력적이지만, 그 앞에는 검증되지 않은 전제가 하나 놓여 있다. 언어 모델이 정말 효과가 있는 아이디어를 낼 수 있느냐다. 스탠퍼드 박사과정 연구자가 alphaXiv 강연에서 소개한 일련의 실험은 바로 이 전제를 두 단계로 무너뜨리고 다시 세운다.

출발점은 2년 전의 인간 대조 연구다. 전문가들과 AI 에이전트에게 같은 주제로 연구 아이디어를 내게 하고 전문가들이 블라인드 심사를 하자, AI 아이디어가 더 참신하고 더 좋다는 평가를 받았다. 그런데 후속 연구에서 대학원생들이 각자 아이디어 하나를 3개월씩 실제로 실험해 논문으로 만들고 다시 심사하자 결과가 뒤집혔다. 사람 아이디어의 점수는 실행 전후가 거의 같았지만, AI 아이디어는 참신성·기대감·종합 점수가 모두 크게 떨어졌다. 언어 모델은 '설득력 있어 보이는' 아이디어를 만드는 데 능하지 실제로 통하는 아이디어를 만드는 데 능한 것이 아니었다.

해법은 실행에 근거를 두는 것이다. 아이디어를 자동으로 코드로 옮겨 실험을 돌리고, 그 결과를 다시 아이디어 생성 모델에 돌려주는 순환을 만든다. 실행을 건너뛰고 아이디어의 성패를 예측하는 보상 모델을 만들려는 시도는 별도의 논문 하나를 통째로 쓰고도 이진 판별 정확도 64.4%에 머물렀다. 무작위 추측인 50%보다는 낫고 사람 전문가보다도 나았지만, 보상 신호로 쓰기에는 턱없이 부족한 수치였다.

실험 환경은 두 개다. 하나는 15억 파라미터 체크포인트를 수학 추론용으로 사후학습하는 과제로, GRPO를 쓴 베이스라인 정확도가 48%다. 다른 하나는 GPT-2급 모델을 25분간 사전학습해 검증 손실을 낮추는 과제다. 모델에게는 베이스라인 코드베이스 전체가 주어지고, 자연어 아이디어를 코드 패치로 만들어 붙이는 방식으로 개입한다. 실제로 생성된 아이디어에는 성능에 따라 학습 데이터 비율을 조정하는 온라인 커리큘럼, 어텐션 패턴에 따라 토큰별 그래디언트에 가중치를 주는 방법, 루프형 트랜스포머 구조 같은 것들이 들어 있었다.

학습 방법으로는 진화 탐색과 강화학습 두 갈래를 시험했다. 진화 탐색은 매 회차마다 기존 아이디어와 전혀 다른 방향을 찾는 탐색과, 베이스라인을 넘긴 아이디어들의 장점을 취하는 활용을 섞는다. 이쪽이 잘 통했다. 같은 샘플링 예산으로 그냥 많이 뽑아 최고를 고르는 방식과 비교하자 격차가 뚜렷했는데, 발표자는 과거 시도들을 문맥에 넣어 준 것 자체가 일종의 문맥 내 학습으로 작동했다고 해석한다. 다만 모델별 차이가 컸다. 강한 모델은 회차를 거듭할수록 성능이 계속 올랐지만 상대적으로 약한 모델들은 두세 회차 만에 정체됐다.

주요 인사이트

• 아이디어 심사와 아이디어 실행은 전혀 다른 시험이다. 실행 없이 받은 호평은 실행 후에 유지되지 않았고, 이 격차가 자동화 연구의 진짜 병목이었다.
• 검증을 싸게 하려는 시도가 먼저 실패했다는 점이 중요하다. 아이디어의 성패를 맞히는 일 자체가 어렵기 때문에 결국 GPU에서 진짜로 돌려 보는 비싼 경로가 남았다.
• 코드 구현 능력은 이미 병목이 아니었다. 매우 단순한 실행 스캐폴드로도 아이디어의 80~90%가 실행됐고, 실행 성공률에서 모델 간 차이가 뚜렷하게 드러났다.
• 강화학습이 실패한 방식이 시사적이다. 실행 실패는 보상 0이므로, 모델은 어려운 아이디어를 아예 시도하지 않는 쪽으로 학습해 탐색을 스스로 포기했다.
• 발견을 목표로 하는 학습에서는 평균 보상이 아니라 최고 보상이 지표여야 한다. 평균만 보면 개선처럼 보이는 곡선이 실제로는 안전한 수렴이었다.

자주 묻는 질문

관련 AI 소식