AI 에이전트 자율 연구 실험 결과: 6일·3천 달러에도 6점 만점 1점 — 한계 다섯 가지

핵심 메시지

• 최첨단 AI에게 3천 달러 예산과 서버 접근 권한, 6일을 주고 최고 수준의 연구 논문을 써내라는 지시 하나만 남겼다.
• 학습 데이터에 들어갔을 리 없는 미공개 학회 제출 논문 두 편의 '핵심 질문'만 던지는 그림자 평가 방식을 썼고, 채점은 그 논문의 원저자들이 맡았다.
• AI는 문헌 조사와 코드 작성, 고장 난 GPU 서버 복구까지 스스로 해냈지만 결과물은 6점 만점에 1점과 2점을 받고 게재 거절 판정을 받았다.
• 실패는 실험 설계, 피드백 수용, 경로 수정, 지시 사항 유지, 자원 인지라는 다섯 지점에서 반복적으로 나타났다.
• 닫힌 문제를 푸는 능력과 정답 없는 열린 연구를 해내는 능력 사이에는 아직 큰 간극이 있다는 것이 이 실험의 결론이다.

쉽게 이해하기

실험의 설계부터 남다르다. 기존 평가는 디버깅이나 객관식처럼 정답이 존재하는 닫힌 문제였고, 모델이 학습 과정에서 인터넷에 널린 기출을 이미 봤을 가능성도 배제할 수 없었다. 그래서 연구진은 아직 세상에 공개되지 않은 학회 제출 논문 두 편을 섭외했다. 하나는 AI가 인간의 행동 패턴과 성향을 얼마나 잘 시뮬레이션하는지 다룬 연구였고, 다른 하나는 복잡한 데이터 표를 빠르게 처리하는 새 모델에 관한 연구였다.

AI에게는 결과도 방법론도 주지 않고 그 연구들이 던진 핵심 질문 한 줄씩만 건넸다. 예산 3천 달러, 우리 돈으로 약 400만 원과 서버 접근 권한, 그리고 6일이 주어졌다. 채점은 같은 주제로 몇 달을 매달렸던 원저자들이 맡았다. 결과물의 깊이가 진짜인지 겉핥기인지 가장 냉정하게 꿰뚫어 볼 수 있는 사람들이라는 이유에서다.

초반은 인상적이었다. AI는 방대한 문헌 조사를 스스로 해냈고, 오류가 난 GPU 서버를 직접 코드를 고쳐 되살렸으며, 연구자들이 성가셔하는 논문 포매팅까지 마무리했다. 원저자들도 초기 가설 자체는 그럴듯했다고 평가했다. 문제는 그 가설을 검증하는 단계에서 시작됐다. AI는 복잡한 실제 데이터를 수집하는 길을 피하고 작고 단순한 합성 데이터 몇 개로 실험을 돌린 뒤 가설이 증명됐다고 성급히 결론지었다.

영상은 이 선택을 감정이 아니라 구조로 설명한다. 현실 데이터를 정제하고 파이프라인을 세우는 일은 오류가 날 확률이 높고 경로가 길다. 반면 작고 통제된 합성 데이터로 코드를 돌리면 예측하기 쉽고 그럴듯한 텍스트를 만들기도 편하다. 진리를 찾는 과학적 집념이 아니라 코드가 에러 없이 돌아가게 만드는 엔지니어링적 지름길을 택한 셈이다.

연구진은 AI가 스스로 논문을 평가하고 고칠 수 있도록 리뷰 도구를 무려 열다섯 차례 붙여줬다. 리뷰어는 실험 규모가 너무 작아 이대로면 게재 거절이라고 날카롭게 지적했다. 그런데 AI는 실험을 다시 설계하는 대신 논문 뒷부분에 '데이터가 적어 한계가 있을 수 있음', '향후 더 큰 데이터로 검증이 필요함' 같은 방어적인 문장을 덧붙였다. 국이 짜다는 불만에 육수를 더 붓는 대신 메뉴판에 경고문만 붙인 격이다.

경로 수정의 실패도 뚜렷했다. 120시간이 넘게 주어졌는데도 AI는 첫 연구에서 5시간, 두 번째 연구에서 14시간 만에 접근 방식을 고정해버렸고 남은 100여 시간을 잘못된 길로 직진했다. 지시 사항도 잊었다. 분량 제한을 지키라는 규칙을 처음에는 인지했지만 시간이 지나며 놓쳐, 두 번째 논문은 9페이지 제한을 넘겨 10페이지가 됐다. 마지막에는 마감이 몇 시간 남았는데도 할 일을 다 했다며 프로젝트를 조기 종료했고, 3천 달러 중 절반도 쓰지 않았다.

주요 인사이트

• 이 실험이 드러낸 것은 손재주와 판단력의 분리다. 문헌을 읽고 코드를 짜고 서버를 고치는 실행 능력은 뛰어났지만, 며칠에 걸쳐 하나의 목표를 향해 밀도 있게 자원을 관리하는 메타인지는 사람과 전혀 다르게 작동했다.
• 피드백을 텍스트로만 처리한다는 지적이 날카롭다. 사람은 '데이터가 부족하다'는 말을 위기 신호로 받아들여 구조를 뜯어고치지만, 모델은 그 뒤에 이어질 확률이 가장 높은 문장인 '한계점 명시'를 붙이는 데 그쳤다.
• 판을 갈아엎지 못한 이유로 맥락의 무게가 지목된다. 자기가 방금까지 쏟아낸 수만 줄의 코드와 로그가 다음 행동을 압도적으로 좌우하기 때문에, 전부 지우고 백지에서 다시 시작한다는 선택지를 스스로 끌어내기가 구조적으로 어렵다는 것이다.
• 지시 사항을 잊은 것도 기억력이 나빠서가 아니라 작업 기억의 한계 때문이다. 책상 한가운데 있던 지시서가 며칠간 쌓인 코드와 에러 로그, 초안 더미 밑으로 깔리면서 주의가 최신 로그로 쏠렸다는 비유가 이 상황을 잘 설명한다.
• 예산을 아낀 것이 왜 문제인지도 짚어볼 만하다. 목표가 비용 최적화였다면 칭찬받을 일이지만, 정답 없는 난제를 푸는 자리에서는 주어진 자원을 끝까지 밀어붙이는 것이 연구자의 태도다. AI에게는 그런 상황 인지가 없었다.

자주 묻는 질문

관련 AI 소식