AI 에이전트 연구 능력 벤치마크: 인턴 과제 성공률 68.3%, 단순한 하네스가 더 강했다

핵심 메시지

• '진짜 연구자처럼 행동하라'는 제목의 논문이 AI 에이전트의 연구자 자질을 3단계로 재는 벤치마크 시리즈의 첫 편으로 공개됐다.
• 가장 낮은 인턴 단계에서도 최고 조합의 성공률은 68.3%, 가장 낮은 조합은 51%에 머물렀다.
• 도구를 많이 쥐여주는 복잡한 하네스보다 최소한의 도구만 주는 미니멀 방식이 더 좋은 성적을 냈다.
• 약점은 코딩·실험 같은 실무(57%대)와 분야 맥락 파악(64%대)에 몰렸고, 태도·소통은 76%대로 비교적 높았다.
• 조작된 실험 데이터를 알아채는 과제에서 대부분의 조합이 사소한 지적만 나열하고 결정적 이상 신호를 놓쳤다.

쉽게 이해하기

AI 에이전트가 코드를 짜고 실험을 돌리고 논문까지 쓰는 시대에, 이들이 정말 연구자처럼 행동하는지를 따져본 벤치마크가 나왔다. 중국 시안교통대와 시디안대 연구진이 만들어 2026년 6월에 공개한 '진짜 연구자처럼 행동하라'는 논문이다. 연구 인턴, 연구 조수, 독립 연구 과학자로 이어지는 3단계 시리즈 중 가장 낮은 인턴 단계를 다룬다.

기존 벤치마크가 과제를 끝냈는지, 코드가 돌아가는지 같은 결과만 봤다면 이번 연구는 성실성이나 불확실성을 다루는 태도처럼 연구자에게 중요한 자질을 겨냥했다. 접근 방식도 거꾸로다. 어려운 문제로 한계를 재는 대신, 사람에게는 쉽지만 AI가 틀리기 쉬운 일을 골랐다. 격차가 드러나는 지점이 바로 거기라는 판단이다. 과제는 박사 과정생부터 학부생과 인턴까지 참여해 자신이 실제로 겪은 불편을 옮겨 손으로 만들었고, 세 번의 설계 라운드를 거쳤다.

과제는 두 축으로 나뉜다. 하나는 상황으로 분야의 흐름을 읽는 맥락, 스스로 판단하는 태도, 코딩과 실험을 해내는 실무, 사람과 도구를 다루는 소통이다. 다른 하나는 기대 수준으로 시키는 대로 하는 적응이 32%, 여러 도구를 엮는 통합이 28%, 스스로 기여하는 혁신이 27%, 모호한 문제를 여는 열린 과제가 13%를 차지한다. 이 중 태도 항목은 사람의 지시가 틀렸을 때 반박할 수 있는지, 막다른 길을 알아채고 멈출 수 있는지를 본다.

실험은 하네스 세 종류에 최신 모델을 붙인 16개 조합으로 진행됐다. 하네스란 모델에게 도구를 쥐여주고 작업 흐름을 관리하는 껍데기를 말한다. 결과는 예상 밖이었다. 최고 성적 68.3%는 가장 단순한 미니멀 방식에서 나왔고, 기능이 더 풍부한 하네스들은 64.6%와 62.2%에 그쳤다. 같은 최고 모델을 붙였는데도 그랬다. 논문은 복잡한 하네스가 오히려 모델에게 부담과 산만함을 준다고 봤다. 모델을 더 좋은 것으로 교체했을 때 미니멀 방식은 11.5%포인트 뛴 반면 구조가 딱딱한 쪽은 6.1%포인트 오르는 데 그쳐, 격차는 좋은 모델을 쓸수록 더 벌어졌다.

가장 인상적인 사례는 논문 심사 과제였다. 제출된 실험 데이터에는 모든 수치의 소수점 끝자리가 똑같다는 조작 흔적이 심어져 있었지만, 대부분의 조합은 재현성 부족이나 하이퍼파라미터 불명확 같은 사소한 지적만 늘어놓았고 단 한 조합만이 이 패턴을 잡아냈다. 카테고리별로 보면 태도와 소통은 76%대였지만 코딩과 실험 같은 실무는 57%대, 분야 맥락은 64%대에 머물렀다. 하위권 모델을 쓰면 하네스를 무엇으로 바꾸든 성적이 비슷하게 낮아, 근본적인 병목은 모델 자체의 추론 능력이라는 점도 드러났다.

주요 인사이트

• 이 연구가 던지는 질문은 'AI가 연구를 할 수 있느냐'가 아니라 '연구를 맡길 수 있느냐'다. 조작된 데이터를 알아보고 틀린 지시에 반박하는 일이 연구자의 조건이기 때문이다.
• 도구를 많이 붙일수록 좋다는 통념이 뒤집혔다. 똑똑한 모델일수록 정해진 틀보다 자유롭게 움직일 여지가 필요하다는 결과는 에이전트 설계 방향에 직접적인 함의를 준다.
• 점수 항목을 성실히 채우고도 가장 중요한 지점을 비운 사례는, 연구에서 중요한 것이 빠짐없이 쓰는 일이 아니라 결정적인 하나를 알아보는 일임을 보여준다.
• 논문이 반복해 짚은 격차는 분야 흐름을 읽는 감각, 연구 윤리 인식, 상황에 따라 달라지는 섬세한 과학적 판단이다. 셋 다 배워서 아는 지식보다 몸에 밴 감각에 가깝다.
• 가장 낮은 인턴 문턱에서 이미 30% 가까이 실패했다면 연구 조수와 과학자 단계는 훨씬 먼 이야기다. 연구팀도 다음 단계는 더 어렵게 설계하겠다고 예고했다.

자주 묻는 질문

관련 AI 소식