AI 사이언티스트 논문 리뷰 — 아이디어 생성부터 실험·집필·자동 피어리뷰까지 완전 자동화한 연구의 성과와 한계

핵심 메시지

• AI 사이언티스트는 연구 아이디어 생성부터 실험 수행, 논문 작성, 리뷰와 보완까지 전 과정이 사람 개입 없이 도는 완전 자동화 프레임워크다. 일주일에 중간 품질 수준의 논문을 수백 편 만들 수 있고, 한 편당 비용은 약 15달러다.
• 아이디어를 그냥 많이 만드는 것이 아니라 걸러낸다. 50개를 생성한 뒤 흥미로움·실현 가능성·참신성 세 축으로 자체 채점하고, 시맨틱 스칼라 API로 검색해 기존 문헌과 지나치게 비슷한 아이디어를 제거한다. 참신하다고 판단된 것만 실험 단계로 넘어간다.
• 심사도 AI가 한다. 뉴립스 리뷰 가이드라인을 기반으로 한 자동 리뷰어가 논문 한 편당 다섯 개의 리뷰를 만들어 앙상블하는데, 이는 여러 리뷰어의 평가를 의장이 종합하는 실제 학회 방식을 본뜬 것이다. 리뷰 1회 비용은 0.25~0.5달러다.
• 실제 학회 논문 500편으로 자동 리뷰어와 사람을 비교하자 결과가 엇갈렸다. 좋은 논문을 놓치지 않는 지표에서는 사람보다 훨씬 우수했지만, 평가를 엄격하게 하는 정도에서는 사람이 더 나았다.
• 한계는 뚜렷하다. 비슷한 아이디어를 지나치게 많이 만들고, 알고리즘이 왜 성공했는지 해석할 배경 지식이 부족하며, 반박 과정이 없는 리뷰라는 점까지 겹쳐 결과물은 결국 사람 연구자의 검토를 필요로 한다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 세미나 발표는 두 겹으로 구성된다. 앞부분은 AI 에이전트라는 개념 자체를, 뒷부분은 그 에이전트에게 '연구 수행'이라는 목표를 준 'AI 사이언티스트' 연구를 다룬다. AI 에이전트는 사람의 지속적인 입력 없이 스스로 생각하고 결정하고 행동하는 시스템으로, 하위 작업을 스스로 설계하고 검토하고 실행하는 과정을 반복한다.

발표가 든 예시가 개념을 잘 보여준다. 노르웨이의 한 기자가 AI만으로 여행을 다녀온 사례인데, 4박 5일 일정과 예산에 맞는 숙소라는 요청을 받으면 에이전트는 캘린더 앱으로 일정을 짜고, 예약 사이트와 검색 엔진으로 예산에 맞는 호텔을 찾고, 관광지 웹사이트로 영업시간을 확인해 계획이 실제로 실행 가능한지까지 점검한 뒤 방문 알림 문자까지 보낸다. 요청에 맞는 일반적인 답변을 잘 내놓는 챗봇과 달리, 도구를 써서 실현 가능한 방법을 좁혀준다는 점이 다르다.

구조적으로 에이전트는 환경을 관찰하고, 사전 학습한 지식과 사용자가 준 정보, 과거 경험을 함께 놓고 계획을 세운 뒤 행동한다. 그 행동으로 환경이 바뀌면 다시 관찰하는 순환이다. 계획 단계에서는 생각의 사슬을 활용해 스스로 부족한 점을 검토하고 큰 목표를 작은 하위 목표로 쪼갠다. 중심에 있는 에이전트는 모든 작업을 감독해야 하므로 가장 높은 지능의 모델이 요구된다는 설명도 붙는다.

여기서 발표는 왜 여러 에이전트인가로 넘어간다. 사용자의 요청을 여러 갈래로 나누고 각 하위 목표마다 전문가 역할의 에이전트를 두면, 한 명이 여러 일을 동시에 하는 것보다 각 역할의 품질이 올라가고 최종 결과물도 좋아진다는 것이다. 이런 자율 에이전트의 대표 사례로 발표는 오토GPT를 든다. 태스크 생성, 우선순위 지정, 실행을 맡은 세 에이전트가 메모리를 확인하고 목록을 만들고 우선순위를 정해 실행하는 과정을, 목표에 도달할 때까지 반복한다.

AI 사이언티스트는 바로 이 목표 기반 에이전트의 목표 자리에 '연구'를 넣은 결과다. 아이디어 생성, 실험 설계와 실행, 결과 시각화, 논문 집필, 그리고 그 논문에 대한 리뷰와 보완까지 한 바퀴 전체가 자동으로 돈다. 특히 리뷰 단계는 LLM 기반 자동 피어리뷰 프로세스를 따로 설계해 붙였다.

주요 인사이트

• 아이디어 생성 단계의 설계가 꼼꼼하다. 한 줄짜리 설명이 아니라 동기와 전체 구조, 예상되는 실험 결과, 기존 연구와의 차별점까지 쓰게 하고 논문 제목과 실험 계획까지 만들게 한다. 생성과 동시에 흥미로움·실현 가능성·참신성 세 축으로 스스로 점수를 매기고, 필요하면 여러 차례 다듬는다. 그렇게 모은 50개를 시맨틱 스칼라 API로 검색해 참신성을 판정하고, 판정이 애매하면 모델이 추가 검색 쿼리를 스스로 만들어 다시 확인한다.
• 실험과 집필에는 코딩 어시스턴트가 동원된다. 참신하다고 판정된 아이디어만 실험 목록을 만들어 코드 템플릿 위에 구현하고, 실패하거나 시간이 초과되면 코드를 고쳐가며 반복한다. 실험이 끝나면 미리 제공된 시각화 코드를 수정해 그림을 만들고, 그림을 보지 않아도 무엇을 담고 있는지 알 수 있을 만큼 구체적인 메모를 남겨 나중에 집필에 쓴다. 집필은 학회 라텍 템플릿 위에서 섹션별 초안과 검토를 반복하고, 검색으로 찾은 논문만 인용하며, 마지막에 중복 정보를 걷어내고 컴파일 오류까지 잡는다.
• 실험에 쓴 모델은 클로드 소네트 3.5, GPT-4 계열, 딥시크 코더, 라마 3.1 405B다. 품질에서는 소네트 3.5가 일관되게 가장 우수했고, 자동 리뷰어 점수가 통상적인 학회 수락 기준선인 6점을 넘긴 논문도 상당수 나왔다. 반면 GPT-4 계열은 참신한 아이디어를 잘 내면서도 라텍을 다루는 능력이 부족해 논문을 끝까지 완성하는 데 어려움을 겪었고, 딥시크 코더는 코딩 어시스턴트를 다루는 능력이 다소 떨어졌지만 비용 절감 효과가 컸다.
• 가장 흥미로운 비교는 자동 리뷰어와 사람의 대결이다. 실제 학회 논문 500편을 대상으로 판정을 비교한 결과, 좋은 논문을 놓치지 않았는지를 보는 지표에서는 자동 리뷰어가 사람보다 훨씬 우수했고 F1 점수도 사람을 앞섰다. 다만 얼마나 엄격하게 걸러내는지를 보는 지표에서는 사람이 더 나았고, 저자들 역시 이 부분을 앞으로 개선할 지점으로 꼽았다.
• 한계 목록이 이 연구의 진짜 결론에 가깝다. 아이디어 생성 단계에서 비슷한 아이디어가 너무 많이 나오고, 아이디어를 능숙하게 실행할 수는 있어도 알고리즘이 왜 성공했는지를 온전히 해석할 배경 지식은 부족하다. 라텍을 다루는 능력에도 한계가 있고, 전 과정을 LLM에 완전히 의존하는 데서 오는 신뢰성 문제도 남는다. 자동 리뷰어 쪽에서는 저자가 반박하고 다시 리뷰를 받는 과정이 없다는 점이 구조적 공백으로 지적된다.

자주 묻는 질문

관련 AI 소식