LLM이 아직 과학자가 아닌 이유: 자율 연구 에이전트에서 반복 관찰된 여섯 가지 실패 유형

핵심 메시지

• 아이디어 생성부터 논문 완성까지 사람 개입을 최소화한 결과, 시도한 네 개 연구 주제 중 하나만 끝까지 완주했다.
• 실패는 여섯 가지 유형으로 반복됐다: 학습 데이터 편향, 구현 표류, 과장 습관, 기억·맥락 손실, 도메인 지식 부족, 연구 안목 부재.
• 모델이 가장 약한 지점은 구현이 아니라 창의성이다. 새로운 구조를 설계하고 전에 없던 코드를 쓰는 일에서 무너진다.
• AI 리뷰어도 같은 병을 앓는다. 평범한 논문을 획기적이라 평하고, '비판적으로 검토하라'는 한마디에 판정이 뒤집힌다.
• 지금까지 나온 해법은 대부분 모델 자체가 아니라 그것을 감싸는 하네스 수준의 우회책이다.

쉽게 이해하기

인도의 연구 조직 로스펑크(Lossfunk)와 비츠 필라니의 드루브 쿠마르 교수 연구진은 LLM이 과학 연구 과정에 어디까지 참여할 수 있는지를 실험했다. 이들은 발견 단계만 보는 기존 접근과 달리, 과학자가 실제로 하는 일 전반을 나눠서 검증했다. 아이디어를 내고 실험을 돌리고 논문을 쓰는 일뿐 아니라, 남의 연구를 심사하고 후배를 지도하는 역할까지 포함했다.

첫 실험은 여섯 개 에이전트로 구성된 시스템이었다. 실험 실행에는 코딩 에이전트를 붙였고, 모든 에이전트가 공유하는 맥락 문서 저장소를 두었다. 연구진이 의도적으로 피한 것은 사람이 미리 심어 놓는 방법론적 지식이었다. 논문 지식 베이스만 주고 나머지는 모델이 알아서 하도록 두는 것이 조건이었다. 네 개 아이디어를 시도해 그중 하나가 논문으로 완성됐고, AI를 제1저자로 요구하는 학술 대회에 실제로 채택됐다.

정작 더 값진 산출물은 실패 분석이었다. 완주하지 못한 나머지 궤적을 뜯어보니 여섯 가지 유형이 반복됐다. 학습 데이터 편향은 라이브러리 설치 같은 사소한 지점부터 실험 코드 설계까지 전 단계에 스며들었다. 기존 모델 구조에 새 손실 함수를 넣으라고 지시해도, 모델은 자기가 기억하는 관습적인 구현으로 되돌아가곤 했다.

구현 표류는 더 교묘하다. 창의적인 코딩이 막히는 순간 모델은 더 단순한 버전으로 슬쩍 갈아타는데, 실험은 '성공'으로 끝나지만 처음 세운 연구 의도와는 다른 것이 구현돼 있다. 사람이 지켜보지 않으면 성공한 것처럼 보이는 엉뚱한 결과가 남는다. 여기에 모든 발견을 획기적이라 포장하는 과장 습관, 파일 간 변수 이름조차 잊는 맥락 손실, 진단에 필요한 지표를 챙기지 않는 도메인 지식 부족, 실패한 방향을 계속 붙드는 안목 부재가 더해졌다.

발표 후반부는 심사자로서의 AI를 다뤘다. 주요 학회들이 투고 직전 논문의 정합성과 인용을 점검해 주는 보조 도구를 실험적으로 도입한 흐름을 짚으면서도, AI 심사가 사람과 다른 곳을 본다는 연구를 함께 제시했다. AI는 명료성이나 서술의 질을 거의 언급하지 않고 기술적 토대나 확장성 쪽으로 쏠리며, 특히 LLM으로 다듬은 원고에 일관되게 후한 점수를 준다는 것이다.

주요 인사이트

• 발표자는 같은 논문을 '검토해 달라'와 '비판적으로 검토해 달라'로 각각 요청해 보라고 권한다. 앞의 프롬프트는 대체로 약한 수용, 뒤의 프롬프트는 반려에 가까운 판정을 내놓는다는 것이다. 판정이 논문이 아니라 지시어에 따라 흔들린다는 점을 보여주는 간단한 실험이다.
• 완주에 성공한 주제는 AI 정렬 분야였고, 실패한 쪽은 멀티 에이전트 강화학습과 월드 모델이었다. 연구진은 데이터와 분석 위주의 과제가 모델에게 훨씬 수월했던 반면, 모델 구조를 새로 설계해야 하는 과제는 어려웠다고 해석했다.
• 진화 탐색 실험에서도 교훈은 비슷했다. 새로운 강화학습 알고리즘 자체를 진화시키려던 시도는 세밀한 수식 조작의 벽에 부딪혔고, 관측·행동 매핑과 보상 함수로 대상을 바꾸자 성과가 나왔다. 무엇을 진화시킬지 고르는 것이 실력이라는 이야기다.
• 진화 탐색이나 반복 개선 방식은 본질적으로 낭비가 많다. 발표자는 단계마다 충분한 검증 장치를 두어 크레딧을 태우지 않도록 하고, 사람이 실패를 예측할 수 있다면 모델이 동의하지 않더라도 궤적을 멈추는 것이 좋은 연구 안목이라고 말한다.
• 지도 실험에서는 도구가 아니라 사용자가 병목이었다. 연구 인턴들이 자기 배경과 진행 상황을 충분히 적지 않아 조언이 피상적으로 돌아왔고, 연구 흐름을 단계로 쪼개고 실행 가능성·인용 적절성 같은 평가 기준을 붙이자 품질이 크게 올랐다.

자주 묻는 질문

관련 AI 소식