AI VIDEO BRIEFING
AI 연구 자동화 논쟁: 무너지는 학계 피어리뷰와 RLVR이 넘지 못하는 연구의 벽
PPO 논문 리젝부터 ICML 2만 3천 편 투고와 AI 대필 리뷰까지, AI 시대에 흔들리는 학계 평가 시스템을 짚는다. 이어 IMO 금메달과 실제 수학 연구의 간극, RLVR로 닿기 어려운 영역까지 정리했다.
핵심 메시지
- ChatGPT의 RLHF에 쓰인 PPO 논문이 2017년 학회에서 리젝됐다는 사실은, 좋은 연구를 미리 알아보는 일이 저자에게조차 얼마나 어려운지 보여준다.
- AI가 쓴 논문이 쏟아지면서 arXiv의 접수 제한 논의, ICML 2만 3천 편 투고, AI로 대필한 리뷰 적발까지 학계 평가 시스템 곳곳에 균열이 생겼다.
- 허깅페이스의 ICML 리프로듀스 챌린지와 국내에서 열린 리서치 랄프톤은, 논문을 실제로 돌려보고 평가까지 자동화해 ‘중간 단계 보상’을 만들려는 시도다.
- IMO 금메달은 길어야 10시간짜리 과제이고 훈련도 가능한 반면, 실제 수학 연구는 수만 시간 규모라 같은 잣대로 볼 수 없다.
- RLVR은 최종 결과의 정오에만 보상을 주기 때문에, 문장 하나하나가 곧 결과물인 글쓰기나 정답이 여럿인 디자인에는 잘 맞지 않는다.
쉽게 이해하기
출연자들은 ‘AI가 리서치를 할 수 있을까’라는 질문을 학계의 평가 시스템에서부터 풀어간다. ChatGPT의 인간 피드백 강화학습에 쓰인 PPO 논문이 2017년에 리젝당했다는 일화가 출발점이다. 리뷰어뿐 아니라 저자들 자신도 이 알고리즘이 훗날 대규모 언어모델에서 그렇게 큰 영향을 낼 줄 몰랐다는 대목에서, 좋은 연구를 점수로 매기는 일 자체의 난이도가 드러난다.
지금은 그 난이도가 물리적 한계에 부딪히고 있다. AI가 생성한 논문이 넘치자 arXiv에서는 컴퓨터과학 일부 범주를 피어리뷰 통과 논문만 받겠다는 논의가 나왔고, 이번 ICML에는 2만 3천여 편이 투고돼 6천여 편이 실렸다. ICLR에서는 리뷰 상당수가 AI로 작성됐고, ICML에서도 사람이 직접 쓰겠다고 해놓고 AI를 쓴 사례가 적발됐다. 생산이 검증을 압도하면서 논문 품질과 리뷰 품질이 함께 내려가는 구조다.
그래서 보상을 어떻게 줄 것인가가 핵심 문제가 된다. 허깅페이스의 리프로듀스 챌린지는 에이전트가 논문의 방법을 다시 구현해 결과가 실제로 나오는지 확인하는 방식으로, 글만 읽는 피어리뷰보다 한 단계 더 나아간 검증이다. 국내 리서치 랄프톤에서는 AI로 논문을 쓰는 트랙과 그 논문을 리뷰하는 트랙을 함께 열었는데, 리뷰 트랙의 우승 기준이 흥미롭다. 방법론이 아니라 인간 심사위원 점수와의 상관관계가 높은 에이전트가 뽑혔다는 것이다.
수학으로 넘어가면 기대와 한계가 함께 보인다. IMO 금메달은 이틀에 걸쳐 여섯 문제를 푸는 과제이고 기출로 훈련이 가능해, 수만 시간이 걸리는 실제 연구와는 규모가 다르다. 수학 안에서도 대수·기하·정수론은 쉽게 풀면서 조합만 유독 막히는 뾰족함이 관찰된다. 게다가 갈루아의 군론이 쿼크 예측에까지 닿는 데 100년이 걸렸다는 사례처럼, 좋은 연구인지 검증되는 시간 규모가 RLVR의 즉각 보상과 근본적으로 어긋난다.
후반부의 열쇳말은 압축이다. 아인슈타인이 10년, 20년에 걸쳐 쌓은 사고 실험을 우리가 한 시간짜리 설명으로 이해할 수 있게 만드는 일 자체가 지능이라는 관점이다. 여기서 수백만 줄짜리 Lean 증명은 참이지만 읽을 수 없는 ‘재미없는 소설’에 비유되고, 사람이 납득할 수 있는 설명이 곧 좋은 압축으로 연결된다. 두 사람은 이어서 1930년대 이전 텍스트만으로 학습한 빈티지 LM 실험, Thinking Machines Lab의 Inkling과 스스로를 파인튜닝하는 시도, Kimi K3의 오픈 웨이트 공개 같은 최근 흐름을 짚는다.
주요 인사이트
- 좋은 리뷰가 무엇인지 정의하기 어려울 때, 랄프톤 심사에서는 방법론 대신 ‘인간 심사위원 점수와의 상관관계’가 기준이 됐다. 방법을 강제하지 않고 보상만 잘 정의하는 RLVR의 발상이 평가 설계에도 그대로 적용된 셈이다.
- 이론이 세상에 임팩트를 주기까지 100년이 걸리는 분야에서는 즉시 보상을 주는 학습 방식 자체가 성립하기 어렵다. 타임스케일의 불일치가 방법론의 한계로 직결된다.
- LLM은 사람과 달리 여러 도메인 지식을 동시에 갖고 있어 서로 다른 분야를 잇는 ‘동형’ 연결을 만들 수 있다. 다만 지시하지 않으면 분포의 평균으로 수렴해 원래 그 분야에서 할 법한 말만 한다는 지적이 따라붙는다.
- 머릿속에서 검증이 끝나는 수학·이론 분야가 먼저 가고, 합성하고 반응을 봐야 하는 바이오·화학은 느릴 수밖에 없다. 실제로 실험으로 루프를 닫기 위해 공장을 짓는 스타트업 사례가 언급된다.
- 정답이 여러 개인 문제에서는 사람이 취향을 입력하고 결과 중 하나를 고르는 selection 역할이 남는다. 무드보드를 만들고 여러 시안 중에서 사람이 집어내는 디자인 워크플로가 그 예로 소개된다.
자주 묻는 질문
arXiv가 피어리뷰를 통과한 논문만 받겠다고 한 이유는 무엇인가요?
AI가 쓴 논문이 너무 많아져 품질 관리가 되지 않고, 이런 ‘슬롭’이 넘치면 사람들이 arXiv를 떠날 것이라는 우려 때문입니다. 반대편에서는 PPO 같은 연구가 프리프린트로 발굴될 통로를 막는다고 반박했고, 원래 arXiv가 학회의 느린 속도를 우회해 지식을 빨리 공유하려고 만들어진 곳이라는 점도 근거로 나왔습니다.
IMO 금메달을 딴 AI를 AGI라고 부르지 않는 이유는 무엇인가요?
IMO는 이틀에 걸쳐 여섯 문제를 푸는, 길어야 10시간 규모의 과제이고 기출로 충분히 훈련이 가능합니다. 반면 실제 수학 연구는 수만 시간짜리 과제이고, 모델도 대수·기하·정수론은 쉽게 풀면서 조합 문제만 유독 못 푸는 등 능력이 뾰족하게 갈립니다.
‘압축이 곧 지능’이라는 말은 무슨 뜻인가요?
연구자가 오랜 시간 탐색하고 쌓은 지식을 누구나 이해할 수 있는 형태로 줄여 설명하는 일 자체를 지능으로 보는 관점입니다. 이 기준에서 수백만 줄짜리 Lean 증명은 참이지만 사람이 읽을 수 없어 ‘재미없는 소설’에 가깝고, 사람이 납득 가능한 설명이 좋은 압축에 해당합니다.
RLVR이 잘 통하지 않는 영역은 어디인가요?
최종 결과가 맞았는지 틀렸는지를 하나의 점수로 줄 수 있어야 하므로 코딩과 수학에는 강합니다. 반면 문장 하나하나가 곧 결과물인 글쓰기, 이것도 저것도 정답이 될 수 있는 디자인과 예술처럼 경로 자체가 결과인 영역은 잘 다루지 못합니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗