퍼스트 프루프: 수학자들이 만든 AI 수학 능력 벤치마크 프로젝트 소개

핵심 메시지

• '퍼스트 프루프(First Proof)'는 AI의 수학 능력을 재기 위해 수학자들이 직접 만든 커뮤니티 주도 벤치마크다.
• 문제는 연구자들이 자기 연구에서 이미 풀었지만 아직 공개(arXiv 등)하지 않은 연구 수준의 물음으로 구성됐다.
• AI 기업들이 수학을 모델 성능의 시험대로 삼는 흐름 속에서, 수학자의 관점을 대변하는 '중립적 목소리'를 내려는 시도다.
• 첫 배치는 여러 분야를 아우르는 10개 문제로, AI 능력의 '겨우 못 푸는/겨우 푸는' 경계에 맞추어 선별됐다.
• 학술기관의 느린 의사결정을 기다리지 않고, 자금 없이 커뮤니티의 힘으로 빠르게 시작한 점이 특징이다.

쉽게 이해하기

하버드 수리과학·응용센터(CMSA)의 댄 프리드(Dan Freed) 소장이 진행한 이 좌담에는 '퍼스트 프루프' 프로젝트의 편집자 네 명이 참여했다. 니킬 스리바스타바(버클리·사이먼스 연구소), 모하메드 아부자이드(스탠퍼드), 로런 윌리엄스(하버드), 레이철 워드(UT 오스틴)로, 대수·조합론·심플렉틱 위상수학·응용수학 등 서로 다른 분야를 대표한다. CMSA는 수학과 과학의 양방향 상호작용을 다루는 센터이며, 오늘의 '과학'은 곧 AI다.

프로젝트의 문제의식은 분명하다. AI 기업들이 수학을 모델 능력의 시험대(test bed)로 삼기 시작했는데, 수학은 결과가 참 아니면 거짓이라 기계의 출력이 적절한지 검증하기 쉽기 때문이다. 이 과정에서 여러 사람이 AI와 수학을 이야기했지만, 발언자들의 독립성 수준이 늘 분명하지는 않았다. 그래서 수학자의 관점을 진짜로 대변하는 목소리가 필요하다는 것이 출발점이었다.

레이철 워드는 산업계에서 학계로 돌아오며 겪은 온도 차를 전한다. 산업계에서는 많은 자원과 인력이 'AI를 수학에 더 능하게 만드는' 데 투입되고 있었지만, 학계 일부는 다가오는 변화의 심각성을 잘 모르는 듯 보였다. 반면 모하메드 아부자이드는 이미 그 심각성을 이해하고 있었고, 'AI의 수학 능력을 평가하는 벤치마크를 만들자'는 구상을 갖고 있었다.

설계의 핵심은 속도였다. 미국수학회나 NSF의 결정을 6개월씩 기다릴 수 없다는 판단 아래, 처음에는 자금 없이 커뮤니티 노력만으로 밀고 나가기로 했다. 여러 분야의 수학자들을 초청해, 각자 연구에서 유기적으로 나왔지만 아직 arXiv에 올리지 않은 '연구 수준의 문제'를 하나씩 받았다. 즉 문제의 답은 출제자(혹은 공동연구자) 머릿속에만 있는 상태였다.

2025년 12월 무렵 편집자들이 모여, 당시 공개적으로 가장 뛰어난 축이던 AI 시스템으로 문제들을 시험했다. 일부 문제는 예상보다 잘 풀어 시스템의 발전 속도를 실감케 했고, 일부는 그렇지 못했다. 이렇게 능력의 경계선에 맞춰 최종 10개 문제를 골랐으며, 좌담에서는 스탐 부등식과 유한 자유확률 등 실제 문제 하나의 수학적 맥락도 상세히 소개된다.

주요 인사이트

• 수학이 AI 평가에 매력적인 이유는 결과가 참·거짓으로 명확해, 기계의 출력이 옳은지 검증하기 쉽다는 점에 있다.
• 벤치마크의 가치는 문제 난도의 절대치가 아니라, AI가 '겨우 못 푸는' 경계에 문제를 맞추어 능력의 최전선을 재는 데 있다.
• 미공개·연구 수준 문제를 쓰는 것은, 인터넷에 이미 풀이가 존재해 모델이 답을 외웠을 가능성을 배제하기 위한 설계다.
• 제도권의 느린 절차 대신 커뮤니티가 자금 없이 먼저 움직인 방식은, 빠르게 변하는 AI 흐름에 학계가 대응하는 하나의 모델을 보여 준다.
• 변화의 체감은 지역·학과마다 달랐다. 스탠퍼드에서는 대학원생과 컴퓨터과학과를 통해 먼저 뚜렷하게 느껴졌다고 참여자들은 전한다.

자주 묻는 질문

관련 AI 소식