AI 수학 증명 벤치마크 ‘퍼스트 프루프’ 2차 결과: 미공개 난제 10개 중 7개서 근접

핵심 메시지

• 하버드 CMSA의 ‘퍼스트 프루프(First Proof)’는 인터넷 어디에도 풀이가 공개되지 않은 새 수학 문제로 AI 시스템의 증명 능력을 검증하는 벤치마크다.
• 2차 라운드는 다양한 분야에서 엄선한 10개 문제와, 수학자들이 직접 작성한 상세 정답을 기준으로 4개의 AI 시스템을 시험했다.
• 각 시스템은 대형언어모델(LLM)을 ‘증명자’와 ‘검증자’로 두고 피드백을 주고받게 만드는 하네스(harness) 형태였고, 24시간 시간 제한 안에서 공개된 상용 모델을 호출했다.
• 30명의 전문 수학자(문제당 3명)가 독립적으로 검토한 결과, 10문제 중 3개는 유의미한 진전이 없었지만 나머지 7개에서는 완결된 풀이거나 전문가가 고칠 수 있을 만큼 근접한 풀이가 나왔다.
• 다만 ‘사소한 수정’ 판정을 받은 풀이도 서술 방식·인용 문제 때문에 실제 학술지에 그대로 실리긴 어려운 경우가 많았다. LLM은 사람처럼 글을 쓰지 않기 때문이다.

쉽게 이해하기

하버드 수리과학·응용센터(CMSA)가 진행하는 ‘퍼스트 프루프’는 AI가 진짜 수학 연구를 할 수 있는지 검증하려는 시도다. 핵심은 문제의 성격에 있다. 인터넷 어디에도 풀이가 공개되지 않은, 새로 만든 문제만 사용한다. 그래야 AI가 기존 풀이를 기억해 내는 것이 아니라 실제로 증명을 구성하는지 확인할 수 있다.

2차 라운드에서는 여러 분야의 수학자들을 이틀간 모아 10개의 문제를 만들었다. 곧 발표될 결과에서 증명이 8쪽 안팎인 작은 부분을 떼어내 벤치마크용으로 다듬는 식이었고, 문제마다 매우 상세한 정답도 함께 작성했다. 운영에는 CMSA와 사이먼스 연구소, ‘AI for math’ 기금 등이 참여했고, 앤트로픽과 오픈AI가 조건 없는 기부로 문제 출제자와 심사자 비용을 지원했다.

시험 대상은 A·B·C·D로 익명 처리한 4개 시스템이었다. 세 곳은 학계 팀(ETH 소속 연구자가 이끄는 IMO ProofBench 팀, UCLA 중심 팀, 프린스턴대 팀)이 제출한 코드였고, 나머지 하나는 오픈AI가 제공한 프롬프트로 구동한 공개 버전의 GPT-5.5 Pro였다. 모든 시스템은 LLM을 ‘증명자’와 ‘검증자’로 두고 서로 피드백을 주고받게 하는 하네스 형태였으며, 24시간이라는 시간 제한 안에서 일반이 접근 가능한 상용 모델을 호출하도록 했다.

채점은 30명의 전문 수학자가 맡았다. 문제당 3명의 전문가가 붙어 처음에는 독립적으로 보고서를 쓰고, 이후 서로 논의해 오독이나 오류가 없는지 확인했다. 결과는 ‘즉시 기각(해법의 실마리가 안 보임)’, ‘대규모 수정 필요(전략은 가능하나 큰 공백)’, ‘사소한 수정(결함은 있으나 전문가가 고칠 수 있음)’, ‘오류 없음(수학적으로 완결)’으로 분류했다.

종합하면 10개 문제 중 4·8·10번 세 문제에서는 시스템들이 유의미한 진전을 만들지 못했다. 반면 나머지 7개 문제에서는 완결된 풀이를 내거나, 전문가가 한두 줄을 바로잡으면 될 만큼 근접한 풀이를 냈다. 다만 심사자들은 ‘사소한 수정’과 ‘대규모 수정’의 경계가 미묘했다고 지적했고, 사소한 수정 판정을 받은 풀이라도 서술·인용 방식이나 사실상의 표절 우려 때문에 실제 학술지 게재 기준에는 못 미치는 경우가 많다고 밝혔다.

주요 인사이트

• ‘인터넷에 없는 새 문제’를 쓰는 설계는 데이터 오염(모델이 정답을 이미 학습했을 가능성)을 차단하려는 것으로, AI 수학 평가에서 벤치마크 신뢰성의 핵심이다.
• 이번에 시험한 시스템은 단일 모델이 아니라 ‘증명자-검증자’ 피드백 루프를 갖춘 하네스였다. 성능은 기반 모델뿐 아니라 이 파이프라인 설계에도 달려 있다.
• ‘7개 문제에서 완결·근접 풀이’라는 결과는 인상적이지만, 무엇을 성공으로 볼지가 관건이다. 사소한 수정 판정도 실제 논문 수준과는 거리가 있었다.
• 심사자들이 지적한 서술·인용·표절 우려는 AI가 ‘맞는 답’을 넘어 ‘사람이 읽고 검증할 수 있는 증명’을 쓰는 일이 별개의 과제임을 보여 준다.
• 채점을 30명의 전문가가 문제당 3명씩 독립 검토한 점은, AI 수학 성과를 자동 채점이 아니라 사람의 엄밀한 심사로 판정했다는 점에서 의미가 있다.

자주 묻는 질문

관련 AI 소식