GPT-5.2 벤치마크 해부: GDPval 전문가 초월 주장과 테스트타임 컴퓨트의 함정

핵심 메시지

• GPT-5.2는 다수 벤치마크에서 최고 수준이지만, 프런티어 성능을 내려면 그만큼 더 많은 사고 토큰을 소모한다.
• GDPval에서 '전문가 수준을 넘었다'는 주장은 디지털 직무, 사전에 맥락이 주어진 잘 정의된 과제라는 전제 위에 서 있다.
• 오픈AI는 이번 발표에서 클로드 오퍼스 4.5나 제미나이 3 프로와의 직접 비교를 넣지 않았다.
• 같은 능력을 잰다는 벤치마크끼리도 순위가 뒤집히며, 비공개 벤치마크에서는 GPT-5.2가 오히려 이전 버전보다 낮았다.
• 긴 맥락 회상에서는 40만 토큰 구간까지 거의 100% 정확도를 기록해 제미나이 3의 아성에 도전한다.

쉽게 이해하기

오픈AI가 GPT-5.2를 공개하며 여러 벤치마크에서 기록을 새로 썼다. 영상 제작자는 이 모델이 분명 좋은 모델이라고 인정하면서도, 헤드라인만 읽어서는 알 수 없는 아홉 가지 세부 사항을 짚는다. 핵심 전제는 하나다. 요즘 벤치마크 점수는 모델이 얼마나 오래, 얼마나 많은 토큰을 들여 생각했는지에 크게 좌우된다는 것이다.

발표 페이지 맨 위에 걸린 주장은 GDPval에서 처음으로 인간 전문가 수준에 도달하거나 이를 넘어섰다는 것이다. 전문가 심사에서 44개 직종의 상위 실무자와 비교해 71%의 경우 이기거나 비겼다고 한다. 다만 이 벤치마크는 주로 디지털 직무만을 대상으로 하고, 각 직종에서 일부 과제만 골랐으며, 과제의 전체 맥락을 모델에게 미리 제공한다. 오픈AI 스스로도 실제 업무에는 암묵지가 필요하다고 밝혔고, 벤치마크는 모델이 저지르는 치명적 실수의 파장을 계산에 넣지 않는다.

제작자는 GPT-5.2에 특정 축구 리그의 상대 전적 매트릭스를 만들게 해보고 결과의 정확성에 감탄했다고 전한다. 다만 아쉬운 점도 짚는다. 지난 10월 논문 때는 자사 최고 모델을 클로드 오퍼스 4.1과 비교해 열세를 인정하는 지적 정직함을 보였는데, 이번에는 오퍼스 4.5나 제미나이 3 프로와의 비교가 빠졌다는 것이다. 그 빈자리를 외부인들이 채웠다. 구글의 로건 킬패트릭은 같은 메인보드 이미지에 대해 제미나이 3 프로가 훨씬 정교한 분할 결과를 낸다고 응수했다.

테스트타임 컴퓨트 문제는 더 근본적이다. 오픈AI의 노엄 브라운은 벤치마크 결과를 단일 숫자로 발표하는 관행을 지적하며, 이상적으로는 모든 평가에 사용 토큰이나 비용을 나타내는 가로축이 있어야 한다고 말했다. 실제로 ARC-AGI에서는 돈과 토큰을 더 쓸수록 점수가 거의 일관되게 올라간다. GPT-5.2 프로에 최고 수준의 추론 노력을 준 설정은 90%를 넘겼고, 1년 전 88%를 기록한 o3와 비교하면 가격 대비 성능은 390배 개선됐다. 반대로 제미나이 3 프로도 외부 업체가 만든 스캐폴드를 붙이면 토큰을 더 쓰는 대신 비슷한 결과에 도달한다.

벤치마크 선택과 신뢰성 문제도 남는다. 오픈AI는 파이썬만 다루는 기존 소프트웨어 엔지니어링 벤치마크 대신 네 개 언어를 다루고 오염에 강한 SWE-Bench Pro를 강조했다. 표와 차트 이해라는 같은 능력을 잰다는 두 벤치마크에서도 순위가 뒤집힌다. MMMU 프로에서는 제미나이 3 프로가 81%로 앞서지만, CharXiv 추론에서는 GPT-5.2가 88.7% 대 81%로 크게 앞선다. GPQA 다이아몬드의 주저자조차 문항의 5~10%는 정답 자체가 잡음일 수 있다고 밝힌 바 있다.

제작자가 직접 운영하는 비공개 벤치마크 심플벤치의 결과는 더 흥미롭다. 정답을 API 호출에 노출하지 않고 프로그램으로 채점하는 이 평가에서 GPT-5.2 프로는 다섯 번 실행 평균 57.4%를 기록했다. 인간 기준선이 대략 84%, 제미나이 3 프로가 76.4%다. 기본형 GPT-5.2는 45.8%였고, GPT-5.1과 GPT-5보다도 소폭 낮았다. 널리 공개되는 코딩·수학 벤치마크에 최적화하다 보면 일반 지식과 상식 쪽이 희생되는 트레이드오프가 있을 수 있다는 해석이다.

그럼에도 분명한 개선은 있다. 20만 단어 분량에 흩어진 네 개의 정보를 모두 회상하는 과제에서 GPT-5.2는 거의 100% 정확도를 보였고, 이는 그동안 제미나이 3 프로의 전매특허였다. 40만 토큰까지는 GPT-5.2를, 100만 토큰이 필요하면 제미나이 3을 고려하라는 조언이 나온다. 반면 재귀적 자기 개선 쪽은 점진적이다. 오픈AI 자체 풀 리퀘스트 처리에서 55% 대 53%로 소폭 앞섰을 뿐이고, 머신러닝 엔지니어링 벤치마크에서는 GPT-5.1 코덱스 맥스보다 낮았다.

영상은 양 세기 비유로 마무리한다. 광활한 들판의 양을 한 마리씩 세어 나가는 팀이 있다면, 그것이 지금 대규모 언어모델이 인간의 과제를 하나씩 정복해 가는 방식이라는 것이다. 많은 사람이 기대했던 것은 알고리즘 하나로 모든 들판이 한순간에 스캔되는 영감의 섬광이었지만, 그런 순간이 오지 않더라도 벤치마크가 하나씩 깨지고 인간 기준선이 하나씩 넘어서다 보면 결국 모든 양은 세어질 것이라는 전망이다.

주요 인사이트

• 모델 비교가 어려워진 진짜 이유는 성능 차이가 아니라 각 모델에 허용된 사고 예산이 서로 다르다는 점이다. 단일 숫자 발표는 이 차이를 감춘다.
• 벤치마크가 '전문가 수준 초월'을 말할 때는 어떤 직무를, 어떤 조건에서, 어떤 실수를 세지 않고 측정했는지를 함께 읽어야 한다.
• 가격 대비 성능은 계속 급락한다. 1년 만에 같은 ARC-AGI 점수를 390배 싸게 얻을 수 있게 됐다는 사실은 절대 점수만큼이나 중요한 신호다.
• 공개 벤치마크에 최적화하면 파라미터 수를 줄여 서비스 원가를 낮추면서도 기대치를 맞출 수 있어, 일반적 상식 능력이 희생될 유인이 존재한다.
• 긴 맥락 성능은 이제 모델 선택의 실질적 기준이 됐다. 필요한 맥락 길이가 40만 토큰 이하인지 그 이상인지가 선택을 가른다.

자주 묻는 질문

관련 AI 소식