제미나이 3.1 프로 벤치마크 해석: 점수는 올랐는데 왜 평가가 엇갈릴까

핵심 메시지

• 사전학습은 이제 모델 학습에 쓰이는 연산의 20% 정도만 차지하고, 나머지는 특정 영역을 겨냥한 사후학습에 들어간다. 그래서 한 모델이 모든 영역에서 동시에 앞서던 시대가 끝났다.
• 제미나이 3.1 프로는 ARC-AGI-2에서 77.1%로 클로드 오푸스 4.6(약 69%)을 크게 앞섰지만, 전문 직무 과제를 다루는 GDPval에서는 오히려 뒤처졌다.
• 체스 퍼즐 벤치마크에서 5개월 뒤에 나온 상위 모델이 이전 하위 모델보다 낮은 점수를 받는 등, 한 영역의 실력이 다른 영역으로 옮겨간다는 가정이 더는 통하지 않는다.
• 영상 제작자의 자체 시험인 심플벤치에서 79.6%를 기록해 인간 평균 기준선의 오차 범위 안에 들어왔지만, 객관식을 개방형으로 바꾸자 점수가 15~20%포인트 떨어졌다.
• 환각은 여전히 해결되지 않았다. 오답 중 환각 비율은 제미나이 3.1 프로가 50%로, 클로드 소네트 4.6(38%)이나 중국 모델 GLM-5(34%)보다 나빴다.

쉽게 이해하기

구글이 제미나이 3.1 프로를 내놓은 뒤 소셜미디어와 유튜브의 평가가 서로 어긋나는 현상이 반복됐다. 영상 제작자는 출시 후 24시간 동안 수백 번 직접 써 보고 아홉 쪽짜리 모델 카드까지 읽은 뒤, 이 혼란에 기술적인 이유가 있다고 설명한다. 핵심은 모델을 만드는 방식 자체가 바뀌었다는 점이다.

예전에는 인터넷 규모 데이터로 하는 사전학습이 모델 성능의 대부분을 결정했다. 지금은 그 단계가 전체 학습 연산의 20% 정도만 차지하고, 나머지는 특정 영역의 데이터와 내부 벤치마크를 놓고 모델을 다듬는 사후학습에 투입된다. 앤트로픽의 다리오 아모데이도 1년 전만 해도 강화학습 단계 지출이 모든 회사에서 작은 편이라고 말했을 정도로 최근에 일어난 변화다. 그 결과 어떤 회사가 내 업무 영역의 데이터를 갖고 있느냐에 따라 체감 성능이 완전히 달라진다.

숫자 자체도 곧이곧대로 읽기 어렵다. 연구자 멜라니 미첼은 ARC-AGI-2 문제의 인코딩을 숫자에서 다른 기호로 바꾸면 정확도가 떨어진다고 지적했다. 색을 나타내는 숫자에서 의도치 않은 산술 패턴을 찾아 정답에 도달하는 경우가 있다는 것이다. 심플벤치에서도 선택지 중 '0'이 있다는 사실만으로 모델이 함정 문제임을 눈치채는 일이 있었고, 객관식을 없애고 블라인드 채점으로 바꾸자 점수가 눈에 띄게 내려갔다.

코딩만 신경 쓰면 된다고 생각해도 사정은 비슷하다. ARC 벤치마크를 만든 프랑수아 숄레는 충분히 발전한 에이전트 코딩이 사실상 머신러닝과 같아진다고 말한다. 목표를 주면 에이전트가 도달할 때까지 반복하고, 결과물은 내부 논리를 들여다보지 않은 블랙박스 모델이 된다는 것이다. 모델이 벤치마크에서 엉뚱한 패턴을 찾아냈듯, 내 코드베이스에서도 명세에 과적합하거나 원래 의도에서 표류할 수 있다.

그럼에도 제작자는 의미 있는 문턱 하나를 넘었다고 본다. 영어 텍스트만으로 구성한 공정한 시험에서, 전문가가 아닌 평범한 사람이 최전선 모델을 뚜렷하게 이길 만한 문제를 이제는 만들기 어렵다는 것이다. 동시에 구글 모델 카드는 답이 정해진 홍보 문구와 다른 이야기를 한다. 사이버 영역에서는 추론 비용을 감안하면 딥 싱크 모드가 오히려 더 나빴고, 파인튜닝 스크립트 실행 시간을 300초에서 47초로 줄여 인간 참조 답안(94초)을 앞선 결과도 자기개선의 신호라기보다 파인튜닝 관련 데이터를 학습에 넣은 결과로 읽을 여지가 있다.

주요 인사이트

• 모델 선택 기준을 '종합 1위'가 아니라 '내 업무 영역에서의 성적'으로 바꿔야 한다. 사후학습이 성능을 좌우하는 지금은, 특정 회사가 확보한 산업 데이터가 곧 그 영역의 우위로 이어진다.
• 벤치마크 점수는 문제를 내는 방식에 민감하다. 같은 질문도 인코딩이나 보기 형식만 바꾸면 성적이 달라지므로, 단일 점수보다는 여러 형태로 검증한 결과를 보는 편이 안전하다.
• 잘하는 모델이 못하는 순간에도 잘한다는 보장은 없다. 종합 점수가 가장 높은 모델이 오답을 낼 때는 가장 자신 있게 틀리는 경우가 있어, 사실 확인이 중요한 업무에서는 다른 기준이 필요하다.
• 벤치마크를 만들 예산과 인력을 가진 곳이 결국 개발사 자신이라는 구조적 문제가 있다. 검증 가능한 보상으로 강화학습을 돌릴 수 있는 순수한 일반지능 척도가 있다면 개발사가 가장 먼저 그것에 최적화할 유인이 크다.
• 아모데이는 충분히 많은 전문 영역에 특화하면 결국 일반화된다는 쪽에 걸고 있다. 그의 말대로라면 지속학습 없이도 상당 부분 도달할 수 있고, 부족한 부분은 길어진 컨텍스트 창에 내 영역의 자료를 넣어 메우는 방식으로 해결된다.

자주 묻는 질문

관련 AI 소식