GPT·Claude·Gemini 월드컵 예측 비교 — 정확도가 아니라 모델 설계 차이가 보였다

핵심 메시지

• 실험의 목적은 어느 AI가 우승팀을 맞히느냐가 아니라, 같은 질문에 각 모델이 "어떻게" 답하는지를 보는 것이다.
• GPT 5.5는 숫자에 확신을 갖고 단정하고, Claude Opus 4.8은 모르는 것을 먼저 밝히며, Gemini 3.5 Flash는 가장 빠르고 짧게 답한다는 패턴이 반복된다.
• Claude의 신중함은 초반엔 강점이었지만 마지막엔 실제로 일어난 놀라운 사실(터키 탈락, 카보베르데 돌파 등)을 "조작된 전제"로 거부하는 약점으로 뒤집혔다.
• 세 모델 모두 메시가 라이브 득점에서 앞서는데도 골든부트로 음바페를 고집해, 학습 데이터 편향이 실시간 수치를 이기는 장면을 보여준다.
• 결론은 우승팀이 아니라, 각 모델의 "성격"을 알면 어떤 질문에 어떤 모델을 먼저 써야 하는지 알 수 있다는 것이다.

쉽게 이해하기

진행자는 GPT 5.5, Claude Opus 4.8, Gemini 3.5 Flash 세 모델에게 2026 월드컵과 관련된 같은 질문 10개를 던진다. 그는 처음부터 이 실험이 "누가 맞히는가"를 가리려는 것이 아니라, 같은 질문에 각 모델이 어떻게 답하는지를 보면 그 모델이 어떻게 만들어졌고 어떤 질문에 신뢰할 만한지 알 수 있다고 전제한다.

반복해서 드러나는 패턴은 세 가지다. GPT는 유용함을 우선해 숫자에 확신을 갖고 단정하며 불확실한 빈틈을 만들어 낸 자신감으로 채운다. Claude는 아는 것을 말하기 전에 모르는 것을 먼저 표시하며, 근거 없는 정밀함을 만들지 않으려 한다. Gemini는 속도에 최적화돼 가장 짧게 답하지만 구글 인덱스 덕에 실시간 데이터를 더 잘 읽을 때가 있다.

구체적 사례가 이어진다. 사전 예측에서 두 모델이 터키의 조 통과를 점쳤지만 Claude만 터키를 꼴찌로 봤고, 실제로 터키는 두 경기에서 무득점으로 탈락했다. 인구 52만의 카보베르데는 슈퍼컴퓨터 시뮬레이션에서도 0%였지만 조별리그를 통과했다. 라이브 라운드에서 Claude는 아직 열리지 않은 경기의 구체적 스코어 예측을 "확률적 근거가 없다"며 거부했고, GPT와 Gemini는 그래도 숫자를 만들어 냈다.

가장 흥미로운 반전은 마지막 단계에서 나온다. 진행자가 실제로 일어난 새 정보(터키 무득점 탈락, 카보베르데의 선전 등)를 넣자 GPT와 Gemini는 프랑스로 예측을 갱신했지만, Claude는 이 진짜 사실들을 "조작된 것 같다"며 거부했다. 또 메시의 이번 대회 득점(5골)과 통산 월드컵 득점(18골)을 혼동해 전제가 불가능하다고 결론짓는 오류도 보였다. 초반에 가장 정직했던 신중함이, 진짜인데 너무 놀라운 사실 앞에서는 가장 쓸모없는 답으로 뒤집힌 것이다.

진행자는 세 모델 모두 추론·작문·분석·코딩에는 정말 유용하지만, 한 번의 바운스로 모든 게 바뀌는 스포츠의 미래 예측은 애초에 어느 모델도 잘하도록 만들어진 일이 아니라고 정리한다. 확신은 전문성이 아니라 패턴 매칭을 확신처럼 포장한 것일 뿐이며, 진짜 교훈은 "각 모델의 성격을 알면 어떤 질문에 무엇을 먼저 써야 할지 알 수 있다"는 점이라고 마무리한다. (영상은 자신의 플랫폼 AI Master와 EIN PressWire의 협찬을 포함한다.)

주요 인사이트

• 같은 프롬프트·같은 지시에도 세 모델의 답변 상세도와 태도가 크게 갈렸다 — 이는 무작위 버그가 아니라 설계상의 선택, 즉 "성격"이다.
• Claude의 인식론적 겸손(모르면 모른다고 함)은 강점이자 약점이다. 진짜인데 놀라운 사실을 조작으로 의심해 거부하면 가장 정직한 모델이 가장 쓸모없어질 수 있다.
• GPT는 같은 대화 안에서 10분 전 자기 예측(프랑스)을 잊고 다른 답(스페인)을 내놓았다 — 각 프롬프트를 백지 상태로 보는 설계가 일관성 부재로 드러난다.
• 학습 데이터 편향은 강력하다. 메시가 라이브 득점에서 앞서도 세 모델이 모두 음바페를 골든부트로 고집한 것은 "음바페가 토너먼트 강자"라는 패턴이 실시간 수치를 눌렀음을 보여준다.
• 실용적 교훈: 단정적 숫자가 필요하면 GPT, 불확실성을 솔직히 알아야 하면 Claude, 최신 실시간 신호가 중요하면 Gemini처럼 질문 성격에 따라 모델을 골라 쓰는 것이 합리적이다.

자주 묻는 질문

관련 AI 소식