AI 모델 선택법: 벤치마크 점수보다 내 작업 방식이 먼저인 이유

핵심 메시지

• '더 똑똑한 모델'을 먼저 찾지 말고, 자신이 최고의 결과를 내는 작업 과정을 먼저 살핀 뒤 그 흐름을 가속하는 모델을 고르라는 것이 영상의 핵심 조언이다.
• 화자는 자신에게는 GPT-5.6 '소울'이 잘 맞는다고 말하지만, 그것이 모두에게 맞는 답은 아니라고 강조한다.
• 그는 여러 모델을 '가족'에 비유한다. OpenAI의 5.x 계열은 길게 이어지는 에이전트형 코딩과 명시적 지시 처리에 강하고, 앤트로픽 계열(파이블 5 등)은 모호한 과제와 프런트엔드 감각, 개념적 사고에 강하다는 것이다.
• 벤치마크 점수는 이런 '가족'의 성격 차이를 제대로 담아내지 못한다고 보고, 실제로 써 보며 자신의 워크플로우에서 시험하라고 권한다.
• 정답을 원하는 사람에게는 '가장 어려운 작업을 할 때 가장 편안하게 느껴지는 모델'을 고르라고 정리한다.

쉽게 이해하기

이 영상은 새 AI 모델이 쏟아질 때마다 반복되는 질문, 즉 '어떤 모델을 써야 하나'에 대한 답을 다룬다. 화자는 자신에게 맞는 모델을 알려주기보다, 시청자가 스스로 자신에게 맞는 모델을 고를 수 있는 판단 기준을 제공하는 것이 목표라고 밝힌다. 그는 사설 벤치마크로 모델을 평가하고 있지만, 그 점수 자체가 선택의 근거가 되어서는 안 된다고 못 박는다.

화자는 자신이 자주 쓰는 GPT-5.6 '소울'을 '덜 똑똑한' 모델이라 부르면서도 매우 지적인 모델이라고 설명한다. 그는 이 모델이 55개 분야의 장기 전문 업무를 측정하는 시험에서 최고 점수를 냈고, 자신의 지식노동 벤치마크('딩고')에서도 93점을 받았다고 전한다. 다만 앤트로픽의 파이블 5가 주는 '큰 모델 특유의 감각'은 없다고 덧붙인다.

그는 이 차이를 각 회사의 투자 방향으로 설명한다. OpenAI는 기존 모델 계열에 대한 강화학습에 집중해 특정 과제(지식노동, 장기 에이전트 코딩)에서 점점 유용해지도록 했고, 앤트로픽은 더 큰 데이터로 사전학습에 투자해 더 범용적이고 모호함을 잘 다루는 모델을 만들었다는 것이다. 화자는 어느 쪽도 아직 진정한 범용 지능은 아니며, 지금 우리 앞에 놓인 모델을 어떻게 활용할지가 관건이라고 말한다.

그가 제시하는 방법은 '모델을 먼저 보지 말라'는 것이다. 대신 자신이 최고의 결과물을 낼 때의 과정을 보고, 어떤 모델이 그 사고의 반복 루프를 빠르게 해주는지 물으라고 한다. 예컨대 화자는 음성으로 길고 다소 기술적인 프롬프트를 말하고 코덱스 같은 도구로 스스로 개선하는 방식을 즐기는데, 이 습관이 GPT-5.6과 잘 맞는다고 설명한다. 반면 높은 수준의 모호함을 다루거나 개념을 붙잡는 작업이 많다면 파이블이 더 맞을 수 있다고 말한다.

마지막으로 그는 모델들이 점점 '가족'처럼 되어 벤치마크로 줄 세우기 어려워지고 있다고 주장한다. 한 가족이 다른 가족보다 '더 똑똑하다'고 말하지 않듯, 모델도 우열이 아니라 성격의 차이로 봐야 한다는 것이다. 결론적으로 그는 '가장 어려운 일을 할 때 가장 편안한 모델'을 고르라는 실용적 지침을 남긴다.

주요 인사이트

• 모델 선택의 출발점을 '모델의 스펙'이 아니라 '나의 작업 과정'으로 뒤집는 관점이 이 영상의 핵심이다. 같은 모델이라도 사용자의 프롬프트 습관과 업무 성격에 따라 체감 성능이 달라진다.
• 화자는 벤치마크 점수(자신의 것 포함)가 모델의 실제 쓸모를 완전히 담지 못한다고 보고, 직접 자신의 워크플로우에서 시험해 볼 것을 강조한다.
• OpenAI 5.x 계열(명시적 지시·장기 에이전트 코딩에 강함)과 앤트로픽 계열(모호함·프런트엔드 감각·개념적 사고에 강함)의 '성격 차이'를 이해하면, 우열 비교보다 적합성 판단이 쉬워진다.
• 지식노동용 AI 도구는 아직 코딩용 도구만큼 정교한 '작업 환경'을 갖추지 못했다는 지적은, 비개발자 사용자에게 남아 있는 개선 여지를 보여준다.
• 여러 모델을 하나의 중심 모델이 조율하도록 엮는 오케스트레이션 방식(화자가 만든 '링어' 등)은, 성능과 비용을 함께 고려하는 실전 활용 전략을 시사한다.

자주 묻는 질문

관련 AI 소식