추론 모델의 현재 — 테스트 타임 스케일링과 벤치마크로 읽는 오픈AI·구글·메타의 서로 다른 목표

핵심 메시지

• 추론 모델 연구는 다소 고착 상태다. 딥시크 R1이 추론의 가능성을 충분히 보여준 뒤, 어떻게 추론 행동을 발생시킬 것인가에 대한 공개 논의는 사실상 R1이 처음이자 마지막에 가까웠고 이후 논문 대부분은 기존 모델이 만든 추론 과정을 복제해 학습하는 방식이다.
• 연구자들 사이에 회의감도 감지된다. 벤치마크가 수학 올림피아드 문제 점수에 쏠려 있는데, 일반 사용자는 평생 그 수준의 수학 문제를 풀 일이 없기 때문이다. 그래서 지금은 '어디에 써야 유의미한가'로 관심이 옮겨가는 단계다.
• 최근 논문들은 더 근본적인 질문을 던진다. 추론 학습이 정말 새로운 능력을 잠금 해제하는가다. 베이스 모델에게 수천 번의 기회를 주면 추론 모델이 푸는 문제를 결국 풀어내더라는 관찰이 있어, 없던 능력을 만든 게 아니라 숨어 있던 능력을 끄집어낸 것 아니냐는 해석이 나온다.
• 추론은 테스트 타임 스케일링의 한 형태다. 같은 모델에 답을 열여섯 번 내게 하는 전통적 방식은 독립 시행이라 같은 답이 반복되지만, 추론은 하나의 맥락 안에서 이어지기 때문에 중복을 피하며 더 효율적으로 탐색한다.
• 각 회사가 고른 벤치마크만 봐도 지향이 드러난다. 오픈AI는 과학자를 대신하는 AI 쪽에, 구글은 얼마나 사실에 부합하게 답하는가에, 메타는 일반 사용자 경험 쪽에 무게를 싣고 있다.

쉽게 이해하기

테디노트가 스튜디오에 초대한 손규진 씨는 핀테크 스타트업에서 AI를 연구하며 연초부터 추론 모델을 파고들어 온 개발자다. 그가 먼저 꺼낸 진단은 다소 냉정하다. 추론이 신기했던 순간은 이미 지나갔고, 지금은 그럼 우리가 어떨 때 추론을 써야 하는지, 추론이 요구하는 훨씬 많은 연산을 어디에 썼을 때 유의미한지를 고민하는 단계라는 것이다.

현황은 고착에 가깝다. 추론 모델을 어떻게 만들 수 있는지를 실제로 공개한 곳은 사실상 딥시크뿐이고, 쏟아지는 논문 대부분은 기존 추론 모델이 생성한 추론 과정을 그대로 복제해 학습시키는 경우다. 추론 모델이 아예 없다는 가정에서 추론이라는 행동 자체를 어떻게 발생시킬 것인가를 다룬 논의는 딥시크 R1이 처음이자 거의 마지막이었다는 것이 그의 표현이다.

그렇다면 추론 모델을 쓰지 않고 추론 과정만 흉내 내면 어떨까. 진행자가 비추론 모델에 추론 과정을 프롬프트로 주입해 모사시키는 방식을 쓰고 있다고 하자, 어느 정도까지는 성능 향상이 있을 것이라는 답이 돌아온다. 다만 답을 바로 뱉는 대신 설명을 하며 나아가는 생각의 사슬은 양날의 검이다. 길어질수록 오류가 전파될 확률이 커지지만, 반대로 생각하는 시간이 늘어 성능이 오를 수도 있다. 결국 태생적으로 추론하도록 만들어진 모델과의 차이는 남는다.

그가 보는 추론 모델의 진짜 의미는 오래 생각하는 능력 그 자체에 있다. 대부분의 문제는 그렇게 오래 생각할 필요가 없으므로 사실 추론 모델이 필요 없는 경우가 더 많다. 하지만 최근 공개된 연구 중에는 모델이 48시간 동안 생각하게 만드는 사례가 있고, 5분만 더 생각해도 체감되는 성능 차이가 나는 상황에서 모델이 48시간, 나아가 한 달을 생각할 수 있게 되면 그때는 어떤 문제를 풀게 될지가 궁금해진다는 것이다.

대화의 본 주제는 빅테크가 추론 모델을 어디에 쓰려 하는가다. 방법은 단순하다. 각 사가 가장 최근 모델 발표에서 어떤 벤치마크를 썼는지 나란히 놓고 보는 것이다. 오픈AI의 o3와 o4-미니, 메타의 라마 4, 구글의 제미나이 2.5를 비교하자 회사별 성격 차이가 뚜렷하게 드러났다.

주요 인사이트

• 오픈AI가 고른 벤치마크는 이공계로 확연히 쏠려 있다. 수학 경시 문제와 이미지가 섞인 수학 문제, 코드포스와 SWE-bench 같은 코딩 평가, 프리랜서 일감을 AI 에이전트에게 대신 시켰을 때 얼마를 벌 수 있는지 보는 평가, 논문 차트를 보고 저자와 비슷한 판단을 할 수 있는지 보는 평가, 컴퓨터 브라우징과 함수 호출 능력까지. 정리하면 박사 수준의 지식을 갖고, 차트를 이해하고, 프로 개발자 대신 코드를 짜고, 직접 컴퓨터를 조작해 실험까지 하는 AI, 즉 과학자를 대신하는 AI를 지향한다는 해석이 나온다.
• GPQA는 이 지향을 잘 보여주는 사례다. 물리·화학·생명과학 세 분야의 박사들이 각각 문제를 내고, 다른 분야 박사들이 구글 검색을 해가며 풀어도 못 푸는 문제만 남긴 벤치마크다. 벤치마크를 만들 때 늘 따라오는 '모델이 예전에 그 문제를 본 적 있는 것 아니냐'는 의심을, 검색만으로는 풀 수 없다는 설계로 차단한 것이다.
• 구글은 정반대 지점에 힘을 준다. 비교 가능성을 위해 오픈AI와 겹치는 항목을 대체로 따라가면서도, 얼마나 사실에 부합하는가를 재는 벤치마크를 쓰는 곳은 구글뿐이다. 흥미로운 대목은 그 사실성 벤치마크가 정작 오픈AI가 만든 것인데 오픈AI는 쓰지 않는다는 점이다. 여기에 긴 맥락 처리와 사람이 느끼는 응답 품질까지 챙기는데, 검색 엔진이 대체되는 것을 막기 위한 투자로 읽으면 자연스럽다.
• 라마 4는 상대적으로 쉬운 벤치마크를 쓴다. 다만 이것이 곧 나쁜 신호는 아니라는 단서가 붙는다. 일반 사용자를 대상으로 한다면 고대 산스크리트 해석 같은 능력은 사실상 쓸모가 없고, 오히려 쉬운 문제에서 강건함이 유지되는지가 더 중요한 가치일 수 있기 때문이다. 사람이 직접 투표하는 플랫폼을 인간 정렬 평가에 쓰는 것도 같은 맥락이다.
• 눈에 띄는 공백은 다국어다. 예전 오픈AI 논문에서는 한국어 시험을 포함해 다국어 성능을 평가했지만 최근에는 그런 평가가 보이지 않는다. 어차피 과학자는 영어를 한다는 판단일 수도, 모델이 충분히 커지면 알아서 잘한다는 판단일 수도 있다. 반면 구글과 메타는 전 세계를 대상으로 서비스하겠다는 의도가 벤치마크 구성에 그대로 드러난다.

자주 묻는 질문

관련 AI 소식