AGI는 오지 않는다: GPT-5와 오픈소스 모델이 보여준 LLM 성장 둔화의 신호

핵심 메시지

• 돌파구를 여는 발전의 시대는 끝났고, 이제는 세대마다 조금씩 좋아지는 스마트폰 같은 개선의 시대로 접어들었다는 진단이다.
• 새 모델들은 합성 데이터와 강화학습에 크게 기대어 코딩과 벤치마크 과제에 맞춰 조율된 것으로 보인다.
• 오픈소스 변형은 환각이 잦고 세상 지식이 적은 대신, 지시 따르기와 도구 호출은 매우 뛰어나다.
• 앞으로 경쟁의 축은 모델 자체가 아니라 어떤 도구를 붙일 수 있는가와 가격이다.
• 연구의 새 무대는 작은 실험으로 대규모 학습의 결과를 미리 예측하고 도중에 교정하는 기술이다.

쉽게 이해하기

머신러닝 연구자 야닉 킬허는 오픈AI가 한 주 사이에 내놓은 오픈소스 모델과 최신 프런티어 모델을 두고 짧은 소회를 밝혔다. 그의 결론은 단호하다. 경계를 허무는 발전의 시대는 끝났고, 흔히 말하는 범용 인공지능은 오지 않는다는 것이다. 그는 이것이 특정 회사만의 문제가 아니라 다른 프런티어 모델에서도 함께 확인되는 흐름이라고 덧붙였다.

그는 지금 상황을 스마트폰에 빗댄다. 초기 스마트폰은 새 세대가 나올 때마다 기기가 할 수 있는 일 자체가 확장됐지만, 지금은 카메라가 조금 낫고 소프트웨어가 조금 다듬어지는 수준의 개선이 반복된다. 아직 완전히 그 지점에 도달한 것은 아니지만 분명히 그쪽으로 향하고 있다는 것이 그의 표현이다.

기술적 근거로는 학습 방식의 변화를 든다. 커뮤니티에서는 새 모델들이 합성 데이터셋과 강화학습을 광범위하게 사용했다는 관측이 나온다. 여기저기서 데이터를 모으는 대신 특정 용도에 모델을 맞춰 간다는 뜻이고, 그 용도는 지금 가장 큰 효과를 내고 있는 코딩과 각종 벤치마크 과제로 짐작된다. 그는 벤치마크를 조작한다고까지 말할 생각은 없지만, 벤치마크에 도움이 될 데이터를 모아 곧바로 강화학습을 돌리는 일은 충분히 있을 법하다고 봤다.

그 흔적은 성능의 불균형으로 드러난다. 특히 오픈소스 변형은 환각이 눈에 띄게 많고 세상에 대한 지식이 다른 모델보다 적다는 평이 나온다. 반면 지시를 따르고 도구를 호출하는 능력은 대단히 뛰어나다. 킬허는 앞으로 LLM이 여러 도구 사이에서 정보를 실어 나르는 접착제 역할을 하는 미래를 예상하면서도, 도구 호출로 포장된 작업 상당수가 사실은 상당한 세상 지식을 요구한다는 점이 위험 요소라고 짚었다.

그래서 그는 지금이 연구자에게 오히려 흥미로운 시기라고 말한다. 데이터와 연산을 계속 밀어 넣어 성능을 얻던 시기가 지나고, 합성 데이터를 어떻게 만들지와 강화학습의 보상을 어떻게 설계할지를 다시 고민하는 국면으로 돌아왔기 때문이다. 다만 학습 한 번에 수백만 달러가 드는 지금은, 작은 실험과 초기 학습 궤적만으로 최종 결과를 예측하고 도중에 방향을 바로잡는 기술이 특히 값지다고 봤다.

주요 인사이트

• 성능이 좋아졌다는 발표와 근본 기술이 진보했다는 주장은 다르다. 무엇에 맞춰 조율됐는지를 함께 봐야 벤치마크 점수의 의미를 읽을 수 있다.
• 지시 따르기와 도구 호출은 잘하는데 세상 지식은 얕은 모델이 늘고 있다. 어떤 업무에 쓰느냐에 따라 체감 성능이 정반대로 갈릴 수 있다.
• 에이전트처럼 동작하는 모습 자체는 이제 거의 모든 제공사에서 기본으로 제공된다. 그것만으로 감탄할 이유는 없다는 것이 그의 지적이다.
• 최신 프런티어 모델이 비슷한 성능에 더 싼 가격으로 나온 점은, 경쟁의 축이 성능에서 가격과 도구 접근성으로 옮겨가고 있음을 보여준다.
• 대규모 학습 한 번의 비용이 수백만 달러에 이르면서, 결과를 미리 가늠하고 중간에 교정하는 능력 자체가 연구 주제가 됐다.

자주 묻는 질문

관련 AI 소식