GLM-5.2 분석: GRPO 대신 PPO로 훈련한 오픈 가중치 에이전트 모델과 100만 토큰 설계

핵심 메시지

• GLM-5.2는 MIT 라이선스로 공개된 오픈 가중치 모델이면서도 공개 시점 기준 세계 최상위권 성능을 보였고, 백만 토큰당 입력 1.4달러·출력 4.4달러로 주요 상용 모델보다 최소 다섯 배가량 저렴하다.
• 개발사 Z.ai는 최근 강화학습의 표준처럼 쓰이던 GRPO를 버리고, 비평가(critic) 모델을 쓰는 PPO 계열 방식으로 되돌아가 에이전트 능력을 훈련했다.
• GRPO는 수학처럼 정답이 하나로 검증되는 과제에는 잘 맞지만, 길이와 경로가 제각각인 에이전트 작업에서는 어떤 행동에 공을 돌릴지 판단하기 어렵다.
• 100만 토큰 문맥을 실제로 쓸 수 있게 하려고, 희소 어텐션의 인덱서를 네 개 층마다 공유해 인덱싱 연산의 75%를 줄이는 설계를 도입했다.
• 모델 계층과 서빙·하드웨어 계층을 분리하는 오픈 가중치 전략은 최적화 부담을 생태계에 넘기는 대신 연구 역량을 모델 자체에 집중시킨다.

쉽게 이해하기

중국 AI 기업 Z.ai가 공개한 GLM-5.2를 두고 영상은 '에이전트 분야의 딥시크 순간'이라는 표현을 쓴다. 누구나 자유롭게 쓰고 그 위에 무언가를 만들 수 있는 MIT 라이선스 오픈 가중치 모델이, 구글의 대표 모델들을 포함한 여러 상용 모델과 견줄 성능을 냈기 때문이다. 가격도 백만 토큰당 입력 1.4달러, 출력 4.4달러로 최상위 상용 모델의 5분의 1 수준이다.

이 모델이 특별한 이유는 단순한 점수가 아니라 '에이전트'로서의 쓸모에 있다. 그동안 오픈 가중치 모델은 도구를 여러 번 호출하고 긴 흐름을 스스로 이어가는 자율 작업에서 쉽게 무너졌고, 그래서 많은 사람이 비싼 상용 모델에 돈을 냈다. 영상은 금융·의료·법률 등 실제 업무를 흉내 낸 평가에서 GLM-5.2가 그 간극을 상당 부분 메웠다고 전한다.

핵심 기술 이야기는 강화학습 방식의 전환이다. 최근 추론 모델 훈련에는 딥시크가 제안한 GRPO가 널리 쓰였다. 같은 질문에 여러 답을 뽑아 평균보다 나은 답은 강화하고 못한 답은 억제하는 방식으로, 별도의 비평가 모델이 필요 없어 저렴하다. 정답을 기계적으로 검증할 수 있는 수학 문제에는 잘 들어맞았다.

그러나 에이전트 작업은 수학처럼 깔끔하지 않다. 어떤 작업은 50단계로 끝나고 어떤 작업은 500단계가 걸리며, 중간 단계 하나만 어긋나도 전체가 실패한다. 최종 성공 여부만으로는 어느 행동이 잘한 것인지 알기 어렵고, 서로 비교 가능하다는 GRPO의 전제 자체가 흔들린다. Z.ai는 그래서 비평가가 '지금 상태에서 앞으로가 얼마나 좋아 보이는지'를 예측하고 실제 결과와 비교하는 PPO 방식으로 되돌아갔다. 단계마다 신호가 생기므로 길이가 들쭉날쭉한 궤적도 학습에 쓸 수 있다.

긴 문맥을 감당하는 방법도 눈길을 끈다. 희소 어텐션은 모든 토큰을 보지 않고 인덱서가 중요한 토큰을 골라내는데, 100만 토큰 규모에서는 그 고르는 작업 자체가 비싸진다. 연구진은 희소 어텐션 층 네 개가 인덱서 하나를 공유하도록 해 인덱싱 작업을 75% 줄였고, 문맥이 길어질수록 처리량 이점이 커지는 결과를 얻었다. 영상은 이를 두고 문맥이 길어지면 성능이 무너지는 '마케팅용 100만 토큰'과 구별되는 지점이라고 평가한다.

주요 인사이트

• 토큰 단가가 싸다고 실제 비용이 싸지는 것은 아니다. 영상은 같은 과제를 푸는 데 쓰인 토큰 수까지 함께 봐야 하며, 단가 차이가 11배라도 과제당 비용 차이는 5.5배에 그치는 사례가 있다고 지적한다.
• 벤치마크 점수가 비슷해도 실제 사용감은 다를 수 있다. 상용 모델이 확보한 비공개 데이터의 폭 때문이며, 그래서 사람이 두 결과를 직접 비교해 고르는 아레나 방식이 체감 품질의 더 나은 신호가 되기도 한다.
• 에이전트 훈련은 단순한 질문-답변 쌍이 아니라 상태·행동·도구 호출·피드백으로 이뤄진 궤적을 다루는 일이다. Z.ai가 만든 'slime'은 환경마다 다른 이 궤적들을 하나의 형식으로 표준화해 학습 로직과 분리한다.
• 짧은 작업에서는 연산 속도가 병목이지만, 초장문 문맥에서는 방대한 KV 캐시를 어떻게 관리하느냐로 우선순위가 옮겨간다. 이는 앞으로의 에이전트 인프라 설계 방향을 시사한다.
• 오픈 가중치 공개는 단기적으로는 수익을 포기하는 선택이지만, 서빙과 최적화를 외부 생태계에 맡겨 자사의 연산 자원을 훈련과 연구에 집중시킬 수 있다는 장기적 이점이 있다.

자주 묻는 질문

관련 AI 소식