중국 오픈소스 AI 모델 러시와 RL 스케일링: 로스 테일러가 짚은 평가·인재·컴퓨트

핵심 메시지

• 불과 2주 사이 Z.ai의 GLM-4.5, 문샷의 Kimi K2, 알리바바의 Qwen 계열이 잇달아 공개되며 오픈모델 경쟁이 격화됐고, 라이선스 조건도 함께 좋아졌다.
• 오픈모델은 하나의 덩어리가 아니다. 추론 연구에는 Qwen을, 증류에는 딥시크나 Kimi를 쓰는 식으로 용도가 갈린다.
• 모델 품질 차이는 조직 간 인재 격차보다 자원을 인재에게 제대로 흘려보내는 효율의 문제라는 것이 테일러의 진단이다.
• 지금은 좋은 평가(eval)를 만드는 것의 레버리지가 역사상 가장 크지만, 나쁜 평가는 심각한 보상 해킹만 낳는다.
• '수학과 코드를 넘어 일반화되지 않는다'는 주장은 과장이며, 진짜 질문은 일반화 여부가 아니라 그 성능이 어디까지 올라가느냐다.

쉽게 이해하기

인터커넥츠 팟캐스트에 다시 나온 로스 테일러는 페이퍼스 위드 코드의 공동창업자이자 메타에서 갈락티카를 이끌었고, 라마 시절 추론 연구를 담당했던 인물이다. 대담은 중국 오픈모델의 최근 흐름에서 출발한다. 두 사람은 여름이 한산할 줄 알았는데 Z.ai의 GLM-4.5, 문샷의 Kimi K2, 알리바바의 Qwen이 연달아 나오며 다 써보지도 못할 속도가 됐다고 말한다. 테일러는 중국 쪽이 무언가 성공적이라고 판단되면 자원을 집중해 밀어붙이는 데 강하고, 딥시크 이후로는 정부 차원의 자원 투입까지 붙었다고 본다.

여기서 나오는 지정학적 질문이 흥미롭다. 오픈소스의 표준이 중국제가 된다면, 그 모델들을 단순한 제품 구동 요소가 아니라 인프라로 볼 때 무엇을 의미하느냐는 것이다. 다만 두 사람은 '중국은 국가가 밀어주는데 미국 대학은 왜 못 하나' 식의 단순 비교가 바이럴은 잘 되지만 사실과는 거리가 있다고 지적한다. 또 오픈모델을 균질한 덩어리로 보는 시각도 경계한다. 새 추론 논문을 쓴다면 Qwen을 쓰고, 증류를 한다면 딥시크나 Kimi를 쓰는 식으로 실제 용도는 뚜렷하게 갈린다.

대담의 상당 부분은 모델을 만드는 조직 이야기다. 테일러는 소셜미디어가 연구자 이적을 프로스포츠 드래프트처럼 보도하며 병목이 인재라고 착각하게 만든다고 본다. 그의 진단은 다르다. 기계학습은 경험과학이고, 좋은 모델과 나쁜 모델의 차이는 대개 자원을 인재에게 제대로 흘려보내지 못한 비효율을 반영한다는 것이다. 그는 여러 랩이 젊고 의욕적인 사람들을 오래 갈아 넣는 방식으로 굴러가는 것을 두고, 이전 세대 모델을 만든 사람들이 자산처럼 취급되는 게 안타깝다고 말한다. 다만 조직의 혼란은 단기 노이즈일 뿐, 근본 동력인 연산량이 계속 늘어나는 한 추세선은 나쁘지 않다는 것이 그의 전망이다.

평가에 관한 논의는 이 대담에서 가장 실용적인 대목이다. 테일러는 지금 좋은 평가를 만드는 일의 레버리지가 이 분야 역사상 가장 크다고 말한다. 전통적으로 평가 제작은 인기 없는 일이었지만, 지금은 소수의 인원이 프런티어 랩이 겨냥할 다음 목표를 정의할 수 있고 큰 클러스터도 필요 없다. 반대로 나쁜 평가는 심각한 보상 해킹만 낳는다. 진행자는 사전학습·사후학습·에이전트라는 세 시기를 나누며, 사후학습 평가가 형식과 추출에 치우쳐 있어 오히려 가장 까다로울 수 있다고 본다.

학계의 추론 연구에 대한 비판도 이어진다. 진행자는 자신이 참여했던 논문에서 Qwen에 무작위 보상을 줘도 평가 점수가 올라간 사례를 든다. 보상이 없으면 기울기가 0이어야 하는데, 알고리즘이 가장 흔한 시퀀스 쪽으로 모델을 붕괴시키면서 원래 자주 하던 행동이 더 자주 나오고, 그 행동이 벤치마크에 유리했던 것이다. 테일러는 논문을 읽을 때 '얻은 이득 대비 도입한 복잡도'를 보라고 조언한다. 복잡한데 이득이 작으면 오래 못 가고, 단순한데 이득이 크면 살아남는다는 것이다. 그가 최근 GSPO를 긍정적으로 본 이유도 같다. 토큰 단위로 걸던 중요도 가중치를 시퀀스 단위로 바꿔 분산을 줄인 것인데, 발상이 단순하고 중요도 표본추출의 기본 원리에서 잘 동기부여됐기 때문이다.

주요 인사이트

• 테일러는 수학과 코드에서 시작한 것은 검증이 쉬웠기 때문일 뿐이라고 말한다. 그 과정에서 모델이 배운 '성급히 답하지 말고 검토하고 대안을 고려한다'는 전략 자체가 다른 영역으로 옮겨가기 때문에, 일반화 여부보다 성능의 상한이 진짜 질문이라는 것이다.
• 요즘 유행하는 '루브릭'의 정체를 두 사람은 냉정하게 정리한다. 결국 질문별 LLM 심판이며 평가의 가장 기본 단위라는 것이다. 딥리서치가 계기가 됐고, 수만 개가 아니라 잘 만든 수천 개 수준으로도 충분했다는 이야기가 돌았다고 한다.
• 루브릭의 목적은 수학처럼 0 또는 1로 끊기는 보상 대신, 모델이 점진적으로 배울 수 있는 연속적인 보상 구조를 만드는 것이다. 다만 좋은 루브릭을 만들려면 그 과제를 수행할 능력이 이미 필요하다는 순환이 있다.
• 긴 에이전트 궤적의 시대에는 보상 모델이 '이 에이전트가 목표를 향해 나아가고 있는가'라는 단순하지만 깊은 질문에 답하면 된다는 관점이 제시된다. 다만 잘못하면 보상 하나 얻자고 막대한 연산을 쓰게 된다.
• 장기 병목은 지능이 아니라 검증이라는 지적이 인상적이다. 생물학처럼 물리 실험이 필요한 영역에서는 시뮬레이션 품질이 상한이 된다. 망원경 없이 케플러가 없었고 X선 결정학 없이 생물학의 진전이 없었듯, 데이터를 만들어내는 도구가 병목이라는 것이다.
• 알파이볼브에 대해 테일러는 과거 프로그램과 점수를 데이터베이스에 쌓아 다음 제안의 사전지식으로 쓰는 구조라고 설명한다. 특히 흥미로운 지점은 가장 강한 제미나이 모델이 아니라 추론이 빠른 약한 모델이 주로 쓰였다는 사실이다.

자주 묻는 질문

관련 AI 소식