오픈 웨이트 AI 모델 현황: Kimi K3·Qwen 개방 선언과 증류 논쟁이 말해주는 것

핵심 메시지

• 오픈 모델이 비공개 프런티어에 몇 달 뒤처졌는지를 단일 숫자로 말하기 어렵다. 벤치마크가 너무 많아 각자 유리한 지표를 골라 쓰는 상황이기 때문이다.
• 실사용 후기로는 Kimi K3의 코드가 더 단순하고 읽기 좋지만 세부 예외 상황을 놓치는 편이며, 최상위 비공개 모델로 한 번 더 훑으면 빈틈이 드러난다.
• 모델이 거대해질수록 가중치를 올리는 것만으로도 최신 GPU 한 노드가 필요해, 공개 이후 실제로 쓰이기까지의 인프라 격차가 새로운 변수로 떠올랐다.
• 증류(distillation)가 강화학습 시대에 더 강력해졌다는 주장에 대해, 진행자들은 수백만 회 롤아웃을 비싼 API로 채점하는 것은 비용·속도상 현실적이지 않다고 반박한다.
• 가장 앞선 능력은 오히려 더 닫히고 그 아래 구간은 상품화되는 흐름이 뚜렷해, 방어가 필요한 기업이 접근 가능한 모델을 못 쓰는 역설이 생기고 있다.

쉽게 이해하기

가중치를 공개하는 이른바 오픈 모델이 비공개 최상위 모델을 얼마나 따라잡았는지는 늘 논쟁거리입니다. 대담에서 지적하듯 사람들은 '몇 개월 뒤처졌다'는 식의 단정적인 숫자를 좋아하지만, 벤치마크 제공자와 지표가 너무 많아져 한쪽이 유리한 지표를 들면 다른 쪽이 다른 지표로 반박하는 일이 반복됩니다. 어떤 지표는 실제 사용 양상, 특히 에이전트형 코딩이나 컴퓨터 조작 과제와 제법 맞아떨어지지만, 어떤 지표는 롱테일 영역을 반영합니다.

실사용 경험은 좀 더 구체적입니다. 출시 직후 최상위 요금제를 결제해 써 본 소감으로는, 프런트엔드처럼 특정 영역에서는 확실히 뛰어나고 시키지 않은 방향의 분석을 스스로 찾아내는 면도 있었다고 합니다. 다만 코드가 단순하고 읽기 좋은 대신 까다로운 예외 상황을 놓치는 경향이 있어, 최상위 비공개 코딩 도구로 한 번 더 검토하면 빈틈이 드러납니다. 서버가 중국에 있고 수요가 몰려 응답까지 걸리는 실제 시간이 길다는 점도 실무에서는 부담입니다.

새로 부각된 변수는 인프라입니다. 예전 중국 모델들은 학습이 끝나면 며칠 안에 가중치를 풀었고 생태계가 곧바로 받아 안았지만, 모델 규모가 크게 뛰면서 가중치를 메모리에 올리는 것만으로도 최신 GPU 한 노드가 통째로 필요한 수준이 됐습니다. 추론 제공업체들이 최적화하고 미세조정이 가능해지기까지 시간이 더 걸리고, 그만큼 '공개됐다'와 '실제로 쓸 수 있다' 사이의 간격이 벌어집니다.

중국 연구소들이 왜 이렇게 잘하느냐는 질문에 대해서는 자본 효율성이 거론됩니다. 같은 돈으로 더 많은 연산·데이터·인재를 확보할 수 있다면 구조적 우위가 되기 때문입니다. 수백 명 규모의 젊은 연구팀이 곁가지 없이 모델 하나에만 집중한다는 인상, 수출 규제를 우회한 칩과 자국산 칩이 늘어나며 가용 연산이 커진 정황, 그리고 십억 단위 사용자를 떠받칠 필요가 없어 서비스 부담이 적다는 점이 함께 꼽혔습니다.

증류 논쟁도 비중 있게 다뤄집니다. 유명 테크 평론가가 강화학습이 주류가 되면서 증류의 영향력이 더 커졌다고 주장했는데, 진행자들은 이에 정면으로 반박합니다. 대규모 강화학습은 수천만 회에 이르는 롤아웃을 채점해야 하는데 이를 최상위 모델 API로 처리하는 것은 비용과 속도 양쪽에서 비현실적이라는 것입니다. 지도 미세조정 단계에서 얻는 이득은 인정하지만, 그것만으로 지금의 성능이 설명되지는 않는다는 입장입니다.

주요 인사이트

• '가장 강한 교사 모델이 가장 좋은 학습 데이터를 만든다'는 직관은 아직 입증되지 않았습니다. 많은 연구자가 시도했지만 공개된 최고 수준의 추론 학습 데이터셋은 여전히 예전 세대 모델로 만들어진 것이고, 최신 모델의 출력을 그대로 학습시켜도 왜 기대만큼 좋아지지 않는지는 열린 연구 질문으로 남아 있습니다.
• 증류가 유용한 지점은 특정 틈새 영역입니다. 비공개 연구소가 잘 해내는 좁은 분야에서 표본을 얻어 데이터 파이프라인의 출발점을 만드는 데는 도움이 되지만, 수학·코드 같은 핵심 영역의 성능 향상은 결국 어려운 문제와 환경을 직접 만들어내는 데 달려 있습니다.
• 미세조정 가능성은 새로운 경쟁 축입니다. 벤치마크 1위를 노리기보다 실제 업무에 맞춰 조정하기 좋은 모델을 내놓는 편이 채택률에서 유리할 수 있다는 지적은, 자원이 제한된 후발 주자에게 특히 현실적인 전략입니다.
• 가장 앞선 능력은 오히려 닫히는 방향으로 갑니다. 보안이나 생명과학처럼 민감한 최전선 모델은 외부에 열리지 않는 반면 그 바로 아래 구간은 상품화되면서, 방어가 필요한 기업이 정작 안전장치에 막혀 분석을 못 하고 성능이 낮은 개방형 모델에 기대야 하는 상황이 실제로 보고됐습니다.
• 따라서 개방형 모델의 사용을 제한하는 조치는 의도와 반대 효과를 낼 수 있습니다. 공격자는 전 세계 어디서든 그 모델을 쓸 수 있는데 방어자만 손이 묶인다면, 시간이 갈수록 격차가 벌어지는 구조가 되기 때문입니다.

자주 묻는 질문

관련 AI 소식