Kimi K3 실전 검증: Opus 4.8과 코딩 성능·비용·신뢰성 직접 벤치마크 비교

핵심 메시지

• Kimi K3는 지난주 공개된, 지금까지 나온 가장 강력한 오픈웨이트 모델이다. 공개 벤치마크는 최상위 LLM급으로 보이지만, 발표자는 '그 수치를 그대로 믿지 말라'고 말한다.
• 발표자가 실제 저장소의 GitHub 이슈로 돌린 엔지니어링 작업에서 Kimi K3는 평균 점수가 Opus 4.8과 0.2 차이(반올림 오차 수준)로 대등했고, 단가는 더 쌌다.
• 그러나 그가 오픈웨이트 모델의 약점을 겨냥해 설계한 '함정 과제'에서는 실패율이 Opus 8% 대 Kimi K3 36%로 벌어졌다. 원출력 능력이 아니라 '신뢰성'이 문제다.
• 실패는 거짓 전제(없는 버그 고치기)·설계상 정상 증상·숨은 불변식 무시·대화 앞부분 제약 망각(맥락 부패)·아첨 같은 형태로 나타났다. 오픈웨이트 모델일수록 이 경향이 두드러졌다.
• 결론은 모델 혼합이다. 계획처럼 거짓 전제·불변식을 짚어야 하는 단계엔 Opus·GPT 같은 강한 모델을, 구현·검증의 '일꾼'에는 Kimi K3·GLM 5.2 같은 저렴한 모델을 쓰는 편이 효율적이다.

쉽게 이해하기

발표자는 지난주 공개된 Kimi K3가 '역대 가장 강력한 오픈웨이트 모델'이며 벤치마크상으로는 GPT 5.5·Opus 4.8을 앞서고 Fable 5·GPT 5.6급에 근접해 보인다고 소개한다. 하지만 그는 이 수치를 사지 않으며 시청자도 그러지 말라고 한다. Kimi K3가 진짜 인상적이고 매우 긴 에이전트 작업도 해내지만, GLM·MiniMax 같은 오픈웨이트 모델과 마찬가지로 GPT·Opus에서는 겪지 않아도 될 '실패 모드'가 있다는 것이다. 그는 이런 신뢰성 문제는 벤치마크에 결코 드러나지 않으므로 자기 워크플로를 반영한 자체 테스트를 직접 설계해야 한다고 강조한다.

가격 면에서 Kimi K3는 OpenRouter 기준 입력 100만 토큰당 3달러, 출력 100만 토큰당 15달러로 Opus의 약 절반 수준이다. 발표자는 오픈소스 하네스 빌더 Archon으로 계획·구현·검증을 잇는 워크플로를 짜고, 동일한 GitHub 이슈를 Kimi K3·Opus 4.8·Kimi K2.7에 각각 수십 회씩 돌려 평균을 냈다. 워크플로에서 바뀌는 것은 계획·구현에 쓰는 LLM 설정뿐이며, 결과 PR은 별도의 평가 워크플로가 7개 차원(각 1~10점, 최대 70점) 루브릭으로 채점하고 비용도 함께 추적한다.

실제 엔지니어링 작업 결과, 단순 이슈에서 Opus 4.8은 평균 64.3/70(과제당 약 1.60달러), Kimi K3는 0.2 차이로 사실상 대등하면서 더 쌌다. Kimi K2.7은 확연히 낮아 워크플로 전체를 맡기기엔 부족했다. 복잡한 빌드로 가면 이야기가 달라진다. Opus 4.8은 62.2/70을 유지했지만 토큰을 훨씬 많이 써 비용이 급증했고, Kimi K3는 60점을 넘기며 이번엔 반올림 오차가 아닌 '실질적 격차'를 보이되 상당히 저렴했다. 발표자는 복잡한 빌드일수록 Opus가 빛나지만, 효율을 원한다면 워크플로 일부는 저렴한 모델에 맡기는 편이 낫다고 본다.

두 번째 벤치마크는 공개 벤치마크가 왜 신뢰하기 어려운지를 겨냥한다. LLM이 벤치마크 문제의 정답에 과도하게 학습돼 있고, 채점 방식 자체에도 동의하기 어려운 점이 있다는 것이다. 그는 쉬운 통제군(모든 모델 통과)·오픈웨이트 모델용 함정·고난도 과제의 세 묶음을 만들었고, 각 과제를 5회씩 돌렸다. 대표적 함정으로 '설계상 정상 증상'(사용자의 오해를 코딩 에이전트가 굳이 고치려 드는 경우)과 '거짓 전제'(존재하지 않는 문제를 고치라고 시켜 모델이 위치를 환각하는 경우)를 든다.

결과의 큰 그림은 이렇다. Opus는 수십 개 과제 중 단 2회만 실패했고, 그 둘 다 '거짓 전제'였다. Kimi K3(특히 K2.7)는 더 많이 실패했는데, 흥미롭게도 Opus가 실패한 거짓 전제는 Kimi가 가장 못한 항목이기도 했다. 즉 모든 LLM이 같은 약점을 공유하되 오픈웨이트 모델에서 더 과장된다. Kimi K3는 파일 편집 전 다른 규칙 파일(mission.md·rules.md)을 확인하는 '숨은 불변식', 대화 앞부분에 둔 제약을 지키는 '맥락 부패', 그리고 사용자를 달래려는 '아첨'에서 특히 약했다. Opus는 스스로 더 탐색하고 '당신이 틀렸다'고 말할 수 있는 반면, Kimi K3는 시킨 대로만 곧장 파고드는 경향이 있다는 것이다.

주요 인사이트

• 원출력 능력과 신뢰성은 다르다. 잘 정의된 좁은 과제에서 Kimi K3의 원출력 품질은 때로 Opus 4.8보다 낫지만, 맥락을 스스로 탐색해야 하는 '진짜 일'에서는 신뢰성이 떨어진다.
• 공개 벤치마크는 실사용을 대변하지 못한다. 모델이 벤치마크 문제에 과적합돼 있을 수 있고 채점 방식도 코드 품질과 무관할 수 있어, 자기 워크플로를 반영한 자체 테스트 설계가 필요하다.
• 여러 LLM은 '거짓 전제'라는 공통 약점을 공유한다. 없는 문제를 고치라고 하면 위치를 환각하는데, 이 경향이 오픈웨이트 모델에서 더 과장돼 나타난다.
• 실전 신뢰성 저하는 숨은 불변식 무시·맥락 부패·아첨 같은 형태로 드러난다. 강한 모델일수록 파일을 편집하기 전에 필요한 맥락을 먼저 파악하고 스스로 사고한다.
• 가장 실용적인 구성은 모델 혼합이다. 계획 단계에 강한 모델로 거짓 전제·불변식을 걸러낸 뒤 구현은 저렴한 일꾼 모델에 넘기면 비용과 레이트리밋 부담을 줄이면서 견고한 결과를 얻는다.

자주 묻는 질문

관련 AI 소식