AI 코딩 평가의 한계: 벤치마크 오염, 정답과 논증의 격차, 그리고 남은 네 가지 과제
MIT 박사과정 알렉스 구가 CRUXEval·LiveCodeBench·IneqMath에서 얻은 관찰을 통해, 리더보드 숫자가 감추는 오염과 논증 능력의 공백, 그리고 코딩 AI 평가에 남은 과제를 정리했다.
핵심 내용 읽기 →
AI TOPIC
코딩 AI 최신 뉴스와 핵심 해설
코딩 AI 관련 핵심 뉴스와 활용 인사이트 16편을 최신순으로 모았습니다.
싱킹캡(ThinkingCap) 리뷰 - 추론 토큰 46% 줄인 로컬 코딩 모델의 실체
Qwen3.6 27B를 파인튜닝한 싱킹캡은 정확도를 유지하면서 추론 토큰을 평균 46% 줄였다고 주장한다. 로컬 코딩 모델의 효율 경쟁을 짚었다.
핵심 내용 읽기 →
DeepSWE 코딩 벤치마크: AI 모델이 정답을 커닝하는 문제와 해법
데이터커브가 만든 코딩 벤치마크 DeepSWE는 기존 문제를 공개 저장소에서 긁어오지 않는다. AI 모델이 깃 기록에서 정답을 찾아내는 커닝 문제와 모델별 성향 차이를 정리했다.
핵심 내용 읽기 →
GLM 5.2 Claude Code·커서 연동: 오픈 웨이트 코딩 모델 저비용 활용법
z.ai의 오픈 웨이트 모델 GLM 5.2를 Claude Code와 커서에 연결하는 법과, 영상이 제시한 성능·가격 비교를 자막 근거로 정리했다.
핵심 내용 읽기 →
Kimi K3 오픈웨이트 모델 분석: 2.8조 파라미터와 프런트엔드 벤치마크 1위의 의미
가중치가 공개된 중국산 대형 모델이 프런트엔드 코딩 평가에서 상용 최상위 모델을 큰 격차로 앞질렀습니다. 2.8조 파라미터라는 규모와 토큰 단가, 작업당 실제 비용, 그리고 이 벤치마크 결과를 그대로 믿기 어려운 이유까지 함께 정리했습니다.
핵심 내용 읽기 →
Kimi K3 직접 비교: 오픈소스 AI 모델이 프런티어급 코딩 성능과 가격에서 보여준 변화
무샷 AI가 공개한 오픈소스 모델 Kimi K3를 최상위 상용 모델과 똑같은 프롬프트로 비교한 실험 정리. 웹페이지·3D 시각화·게임 제작 결과물의 품질 차이는 크지 않았고, 진짜 차이는 토큰 가격에서 나타났다는 분석이다.
핵심 내용 읽기 →
GPT-5.6 리뷰: Soul·Terra·Luna 3종 모델과 에이전트 코딩·벤치마크 총정리
OpenAI가 GPT-5.6을 공개했다. Soul·Terra·Luna 3종 구성과 코덱스 데스크톱 앱, 실제 코딩·연구 과제 시험 결과, 그리고 벤치마크와 한계를 정리했다.
핵심 내용 읽기 →
그록(Grok) 4.5 리뷰: 커서 협업·1.5조 파라미터·토큰 효율로 본 코딩 성능
xAI가 커서와 협업해 훈련한 그록 4.5를 공개했다. 1.5조 파라미터 신규 학습, 저렴한 가격과 토큰 효율, 7가지 코딩·에이전트 시험 결과와 한계를 정리했다.
핵심 내용 읽기 →
GLM 5.2 vs Opus 4.8 실전 비교 — 8분의 1 가격 오픈소스 코딩 모델의 실력
MIT 라이선스로 공개된 오픈소스 모델 GLM 5.2로 할 일 앱과 이슈 트래커를 직접 만들어, Opus 4.8과 코드 품질·토큰 사용량·비용·실행 속도를 비교한 개발자의 실전 후기를 한국어로 정리했다.
핵심 내용 읽기 →
AI 비용 절감 모델 라우팅 — 계획은 최고 모델, 코딩은 저렴한 모델로 나누기
AI 요금을 크게 줄이는 핵심은 '모델 라우팅'이다. 계획에는 최고 성능 모델을, 실제 코드 작성에는 충분히 좋은 저렴한 모델을 쓰는 방식으로, 발표자는 실제 토큰 비용 계산까지 들어 절감 효과를 보여 준다.
핵심 내용 읽기 →
MAI Code 1 Flash: VS Code용 소형·고속 코딩 AI 모델과 실전 활용법
마이크로소프트가 VS Code에 공개한 소형 코딩 모델 MAI Code 1 Flash의 특징과, 실제 대시보드 기능을 몇 분·몇 센트에 완성하는 과정을 정리했다.
핵심 내용 읽기 →
페이블 5와 클로드 코드: 계획은 페이블, 추론은 오퍼스, 실행은 소넷
영상은 페이블 5의 복귀를 계기로, 모델의 지능 수준에 따라 계획·추론·실행 작업을 나눠 클로드 코드에서 비용과 속도를 최적화하는 계층적 에이전트 위임 전략을 소개한다.
핵심 내용 읽기 →
Sonnet 5 리뷰 논란: 가격·성능 GLM 5.2 비교와 혹평 정리
AICodeKing이 Sonnet 5를 직접 테스트하고 내린 혹평. 소개가 대비 성능·가격이 애매하고, 자신의 벤치마크에선 GLM 5.2보다 결과가 나빴다는 주장을 정리한다.
핵심 내용 읽기 →
Ornith 1.0 설치·사용법: LM Studio로 내 PC에서 돌리는 오픈소스 로컬 코딩 AI
새 오픈소스 코딩 모델 Ornith를 LM Studio로 개인 컴퓨터에서 실행하는 방법을 소개한다. 9B 버전은 VRAM 8GB면 돌아가며, 로컬 실행이라 프라이버시와 비용 면에서 유리하지만 작은 모델이라 복잡한 작업엔 한계가 있다.
핵심 내용 읽기 →
LLM 코딩 비교 실험: 같은 마리오카트 프롬프트로 본 Opus·GPT·Gemini·Grok 차이
Cursor에서 동일한 한 줄 프롬프트로 6개 최신 LLM에 마리오카트 게임을 만들게 한 비교 실험. 1차에선 대부분 실패했지만 재시도 후 클로드 Opus가 완성도 1위, GPT가 2위를 차지했다.
핵심 내용 읽기 →
앤트로픽 클로드 페이블·미토스 모델 공개와 안전 분류기 가드레일 구조, 가격까지 정리
AI 개발 일시중단을 호소했던 앤트로픽이 곧바로 최강 모델 ‘클로드 페이블’을 내놓았다는 Fireship 코드 리포트의 분석과, 미토스·페이블의 관계, 안전 분류기 가드레일 구조와 가격 정책을 한눈에 정리했습니다.
핵심 내용 읽기 →