Senior SWE-Bench: 시니어 개발 과제로 코딩 AI 에이전트를 평가하는 벤치마크
실제 시니어 엔지니어의 PR을 바탕으로 저사양 지시문과 검증 에이전트를 결합해 코딩 AI를 평가하는 Snorkel AI의 Senior SWE-Bench가 어떻게 설계됐고, 리더보드에서 무엇이 드러났는지 정리한다.
핵심 내용 읽기 →
AI TOPIC
SnorkelAI 최신 뉴스와 핵심 해설
SnorkelAI 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
Agents' Last Exam 벤치마크: 실제 전문 직무 55개 분야로 AI 에이전트 자동화 역량 측정
UC 버클리 연구진이 만든 'Agents' Last Exam' 벤치마크를 소개한다. 55개 전문 분야의 실제 워크플로를 검증 가능한 방식으로 평가해, 오늘날 에이전트가 복잡한 실무 자동화에 얼마나 멀었는지 보여준다.
핵심 내용 읽기 →