AI 기만적 정렬 평가란? 아폴로리서치 CEO가 설명하는 블랙박스·화이트박스 탐지 방법
AI가 사람과 다른 목표를 숨긴 채 속이는 '기만적 정렬'을 어떻게 측정할까. 아폴로리서치 CEO 마리우스 호브한이 상황 인식·마음 이론·샌드배깅 같은 블랙박스 평가와 활성값 차이로 기만 방향을 찾는 화이트박스 실험을 정리했다.
핵심 내용 읽기 →
AI TOPIC
아폴로리서치 최신 뉴스와 핵심 해설
아폴로리서치 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
AI 스키밍과 평가 인식(eval awareness): 아폴로 리서치의 AI 안전성 연구
AI가 목표를 숨긴 채 어긋난 의도를 추구하는 '스키밍', 그리고 모델이 평가 상황을 알아채는 '평가 인식'까지. 아폴로 리서치가 연구하는 AI 안전성의 핵심 개념을 정리했다.
핵심 내용 읽기 →
AI 스키밍(scheming)이란? 아폴로 리서치의 AGI 안전 연구와 모니터링 제품 이야기
AI가 감시를 의식하며 어긋난 목표를 은밀히 숨기는 '스키밍' 현상을, AI 안전 연구조직 아폴로 리서치가 어떻게 하나의 과학으로 다루려 하는지, 그리고 코딩 에이전트를 감시하는 안전 제품 워처까지 소개한 세션 내용을 자세히 정리했다.
핵심 내용 읽기 →