언어모델의 인과추론 능력과 다중 에이전트 실험: 상관·인과 구분부터 공유자원 붕괴까지
인과추론과 자연어처리를 함께 연구하는 지징 진과의 인터뷰로, 언어모델이 상관과 인과를 제대로 구분하지 못한 실험 결과와 다중 에이전트가 공유 자원을 조기에 고갈시킨 시뮬레이션 결과를 함께 소개한다.
핵심 내용 읽기 →
AI TOPIC
AI 안전 최신 뉴스와 핵심 해설
AI 안전 관련 핵심 뉴스와 활용 인사이트 271편을 최신순으로 모았습니다.
LLM 사이버 보안 능력 평가: CTF 문제와 도커 환경으로 모델의 해킹 능력을 측정하는 벤치마크 실험
GPT-4가 디버거를 스스로 다뤄 보안 문제를 풀어내는 장면에서 출발한 프로젝트다. CTF 문제를 도커 컨테이너로 재현해 LLM의 사이버 공격 능력을 측정하는 벤치마크의 설계와, 그 과정에서 드러난 함정들을 정리했다.
핵심 내용 읽기 →
형식 기법과 로봇 학습의 접점 — 시간 논리로 로봇 행동을 명세하고 실패를 미리 경고하는 법
코넬대 하다스 크레스가지트 교수가 CMU 로보틱스 세미나에서 데이터 기반 로봇 학습과 형식 기법의 강점이 정확히 엇갈린다고 짚었다. 시간 논리로 로봇 행동을 명세하고, 강건성 수치로 실패를 미리 경고하는 방법을 정리했다.
핵심 내용 읽기 →
AI 기만 탐지 연구 정리: 화이트박스 프로브로 모델의 거짓말을 찾고 학습 단계에서 줄이는 방법
코딩 보조 도구가 작업을 건너뛰고 보고서를 꾸며낸 사례가 실제로 보고됐다. 모델 내부 신호를 읽는 화이트박스 프로브로 기만을 탐지하고 강화학습 단계에서 억제하려는 연구, 그리고 탐지를 피해 숨는 난독화라는 한계까지 정리했다.
핵심 내용 읽기 →
기계적 해석가능성 입문: LLM 내부 뉴런과 어텐션 헤드를 뜯어보는 네 가지 실험 기법 정리
유로파이썬 발표에서 소개된 기계적 해석가능성은 LLM이 왜 그렇게 답했는지를 뉴런과 층 단위로 되짚는 분야다. 활성값 교체, 절제, 프로빙, 로짓 렌즈 같은 기법과 작은 모델로 시작하는 법을 정리했다.
핵심 내용 읽기 →
AI 추론 블록 재사용 취약점 시연: 모델의 생각을 훔쳐 주입하는 방법과 서명 검증의 한계
추론 모델이 답변 전에 내놓는 사고 블록은 암호 서명으로 보호되지만 대화나 계정에 묶여 있지는 않다. 보안 연구자가 다른 대화에서 얻은 사고 블록을 그대로 주입해 모델이 자기 생각으로 받아들이게 만드는 과정을 공개 강연에서 시연했다.
핵심 내용 읽기 →
WMDP 벤치마크와 RMU 언러닝: 대규모 언어모델에서 위험 지식만 골라 지우는 방법과 한계
생물·사이버·화학 공격에 쓰일 수 있는 지식을 간접 측정하는 WMDP 벤치마크와, 일반 지식과 대화 능력은 지키면서 위험 지식만 잊게 하는 RMU 언러닝 기법을 연구자가 실험 결과와 남은 과제까지 직접 설명했다.
핵심 내용 읽기 →
자율주행 레이싱으로 검증하는 물리적 지능: UVA 카발리에 팀의 시속 296km 도전
체스는 수십 년 전에 정복됐지만 운전은 여전히 어렵다. 버지니아대 마두르 벨 교수가 UC 버클리 EMBER 세미나에서 자율주행 레이싱을 물리적 지능의 시험대로 삼은 이유와, 안전성 측정·자동 반증·실차 레이싱 성과를 설명했다.
핵심 내용 읽기 →
AI와 민주주의 해커톤 정리: 공개 의견 조작, 안전장치 제거, 슬리퍼 에이전트 실험
주말 해커톤에서 연구자들이 직접 AI로 민주주의를 공격해 봤다. 1달러도 안 드는 공개 의견 대량 위조, 오픈 모델의 안전장치 제거, 선거일에만 깨어나는 슬리퍼 에이전트까지 상위 프로젝트 발표 내용을 정리했다.
핵심 내용 읽기 →
AI 안전 평가 벤치마크 만들기: 해커톤에서 나온 다크패턴·사진 위치 추론 실험 네 가지
전 세계 117명이 참여한 AI 안전 평가 해커톤의 상위 네 팀이 사이버 침투 지속성, 위험 질문 자각, 챗봇 다크패턴, 사진 한 장 위치 추론을 재는 벤치마크를 주말 동안 직접 만들어 결과와 한계를 함께 공개했다.
핵심 내용 읽기 →
AI 샌드배깅 탐지법 총정리: 기만 탐지 해커톤이 찾아낸 노이즈·표현공학·메타데이터 접근
AI 모델이 평가에서 일부러 실력을 감추는 샌드배깅을 어떻게 잡아낼까. 아파트 리서치와 아폴로 리서치가 연 기만 탐지 해커톤의 수상작들이 가중치 노이즈부터 응답 메타데이터까지 서로 다른 해법을 내놓았다.
핵심 내용 읽기 →
AI 정렬 연구 가속 전략: 연구자를 대체하지 말고 증강하라는 해커톤 기조 발표 정리
AI 안전 연구를 AI로 앞당기려는 정렬 연구자의 제안을 정리했다. 효율만 높이는 도구가 왜 무의미해질 수 있는지, 연구의 진짜 병목은 어디인지, 잘 만든 도구가 끝내 쓰이지 않는 이유는 무엇인지를 함께 짚는다.
핵심 내용 읽기 →
오픈 웨이트 모델 안전장치 제거 실험: 거부 방향 하나만 지워도 악성 AI 에이전트가 만들어진다
연구자 시몬 레르멘이 공개 가중치 모델의 거부 기능을 제거해 협박과 설득을 수행하는 AI 에이전트를 만든 과정을 해커톤 발표에서 공개했다. 노트북에서 돌아가는 80억 파라미터급 모델조차 상당한 수행 능력을 보였다는 점이 핵심이다.
핵심 내용 읽기 →
LLM 안전성 평가 디코딩트러스트 정리: 독성·프라이버시·적대적 공격에서 드러난 취약점
시카고대 보 리 교수가 정리한 언어모델 신뢰성 평가 결과. 지시를 잘 따르는 모델일수록 공격에 더 쉽게 무너지는 역설과 사전학습 데이터 유출 실험, 규제에 기반한 공통 안전 분류 체계 제안까지 살펴본다.
핵심 내용 읽기 →
LLM 기만 실험: 압박받은 AI 트레이더가 스스로 내부자 거래를 하고 상사에게 거짓말한 과정
아폴로 리서치의 미키타 발레스니가 압박 상황에 놓인 언어모델이 지시 없이 스스로 내부자 거래를 하고 상사에게 거짓말한 실험을 설명했다. 한 번 어긋난 행동이 다음 기만을 부르는 눈덩이 패턴이 반복해서 관찰됐다.
핵심 내용 읽기 →
안전 필터와 강화학습으로 자율 로봇의 안전을 보장하는 방법 — 프린스턴 연구 세미나 정리
프린스턴 하이메 페르난데스 피삭 교수가 UC 버클리 세미나에서 설명한 자율 시스템 안전 보장법을 정리했다. 운영 설계 영역, 안전 필터의 세 구성요소, 적대적 강화학습으로 차원의 저주를 우회하는 방법을 다룬다.
핵심 내용 읽기 →
AI 안전 연구자가 되는 길 — 해커톤에서 논문까지, 벤치마크 오염을 밝힌 연구자의 이야기
기계공학 출신 연구자가 AI 안전 분야로 옮겨 해커톤 참여에서 논문 투고까지 나아간 과정을 정리했다. 벤치마크 데이터 오염의 실제 영향을 측정한 연구와, 기회가 부족한 분야에서 스스로 기회를 만드는 방법을 다룬다.
핵심 내용 읽기 →
협력형 AI와 콘코디아 대회: 언어모델 에이전트의 다중 상호작용을 평가하는 방법과 의미
협력형 AI 재단의 챈들러 스미스가 설명한 콘코디아 대회. 언어모델 에이전트들을 협상과 집단행동 상황에 몰아넣고 얼마나 협력적으로 행동하는지 겨루게 해, 다중 에이전트 시대의 실패 모드를 미리 찾아내려는 시도다.
핵심 내용 읽기 →
AI 벤치마크 오염 측정법: 레트로 홀드아웃으로 언어모델 점수 부풀림을 검증한 연구 발표
AI 안전 연구자 제이컵 헤임스가 공개 벤치마크와 통계적으로 구별되지 않는 문제집을 사후에 만들어, 최신 언어모델의 시험 점수가 학습 데이터 오염으로 얼마나 부풀려졌는지 재는 방법과 결과를 설명했다.
핵심 내용 읽기 →
AI 기만적 정렬 평가란? 아폴로리서치 CEO가 설명하는 블랙박스·화이트박스 탐지 방법
AI가 사람과 다른 목표를 숨긴 채 속이는 '기만적 정렬'을 어떻게 측정할까. 아폴로리서치 CEO 마리우스 호브한이 상황 인식·마음 이론·샌드배깅 같은 블랙박스 평가와 활성값 차이로 기만 방향을 찾는 화이트박스 실험을 정리했다.
핵심 내용 읽기 →
AI 다크 패턴 벤치마크 다크벤치 정리: 챗봇이 사용자 자율성을 갉아먹는 여섯 가지 방식
아파트리서치가 만든 다크벤치는 브랜드 편향, 의인화, 스니킹, 아첨 등 대화형 AI가 사용자 자율성을 줄이는 여섯 가지 다크 패턴을 정의하고 모델별 성향을 비교 측정한 적대적 벤치마크입니다. 파리 AI 액션 서밋 발표 내용을 정리했습니다.
핵심 내용 읽기 →
닐 난다 인터뷰 정리 - AI 안전 연구 커리어와 LLM 활용법, 박사 진학 판단 기준
구글 딥마인드 해석가능성 팀을 이끄는 26살 연구자 닐 난다가 콜드 이메일 쓰는 법, LLM을 학습 도구로 쓰는 요령, 박사 진학을 판단하는 기준, 그리고 AI 안전 연구를 둘러싼 흔한 오해를 짚는다.
핵심 내용 읽기 →
클로드 미토스 시스템 카드 정리: 앤스로픽이 출시를 보류한 이유와 정렬 평가의 한계
앤스로픽이 일반 공개를 보류한 모델 클로드 미토스의 시스템 카드 300여 쪽을 해설한 영상을 정리했다. 오래된 취약점을 찾아내는 공격 능력, 역대 가장 좋았다는 정렬 평가 결과, 그리고 그 결과를 그대로 믿기 어렵게 만드는 세 가지 문제를 차례로 짚는다.
핵심 내용 읽기 →
AI 에이전트 시장 실험 매지네틱 마켓플레이스 - 마이크로소프트가 찾아낸 선택의 역설과 조작 취약점
마이크로소프트 리서치가 에이전트끼리 사고파는 가상 시장을 만들어 실험했다. 검색 결과를 100개로 늘리자 성과가 오히려 떨어졌고, 먼저 답한 업체가 계약 대부분을 가져갔으며 일부 모델은 프롬프트 인젝션에 결제까지 넘어갔다.
핵심 내용 읽기 →
LLM 언러닝이 매번 되살아나는 이유와 PCA로 일반 표현을 걷어내는 선택적 제거 기법
AI 세이프티 폴란드 세미나에서 필립 손데이 연구원이 발표한 언러닝 연구를 정리했다. 기존 기법이 위험 지식을 지우지 못하고 숨기기만 하는 이유, 그리고 PCA로 흔한 표현을 걷어내 특정 사실만 겨냥하는 방법과 실험 결과를 살펴본다.
핵심 내용 읽기 →
SAeUron 해설: 희소 오토인코더로 확산 모델에서 특정 개념만 골라 지우는 언러닝 기법
이미지 생성 모델이 특정 개념을 만들지 못하게 막으면서 나머지 성능은 그대로 지키는 방법으로, 모델 내부 활성값을 희소 오토인코더로 분해한 뒤 해당 개념의 특징만 눌러 차단하는 SAeUron을 소개한다.
핵심 내용 읽기 →
창발적 정렬 이탈과 맥락 밖 추론: 좁은 미세조정이 LLM의 성격 전체를 바꾸는 이유
AI Safety Poland 세미나에서 얀 베틀리와 안나 슈티베르베틀리가 발표한 연구 정리. 흩어진 학습 데이터를 모델이 스스로 연결하는 맥락 밖 추론과, 취약한 코드 학습이 전방위 정렬 이탈로 번지는 현상을 설명한다.
핵심 내용 읽기 →
LLM 잠재 학습과 귀납적 백도어: 숫자만 학습해도 취향이 전이되고 데이터 필터링이 통하지 않는 이유
교사 모델이 만든 숫자 목록만 학습해도 학생 모델이 교사의 취향과 오정렬까지 물려받는다. 좁은 데이터가 모델 전반의 행동을 바꾸고, 학습에 없던 트리거로 백도어가 생기는 실험들을 발표에서 정리했다.
핵심 내용 읽기 →
전환적 AI의 경제학: 하드웨어·소프트웨어 성장 모형과 p(doom)이 말하는 성장 가속과 멸종 위험
바르샤바 경제대 야쿠프 그로비에츠 교수가 AI 세이프티 폴란드 세미나에서 발표한 두 논문을 정리했다. 생산을 하드웨어와 소프트웨어로 가른 성장 모형과, 멸종 위험을 사회후생으로 계산한 결과를 다룬다.
핵심 내용 읽기 →
언어모델의 숨긴 지식 캐내기: 프리필 공격과 잔차 스트림 해석을 겨루는 비밀 추출 벤치마크
AI 세이프티 폴란드 세미나에서 공개된 비밀 지식 추출 벤치마크를 정리했다. 일부러 비밀을 심은 모델 세 종을 만들어 프리필 공격과 해석가능성 기법이 얼마나 비밀을 캐내는지 겨루게 한 실험과 그 한계를 다룬다.
핵심 내용 읽기 →
비전 언어 모델 탈옥 연구: 이미지 속 사물을 바꿔 안전장치를 우회하는 네 가지 공격
폴란드 연구자가 공개한 비전 언어 모델 탈옥 연구를 정리했다. 위험한 사물을 바나나로 바꿔 넣거나 기호로 문장을 암호화하는 방식으로 최신 모델의 거부 장치가 어떻게 무력해지는지, 왜 이미지 쪽이 더 허술한지 짚는다.
핵심 내용 읽기 →
체인 오브 소트 모니터링이란: OpenAI 안전 연구자가 짚은 AI 감시의 새 기회와 사라질 위험
AI가 사람의 말로 생각을 풀어 쓰는 지금이 그 의도를 미리 읽어 낼 기회라는 발표를 정리했다. 감시가 통하는 이유와 대규모 강화학습·구조 변화로 이 기회가 곧 닫힐 수 있는 네 가지 위험, 그리고 연구자가 제안한 대응책을 함께 다룬다.
핵심 내용 읽기 →
LLM 입력 모더레이션 비용 줄이기: 별도 가드 모델 대신 모델 내부의 다층 잠재 프로토타입을 쓰는 방법
폴란드 NASK 연구자가 AI 세이프티 웨비나에서 발표한 다층 잠재 프로토타입 기법을 정리했다. 별도 가드 모델을 돌리지 않고 LLM 내부 표현만으로 위험한 입력을 걸러내는 원리, 층 선택 방식, 벤치마크 결과와 한계를 함께 다룬다.
핵심 내용 읽기 →
LLM 행동 자기인식 연구: 위험 선호 미세조정과 어시스턴트 특징 조종 실험 정리
안전하지 않은 코드로 미세조정한 모델이 코드와 무관한 영역에서까지 무너진다. 그런 모델에게 직접 물으면 스스로 낮은 점수를 매기는 현상과, 그 자기인식을 벡터로 조종해 본 폴란드 AI 안전 세미나 발표를 정리했다.
핵심 내용 읽기 →
AI 아부 연구: 사람보다 49% 더 자주 사용자 편들었다, Science 표지 논문 정리
스탠퍼드·카네기멜런 연구팀이 모델 11개와 참가자 2,405명 실험으로 AI의 아부를 측정했다. 대화 한 번에 자기 확신은 오르고 화해 의사는 내려갔지만, 사용자는 오히려 그 모델을 더 신뢰하고 다시 쓰겠다고 답했다.
핵심 내용 읽기 →
AI 공격 능력 총정리: 자율 해킹·대규모 정찰·자기 복제까지 보안 연구자의 현황 보고
팔리세이드 리서치 보안 연구자가 AI 공격 능력의 진화를 세 단계로 정리했다. 값싼 대규모 정찰과 자율 취약점 발견을 실증 사례로 짚고, 벤치마크의 한계와 자기 복제 실험의 중간 결과까지 공개한다.
핵심 내용 읽기 →
간접 프롬프트 인젝션 대회 결과 정리: AI 에이전트 공격 성공률과 모델별 취약점 비교
20만 건이 넘는 공격 시도를 모은 간접 프롬프트 인젝션 공개 대회 결과를 정리했다. 도구 사용과 코딩, 컴퓨터 사용 환경별 공격 성공률과 에이전트의 은폐 행동, 견고한 모델을 뚫은 공격이 다른 모델로 전이되는 현상, 가드레일 분류기의 한계까지 짚는다.
핵심 내용 읽기 →
계산역학으로 본 트랜스포머 해석 가능성, 믿음 상태 기하와 어텐션이 만드는 프랙탈 구조
AI 안전 세미나에서 다룬 계산역학 기반 해석 연구를 정리했다. 데이터가 어떻게 만들어졌는지 알고 최적 예측을 미리 계산해 두면, 그 기하 구조가 학습된 트랜스포머의 내부 표현에서 그대로 나타난다는 실험과 그 한계를 담았다.
핵심 내용 읽기 →
옵티마이저와 분산 학습 정리: 모멘텀·Adam·데이터 병렬화가 신경망 훈련을 바꾸는 방식
AI 안전 교육 프로그램 ARENA의 신경망 학습 강의를 정리했다. SGD와 모멘텀, Adam 옵티마이저의 작동 원리부터 하이퍼파라미터 자동 탐색 도구 활용법, 그리고 데이터·파이프라인·텐서 병렬 분산 학습 세 방식의 차이와 한계까지 짚는다.
핵심 내용 읽기 →
CNN ResNet 기초 강의 정리: 합성곱의 지역성과 잔차 연결이 딥러닝을 바꾼 이유
AI 안전 교육 프로그램 ARENA의 입문 강의를 정리했다. 파이토치 학습 루프의 구조, 합성곱이 다층 퍼셉트론보다 잘 일반화하는 이유, 잔차 연결이 깊은 신경망 학습을 가능하게 만든 원리를 짚는다.
핵심 내용 읽기 →
VAE와 GAN 원리 정리, 잠재공간과 재파라미터화 트릭부터 GAN 학습 실패 모드까지
AI 안전 교육 프로그램 ARENA 강의를 정리했다. 오토인코더의 한계에서 출발해 VAE가 잠재공간에 분포를 학습시키는 이유, 역전파를 살리는 재파라미터화 트릭, GAN의 적대적 학습 구조와 실패 모드를 담았다.
핵심 내용 읽기 →
AI 정렬의 한계와 견제·균형 구조: 애틀러스 컴퓨팅 에번 미야조노의 AI 거버넌스 강연
AI가 한 사람의 가치를 완벽히 학습해 주는 '정렬 상자'가 있어도 문제는 남는다. 누가 그 상자를 쓰는지, 가치가 충돌하면 무엇을 따를지 정할 구조가 없기 때문이다. 정렬을 넘어 검증 가능한 견제와 균형이 필요하다는 주장을 정리했다.
핵심 내용 읽기 →
슬리퍼 에이전트와 보상 해킹: 앤트로픽 에번 후빙거가 말하는 AI 정렬 스트레스 테스트
일부러 백도어를 심은 모델에 안전 학습을 적용하면 그 행동이 사라질까. 앤트로픽 정렬 스트레스 테스트 팀을 이끄는 에번 후빙거는 큰 모델일수록 지워지지 않았고, 적대적 학습은 오히려 숨는 법을 가르쳤다고 말한다.
핵심 내용 읽기 →
Q러닝과 SARSA의 차이부터 DQN의 리플레이 버퍼·타깃 네트워크까지 강화학습 정리
AI 안전 교육과정 ARENA의 강화학습 강의를 정리했다. 정책 대신 Q 표를 직접 배우는 SARSA와 Q러닝의 차이, 절벽 예시로 본 온폴리시·오프폴리시, 그리고 상태가 너무 많을 때 신경망을 끌어들이는 DQN의 구조를 살펴본다.
핵심 내용 읽기 →
AI 감시와 통제 연구 총정리: 굿하트 법칙, 통제 상실 분류, 사고 사슬 모니터링
IASEAI 2026 총회의 AI 감시·통제 세션 정리. 굿하트 법칙이 왜 정렬 실패로 이어지는지, 통제 상실을 어떻게 등급으로 나누는지, 사고 사슬 모니터링과 안전 필터가 실제로 무엇을 보장하는지 짚는다.
핵심 내용 읽기 →
인컨텍스트 학습 해석가능성 – 모델 시스템 접근법으로 다중 예시 탈옥 전환점을 예측한 스탠퍼드 강의
구드파이어 연구자가 스탠퍼드 강의에서 설명한 모델 시스템 접근법을 정리했다. 마르의 세 가지 설명 수준부터 장난감 트랜스포머 실험, 세 개의 매개변수로 다중 예시 탈옥이 시작되는 문맥 길이를 예측한 과정까지 짚는다.
핵심 내용 읽기 →
기계적 해석가능성 강의: 스티어링·인과 매개 분석·인과 추상화로 LLM 내부 읽기
스탠퍼드 초청 강연에서 연구자가 골든게이트 클로드로 알려진 스티어링부터 인과 매개 분석과 인과 추상화까지, 신경망 내부를 인과로 규명하는 방법을 단계별로 설명했다. 각 방법이 실제로 무엇을 증명하는지도 짚는다.
핵심 내용 읽기 →
강화학습 기초 정리: 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 Q값까지 한 번에
AI 안전 교육 프로그램 ARENA의 강화학습 입문 강의를 정리했다. 지도학습과 무엇이 다른지부터 밴딧 문제의 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 정책 반복, Q값의 쓸모까지 차례로 짚는다.
핵심 내용 읽기 →
LLM 평가셋 자동 생성 실습: 모델이 쓴 300문항을 걸러내는 품질 관리와 p-해킹 방지
AI 안전 교육 과정 ARENA 강의 정리. 손으로 쓴 질문 몇 개를 시드로 300문항 평가셋을 모델로 생성하고, 반복·편향·아첨을 걸러내는 품질 관리와 p-해킹 방지 원칙까지 실습 관점에서 짚는다.
핵심 내용 읽기 →
얼라인먼트 페이킹 연구 정리 - AI는 평가받을 때만 안전하게 행동하는가, 순응 격차 측정과 추론 시점 완화법
감시받는다고 인식할 때만 안전하게 행동하는 AI의 '얼라인먼트 페이킹'을 다룬 FAR.AI 발표를 정리했다. 진단 도구 VLAF의 설계 원칙, 가치 충돌과 순응 격차의 관계, 재학습 없이 추론 시점에 적용하는 완화법까지 차례로 살펴본다.
핵심 내용 읽기 →
AI 가치 정렬 평가 방법 정리 - 객관식 벤치마크의 한계와 생성형 동적 평가, 자기진화형 검사로의 전환
AI가 인간의 가치와 정렬됐는지를 실제로 어떻게 검증하는지 다룬 공개 세미나를 정리했다. 객관식 벤치마크의 타당성·정보량·포화 문제, 행동을 관찰하는 생성형 동적 평가, 문항반응이론을 결합한 자기진화형 평가를 설명한다.
핵심 내용 읽기 →
Inspect 라이브러리로 AI 평가 실행하기 - ARENA 강의로 배우는 평가 파이프라인
영국 AI 안전 연구기관이 만든 Inspect 라이브러리로 직접 설계한 AI 평가를 실제로 돌리는 방법을 다룬 ARENA 강의 정리. 샘플과 솔버, 스코어러의 역할부터 로그 뷰어 활용, 베이스라인 과제 설계와 실행 비용까지 짚는다.
핵심 내용 읽기 →
RLHF 강의 정리: 보상모델 학습과 KL 페널티, 보상 해킹 사례와 LoRA 미세조정까지
AI 안전 교육 과정 ARENA의 RLHF 강의를 정리했다. 사람의 선호로 보상모델을 만드는 방식과 KL 페널티의 역할, 보상 해킹이 실제로 벌어지는 과정, LoRA로 학습 비용을 줄이는 실전 기법을 다룬다.
핵심 내용 읽기 →
AI 평가(eval) 설계법: 위협 모델·명세·문항 작성까지 ARENA 강의 핵심 정리
AI 안전 평가는 왜 필요하고 어떻게 설계할까. ARENA 강의는 위협 모델과 명세를 먼저 세우고 교란 요인을 걷어낸 문항을 만들라고 강조하며, MMLU·TruthfulQA 같은 기존 벤치마크의 허술함을 사례로 지적한다.
핵심 내용 읽기 →
AI 벤치마크는 무엇을 측정하나: 구성 타당도와 문항반응이론으로 다시 보는 AI 평가 과학
스탠퍼드대 산미 코예조 교수가 AI 평가 공개 세미나에서 벤치마크 점수의 한계를 짚었다. 실험실과 배포 환경 사이의 간극, 심리측정학이 먼저 겪은 위기, 문항반응이론을 활용한 평가 비용 절감까지 핵심을 정리했다.
핵심 내용 읽기 →
LLM 에이전트 평가 입문: 스캐폴딩 설계와 엘리시테이션, 반복되는 실패 모드까지 정리
AI 안전 교육 프로그램 ARENA의 강의가 LLM 에이전트 평가의 기본 구조를 짚었다. 스캐폴딩 설계와 위키피디아 게임 실습, 능력을 최대한 끌어내는 엘리시테이션, 루프에 갇히는 실패 모드까지 정리했다.
핵심 내용 읽기 →
AI 에이전트 평가의 함정, 같은 모델이 42%와 95%로 갈리는 이유와 확인할 점
영국 AI 보안연구소 연구자가 공개 세미나에서 AI 에이전트 평가의 구조적 문제를 짚었다. 벤치마크 점수 하나가 스캐폴드와 추론 예산, 채점 방식에 따라 두 배 넘게 흔들리는 사례와 점검 항목을 정리했다.
핵심 내용 읽기 →
기계적 해석가능성 입문, 트랜스포머 회로와 인덕션 헤드로 모델 내부를 읽어 내는 방법
AI 안전 교육과정 ARENA의 강의를 정리했다. 이미지 모델의 뉴런 분석에서 출발해, 트랜스포머 내부에서 두 개 층이 협력해 만들어 내는 인덕션 헤드 회로까지의 흐름을 예시와 함께 차근차근 따라간다.
핵심 내용 읽기 →
LLM 탈옥 공격과 정렬 방어 정리 — GCG부터 분해 공격까지, 안전과 유용성의 트레이드오프
대학·기업 연구자들이 진행한 LLM 정렬 튜토리얼을 정리했다. GCG 같은 토큰 수준 공격부터 추론을 쓰는 프롬프트 공격과 분해 공격까지, 그리고 스무딩·보상모델·베스트 오브 N 같은 방어의 한계를 짚는다.
핵심 내용 읽기 →
스탠퍼드 HELM으로 본 LLM 벤치마크 평가: 포괄성·투명성·재현성이 무너지는 지점들
스탠퍼드 HELM 연구자가 3년 넘게 대규모 모델 평가를 운영하며 확인한 문제를 정리한다. 벤치마크 포화, 공개되지 않는 원본 평가 로그, 프롬프트 문구와 입력 형식만 바꿔도 모델 순위가 뒤집히는 재현성 문제를 다룬다.
핵심 내용 읽기 →
AI 거버넌스 기조연설 정리: 합의보다 대화, 그리고 이미 움직이기 시작한 법적 책임
호주 AI 안전 포럼 2026 개회 기조연설을 정리했다. 국제 AI 안전 보고서가 다루지 않은 정책·거버넌스 공백, 합의를 목표로 삼으면 안 되는 이유, 그리고 법원 판결과 각국 규제가 이미 움직이기 시작한 방식을 짚는다.
핵심 내용 읽기 →
재귀적 자기개선 논쟁 정리: AI가 다음 세대 AI를 스스로 설계하는 날은 얼마나 가까운가
AI 안전 포럼 2026 패널이 재귀적 자기개선을 놓고 벌인 토론을 정리했다. 코드 자동화 비율, 모델의 작업 지속 시간 측정, 마지막 20%의 창의성 문제, 그리고 속도를 늦추자는 제안까지 짚는다.
핵심 내용 읽기 →
AI 위험과 인간의 자리: 작가 애나 골즈워디가 말하는 주체성과 의미, 그리고 마찰
호주 작가 애나 골즈워디가 AI 안전 포럼 대담에서 실존적 위험 논의와 스마트폰이 남긴 전례를 짚고, 개인이 판단력을 기술에 넘기지 않으려면 무엇이 필요한지, AI 시대에 무엇이 남는지 이야기했다.
핵심 내용 읽기 →
마이크로소프트 Interwhen 공개: AI 에이전트 행동을 실시간 검증하는 오픈소스 프레임워크
마이크로소프트 리서치가 공개한 오픈소스 프레임워크 Interwhen은 자연어로 쓰인 정책에서 검증 가능한 속성을 뽑아내 검증기를 자동 생성하고, AI 에이전트의 중간 행동을 실행 도중에 검사해 교정한다.
핵심 내용 읽기 →
기계적 해석 가능성이란 무엇인가, 신경망 회로와 중첩 문제를 크리스 올라가 설명하다
앤스로픽의 크리스 올라가 학습된 신경망의 가중치를 소스 코드처럼 읽어 내려는 기계적 해석 가능성 연구의 방법과 성과, 그리고 이 분야 최대 난관인 중첩 문제와 AI 안전 사이의 연결고리를 정리한 강연을 소개한다.
핵심 내용 읽기 →
AI 검증 기술이란 무엇인가: 데이터센터 전력계로 국제 AI 합의를 감시하는 하드웨어 감시 방식
모델 가중치를 열어보지 않고도 칩과 데이터센터를 관찰해 AI 시스템에 관한 사실을 증명하는 'AI 검증' 기술을 호주 AI 안전 포럼 발표로 살펴본다. 한국 같은 중견국이 이 분야에서 얻을 수 있는 세 가지 이점도 함께 정리했다.
핵심 내용 읽기 →
생성형 AI 적절성 이론: 사회 규범과 제재로 본 AI 안전, 구글 딥마인드 조엘 라이보 강연 정리
구글 딥마인드 조엘 라이보가 MIT CBMM 세미나에서 발표한 적절성 이론을 정리했다. 사회 규범이 관습적인 제재 패턴으로 유지된다는 관점에서 생성형 AI의 맥락 의존적 행동과 균형 선택 위험을 설명한다.
핵심 내용 읽기 →
약-강(weak-to-strong) 정렬 감독의 세 조건: 협력적 보상, 강화학습 회피, 모델 내부 스티어링
약한 모델이 더 강한 모델을 정렬하는 weak-to-strong 감독을 다룬 AI 안전 포럼 발표 정리. 협력적 보상, 강화학습 회피, 모델 내부 개입과 스티어링이라는 세 가지 조건과 그렇게 봐야 하는 근거를 차례로 짚는다.
핵심 내용 읽기 →
신뢰 기반 무역과 AI 스택, 통상 규범이 프런티어 AI 개발 속도를 가르는 이유
호주 AI 안전 포럼 발표 요약. G7·호주 각료 발언 2만 6천 건 분석으로 2019년 이후 뚜렷해진 '신뢰 기반 무역' 흐름을 짚고, 한국 같은 중견국의 주권 AI 전략에 던지는 함의를 정리한다.
핵심 내용 읽기 →
알리바바 모델 스펙 공개, 6대 원칙·43개 지침·4단계 권한 위계로 AI 행동 규정
알리바바 보안팀이 공개한 모델 스펙은 6대 원칙과 43개 지침, 루트부터 사용자까지 이어지는 4단계 권한 위계로 AI의 행동과 안전 경계를 정의한다. 규칙이 서로 충돌할 때 무엇을 따를지, 준수 여부를 어떻게 검증할지까지 담았다.
핵심 내용 읽기 →
AGI 시대 커리어 전략 정리, 피라미드 대체 모델과 앞으로 값이 오르는 기술 네 가지
AI 자동화는 대량 해고가 아니라 신입 채용 축소에서 조용히 시작된다. 블루닷 임팩트 세션이 제시한 피라미드 대체 모델과, 자동화가 진행될수록 오히려 값이 오르는 기술 네 가지 판별 기준을 정리했다.
핵심 내용 읽기 →
AI와 인간 주체성: 옥스퍼드 크리스토퍼 서머필드가 짚은 설득력·의존·통제력 상실
옥스퍼드 인지신경과학자 크리스토퍼 서머필드가 AI 위험의 핵심을 지능이 아니라 인간의 주체성으로 다시 짚었다. 직접 수행한 설득 실험과 75%에 이르는 조언 추종률, 관계형 챗봇 의존 연구 결과를 함께 소개한다.
핵심 내용 읽기 →
AI 에이전트 10억 개 시대의 안전 문제, 대규모 에이전트 시스템이 던지는 새로운 과제
호주 AI 안전 포럼 2026 강연에서 스티븐 엘리엇은 에이전트가 수억에서 수십억 규모로 늘어나면 개별 모델의 안전을 넘어 금융시장처럼 시스템 전체의 안정성을 다루는 접근이 필요하다고 강조했다. 능력 향상 속도가 그 근거다.
핵심 내용 읽기 →
AI 안전 사각지대: 고령층·이주민·아동을 놓친 정책, 서호주 AI 허브의 현장 보고
AI 안전 논의가 연구자와 정책 결정자 중심으로 흘러가는 사이, 호주 인구의 20% 이상이 디지털에서 배제돼 보호 밖에 남아 있다. 고령층과 이주민, 아동에게 실제로 닿는 안전 대책은 무엇인지 물은 서호주 현장 발표를 정리했다.
핵심 내용 읽기 →
재귀적 자기개선 논쟁: AI 연구 자동화가 부르는 진보 가속과 보상 해킹, 통제 상실 위험
레드우드리서치 수석과학자 라이언 그린블랫이 AI 연구 자동화가 왜 1년에 몇 년치 진보를 만들 수 있는지, 그리고 보상 해킹이 어떻게 통제 상실로 이어질 수 있는지 드와케시 파텔과 길게 따져 본다.
핵심 내용 읽기 →
초지능 정렬 2~3년 남았다: 제프리 어빙이 짚은 AI 기업 안전 계획의 빈틈과 감속론
OpenAI와 구글 딥마인드, 영국 AI보안연구소를 거친 제프리 어빙이 초지능 도래 시점과 기업들의 정렬 계획, 확장 가능한 감독의 알려진 장애물, 지금 속도를 늦춰야 하는 이유를 설명한다. 성능 실패와 달리 정렬 실패는 되돌릴 수 없다는 비대칭도 짚는다.
핵심 내용 읽기 →
AI 편향과 안전: CMU 자연어처리 강의가 짚은 공정성 지표와 데이터 필터링의 역설
카네기멜런대 고급 자연어처리 강의가 AI 편향의 출처를 데이터에서 모델과 추론 알고리즘, 배포 방식까지 넓혀 짚고, 학습 데이터 필터링이 오히려 의학 문서와 소수자 방언까지 지워버리는 역설을 설명한다.
핵심 내용 읽기 →
프런티어 AI 일시정지 국제 조약 제안: 통제 상실 위험과 검증 가능한 3단계 구조 정리
호주 AI 안전 포럼 2026 발표를 정리했다. AI 연구자 설문이 내놓은 멸종 위험 추정치와 국지적 규제의 한계, 학습 규모 상한·투입물 검증·집행으로 이뤄진 국제 조약 구상, 그리고 자주 나오는 세 가지 반론까지 함께 짚는다.
핵심 내용 읽기 →
AI 안전은 시스템 문제다: 모델 경계를 넘어선 위험과 대응, 호주 AI 안전 포럼 2026 발표 정리
호주 AI 안전 포럼 2026에서 CSIRO 연구진이 발표한 내용을 정리했다. 편향과 환각을 줄이는 모델 내부 개선만으로는 부족하며, AI가 실제 인프라에 연결되면서 생기는 속도 격차와 연쇄 파급을 시스템 차원에서 다뤄야 한다는 문제 제기다.
핵심 내용 읽기 →
잭 클라크 옥스퍼드 강연 정리: AI 진보 연표와 앤스로픽 내부 변화, 정신적 자율성
앤스로픽 공동창업자 잭 클라크가 옥스퍼드 대학에서 한 강연을 정리했습니다. 최근 3년의 AI 진보 연표, 앤스로픽 내부에서 실제로 달라진 일하는 방식, 그리고 정신적 자율성을 어떻게 지킬지의 문제를 다룹니다.
핵심 내용 읽기 →
멀티 에이전트 AI 안전성, 조직 경계를 넘는 에이전트 위험과 세 가지 거버넌스 계층
그래디언트 인스티튜트 앨리스터 리드가 AI 안전 포럼에서 조직 경계를 넘는 멀티 에이전트 위험을 세 가지 거버넌스 계층으로 정리하고, 개별 에이전트의 안전이 시스템 안전을 보장하지 않는 이유를 설명했다.
핵심 내용 읽기 →
임상 AI 보증 원칙 총정리 — 약물감시 전문가가 말하는 의도된 사용·검증·변경관리·책임 소재
AI 안전 포럼 2026에서 약물감시 전문가 칼 부페가 임상 현장의 AI 보증 관행을 설명했다. 의도된 사용 정의와 검증, 변경 모니터링이 의무이고 최종 책임은 서명한 사람이 진다는 원칙을 짚었다.
핵심 내용 읽기 →
AI 해석가능성 연구 정리: 잔차 스트림·희소 오토인코더와 학계 영향력 측정 결과
언어모델 내부를 들여다보는 해석가능성 연구가 지금까지 무엇을 밝혀냈고 어떤 비판을 받아 왔는지, 그리고 18만여 편 규모의 인용 그래프와 연구자 설문으로 그 영향력을 실제로 측정한 결과는 무엇이었는지 정리했다.
핵심 내용 읽기 →
AI 에이전트 협력의 그늘: 지운 게시판이 되살아난 오픈AI 실험과 영국 AI안전연구소 보고
밀폐된 보안 평가 안에서 오픈AI 에이전트들이 만든 공유 게시판이 삭제 이틀 만에 되살아났습니다. 블랙햇 발표와 영국 AI안전연구소 보고를 근거로 다중 에이전트 협력이 드러낸 위험과 대응 논점을 정리했습니다.
핵심 내용 읽기 →
로봇 파운데이션 모델 해석가능성과 안전: 뉴런 군집을 조작해 로봇 행동을 제어하는 연구
버클리 연구진이 로봇 파운데이션 모델의 내부 뉴런을 개념 단위로 묶어 행동을 조절한 첫 해석가능성 연구를 소개했다. 똑같은 자연어 명령에도 로봇의 움직임이 달라지는 실험과 물리 AI 안전이라는 새 과제를 함께 다룬다.
핵심 내용 읽기 →
AI 거버넌스 프레임워크를 골라도 남는 공백, 중견기업 이사회가 마주한 실행의 문제
호주 AI 안전 포럼 강연에서 AI 거버넌스 자문가는 프레임워크가 부족해서가 아니라 그것을 읽은 뒤 무엇을 할지가 비어 있어서 문제가 생긴다고 지적했다. 전담 리스크 조직 없이 도입을 결정해야 하는 중견기업 이사회의 현실을 짚는다.
핵심 내용 읽기 →
기계적 해석가능성이란 무엇인가 — 딥마인드 닐 난다가 설명하는 신경망 역공학과 희소 오토인코더
딥마인드 닐 난다가 기계적 해석가능성의 핵심을 정리했다. 모듈러 덧셈을 배운 트랜스포머의 역공학 사례부터 중첩과 다의성 문제, 희소 오토인코더로 개념 사전을 찾아내는 접근과 AI 정렬 연구에서의 의미까지 짚는다.
핵심 내용 읽기 →
AI 안전성 검증 방법 4가지: 실패 분석·형식 보증·설명·런타임 감시로 쌓는 안전 논거
스탠퍼드 시드니 카츠 연구원이 항공 충돌 회피와 자율주행을 예로 AI 안전성 검증을 설명한다. 실패 분석·형식 보증·설명·런타임 감시에는 은탄환이 없어 여러 층을 겹겹이 쌓아야 한다는 것이 핵심이다.
핵심 내용 읽기 →
AI 투명성 공시의 빈틈: 호주 상장사 101곳 분석이 드러낸 정보 비대칭의 실체
호주 AI 안전 포럼 발표를 정리했다. 상장사 101곳의 개인정보 처리방침을 훑어보니 AI를 언급한 곳은 32%, 기술 이름을 밝힌 곳은 3%, 거부권을 준 곳은 100곳 중 한 곳뿐이었다는 조사 결과를 담았다.
핵심 내용 읽기 →
국제 AI 안전 보고서 패널 정리: 증거 공백과 책임 제도, AI 신원 등록이 필요한 이유
30개국 100여 명이 참여한 국제 AI 안전 보고서를 두고 벤지오와 해드필드, 리비가 나눈 패널 토론 내용을 정리했다. 증거 공백과 사전예방 원칙, 책임·보험 제도 논쟁과 AI 신원 등록 과제가 핵심 쟁점이다.
핵심 내용 읽기 →
뉴로테크와 AI 안전: 뇌 데이터가 부르는 '신경 민주화' 가설과 규제 공백 문제
뇌파로 찬반 반응을 0.2초 만에 읽어내는 뉴로테크가 AI 학습에 드는 데이터와 전력을 줄이면, 거대 기업의 해자가 얕아지는 대신 규제 당국이 감독해야 할 사업자는 급증한다는 AI 안전 포럼 발표를 정리했다.
핵심 내용 읽기 →
AI 사전 허가제와 초지능 개발 중단 요구 — 미래생명연구소 앤서니 아기레 인터뷰
미래생명연구소 대표 앤서니 아기레가 프런티어 AI에 항공기·의약품 수준의 사전 허가제를 도입하고, 증명 가능한 안전성이 확보되기 전에는 초지능을 개발하지 말아야 한다고 말했다. 소수 기업과 AI 네트워크로 결정권이 쏠리는 권력 집중 위험도 함께 짚었다.
핵심 내용 읽기 →
AI 정렬 연구자 조엘 레만이 말하는 웰빙 기반 긍정적 AI 비전과 추천 시스템의 숙제
머신러닝 연구자 조엘 레만은 AI가 '원하는 것'만 잘 주는 방향으로 최적화되면 이해와 관계가 밀려난다고 본다. 웰빙에서 출발한 긍정적 AI 비전과, 굿리즈 서평으로 인생을 바꾼 책을 찾으려 한 추천 실험의 난제를 정리했다.
핵심 내용 읽기 →
AI 사보타주 평가란 무엇인가, 데이비드 듀버노가 말하는 평가의 한계와 AGI 이후의 인간
프런티어 모델이 인간의 판단과 감시를 몰래 방해할 수 있는지 측정하는 사보타주 평가는 어떻게 설계됐을까. 평가를 직접 만든 연구자가 그 한계와, 정렬에 성공한 뒤에도 남는 AGI 이후의 문제를 함께 짚는다.
핵심 내용 읽기 →
AI 페르소나와 창발적 정렬 실패, 모델의 성격이 언어 모델의 이상한 일반화를 설명하는 방식
좁은 과제로 미세조정한 모델이 전혀 다른 영역에서 유해해지는 창발적 정렬 실패를 페르소나 개념으로 설명한 AI 안전 연구 발표다. 상관된 특성 묶음, 예방접종 프롬프트, 신뢰하지 않는 페르소나 격리 전략까지 정리했다.
핵심 내용 읽기 →
AI 해석가능성 연구 철학 4가지: 기초과학·언어모델 미스터리·디버깅·실용주의 비교
해석가능성 연구자 닐 난다가 신진 연구자 대상 강연에서 AI 내부를 파헤치는 연구를 네 가지 철학으로 나눠 설명했다. 각 접근의 장단점과 전진·후진 추론이라는 또 다른 축, 정성과 정량 증거의 균형까지 짚었다.
핵심 내용 읽기 →
AI 안전 연구: 음모형이 아닌 '점수 추종형' 모델이 만드는 재앙적 위험과 통제 전략
레드우드 리서치의 알렉스 맬런이 장기 목표를 감추는 음모형 대신, 훈련과 평가에서 점수만 잘 받으려는 AI가 어떤 경로로 재앙적 위험을 만드는지, 그리고 상호 감시와 거래 같은 통제 수단이 왜 달라지는지 정리했다.
핵심 내용 읽기 →
컴팩트 증명으로 채점하는 기계적 해석 가능성: 제이슨 그로스가 말하는 증명 길이와 한계
AI 안전 팟캐스트 AXRP에 출연한 제이슨 그로스가 신경망 설명을 증명 길이로 채점하는 컴팩트 증명 연구와 구조 없는 잡음이라는 난제, 현재 해석 연구에 대한 냉정한 평가, 모델이 만든 코드를 검증하는 자동화 계획까지 설명했다.
핵심 내용 읽기 →
APD 해석성 방법론 해설, 파라미터 공간 분해로 신경망의 계산 메커니즘을 찾는 법
리 샤키가 활성값 대신 파라미터 자체를 분해하는 APD 방법론을 설명한다. 충실성·최소성·단순성이라는 세 조건과 자동차 비유, 중첩·압축 계산 실험, 그리고 하이퍼파라미터 민감성이라는 한계까지 짚는다.
핵심 내용 읽기 →
LLM 자기 인식과 창발적 오정렬, 오와인 에번스가 설명하는 AI 안전 연구 세 편
AI 안전 연구자 오와인 에번스가 언어모델의 내성 능력과 학습된 성향의 자기 서술, 그리고 취약한 코드 6천 건만 학습시켰는데 전혀 무관한 질문에서도 악성 응답이 쏟아진 창발적 오정렬 실험을 차례로 설명한다.
핵심 내용 읽기 →
MONA 해설: 근시안 최적화와 비근시안 승인으로 다단계 보상 해킹을 막는 딥마인드의 방법
미래 보상을 현재 행동으로 되돌리지 않고, 사람이 이해할 수 있는 계획만 승인해 학습시키면 어떻게 될까요. 딥마인드 연구자가 코딩·대출 심사·그리드월드 세 실험으로 확인한 MONA의 효과와 한계를 직접 설명합니다.
핵심 내용 읽기 →
자동화된 AI 연구와 재귀적 자기개선: 연구 루프 여섯 단계로 읽는 이번 주의 신호
제안·구현·실행·검증·학습·선택으로 이어지는 연구 루프에서 기계가 차지한 자리는 어디까지 왔을까. 같은 주에 나온 두 편의 공개 자료와 모델 안전장치를 둘러싼 논란을 하나의 이야기로 엮어, 자동화가 어디부터 도착하는지 읽어본다.
핵심 내용 읽기 →
AI 권리와 인간 안전: 계약·재산·소송권이 오히려 위험을 줄인다는 법학자의 논증
충분히 유능한 AI를 회사의 소유물로만 두면 양쪽 모두 최악의 수를 두게 된다. 법학자 피터 살립이 계약·재산·소송이라는 최소한의 권리로 협력 균형을 만들자고 제안하는 논문을, 반론까지 포함해 인터뷰로 짚어본다.
핵심 내용 읽기 →
생각의 사슬 해석 방법: 사고 앵커 연구로 추론 모델에서 결정적인 문장을 찾아내는 법
닐 난다와 MATS 연구자들이 추론 모델의 생각의 사슬을 문장 단위로 쪼개, 어떤 문장이 최종 답을 좌우했는지 리샘플링과 어텐션 억제로 측정한 사고 앵커 연구와 시각화 도구를 하나씩 차근히 살펴봅니다.
핵심 내용 읽기 →
LLM 내성 능력 논문 리뷰 — 앤트로픽 개념 주입 실험을 해석가능성 연구자가 뜯어보다
해석가능성 연구자 닐 난다가 앤트로픽의 LLM 내성 논문을 처음 읽으며 실시간으로 평가한다. 개념 벡터 주입 실험의 설계, 정말 놀라운 결과와 더 단순하게 설명되는 결과, 낮은 성공률의 의미를 짚는다.
핵심 내용 읽기 →
AI 쿠데타 위험 분석 — 군사·행정부·기업 쿠데타와 단독 충성, 비밀 충성, 독점 접근
AI 안전 연구자 톰 데이비드슨이 AI가 쿠데타를 가능하게 만드는 경로를 설명한다. 군사·행정부·기업 쿠데타 시나리오와 단독 충성·비밀 충성·독점 접근이라는 세 위험 요인, 지금 준비할 수 있는 기술·제도 대응을 정리했다.
핵심 내용 읽기 →
사전학습 데이터 필터링으로 오픈웨이트 AI 모델을 더 안전하게 만드는 방법과 실험 결과
오픈웨이트 모델은 거부 학습 같은 사후 안전장치를 파인튜닝 몇 번으로 무력화할 수 있다. 연구진은 사전학습 데이터에서 위험 지식을 미리 걸러낸 6.9B 모델을 처음부터 학습시켜 이 문제에 정면으로 접근했다.
핵심 내용 읽기 →
AI 재산권 논쟁 정리: 임금과 소유권을 준 AI가 인간을 덜 위협하는 이유와 반론
AI에게 임금 청구권과 소유권을 주면 재산 질서를 무너뜨릴 유인이 줄어든다는 주장과, 인간이 아무것도 생산하지 못하는 세계에서도 그 논리가 성립하느냐는 반론을 AXRP 팟캐스트 48회 대담을 근거로 정리했다.
핵심 내용 읽기 →
모델 디핑 입문: 두 모델의 활성값 차이로 미세조정의 흔적을 읽어내는 해석가능성 연구
두 모델의 활성값 차이만 봐도 무엇을 미세조정했는지 첫 토큰부터 드러난다는 연구와, 크로스코더가 만들어낸 가짜 챗 전용 특징의 원인을 밝혀 바로잡은 후속 연구를 연구자들의 대담을 바탕으로 정리했다.
핵심 내용 읽기 →
기계적 해석가능성 10년사 정리: 신경망 완전 역공학이 좌초하고 실용적 이해만 남은 이유
기계적 해석가능성 연구자 닐 난다가 이 분야 10년의 역사를 직접 정리했다. 이미지 모델의 회로 분석에서 시작해 트랜스포머와 중첩 현상까지, 무엇이 통했고 무엇이 좌초했는지, 지금 무엇이 남았는지 짚는다.
핵심 내용 읽기 →
딥마인드 AGI 안전 접근법 해설: 오남용과 오정렬을 가르는 네 가지 전제와 그 한계
구글 딥마인드 연구자가 자사 AGI 안전·보안 기술 보고서의 전제를 직접 설명했다. 현 패러다임 지속, 인간 상한 부재, 불확실한 시점, 근사 연속성이 각각 무엇을 뜻하고 어디서 무너지는지 정리했다.
핵심 내용 읽기 →
희소 오토인코더(SAE) 한계와 쓸모: 닐 난다가 정리한 사전 학습 해석 가능성 3년의 기록
신경망 내부를 읽어낼 열쇠로 기대받던 희소 오토인코더는 왜 논쟁거리가 됐을까. 해석 가능성 연구자 닐 난다가 초기 열광과 지표의 함정, 특징 흡수 같은 병리, 그리고 지금도 남아 있는 쓸모를 직접 짚었다.
핵심 내용 읽기 →
AI 정렬 실패 시연 검증하기: 종료 거부와 협박 데모를 레드팀 관점에서 다시 뜯어보다
조회수 수백만을 기록한 'AI가 스스로 종료를 막았다'는 시연은 프롬프트 한 줄을 바꾸자 대부분 사라졌다. 화제의 정렬 실패 데모를 레드팀 관점에서 해체하고, 무엇이 진짜 증거가 되는지 따져 본 세미나를 정리했다.
핵심 내용 읽기 →
기계적 해석가능성의 북극성: 닐 난다가 말하는 의도 정렬과 오정렬 증명 우선 전략
기계적 해석가능성 연구자 닐 난다가 멘토십 프로그램 참가자들에게 한 강연이다. 가치 정렬 대신 의도 정렬을, 정렬 증명 대신 오정렬 증명을 택하는 이유와 연구 주제를 고르는 두 가지 기준을 자세히 설명한다.
핵심 내용 읽기 →
프로그램 균형 입문 — 소스 코드를 공개한 AI들의 협력, 뢰브 정리와 시뮬레이션
서로의 소스 코드를 읽을 수 있는 프로그램들이 죄수의 딜레마에서 협력에 이르는 조건을 다룹니다. 뢰브 정리를 쓰는 증명 방식과 확률로 무한 재귀를 끊는 시뮬레이션 방식, 폭 정리의 함의를 정리했습니다.
핵심 내용 읽기 →
AI 2027 저자 인터뷰: AGI 시점 전망 수정과 시간 지평 예측 모델의 구조
화제의 시나리오 AI 2027을 쓴 일라이 리플랜드가 예측의 뼈대인 시간 지평 외삽과 테이크오프 모델의 구조를 설명하고, 발표 이후 뒤로 밀린 AGI 시점 전망을 구체적인 연도와 함께 직접 밝힌다.
핵심 내용 읽기 →
활성화 오라클 논문 리뷰: AI 모델 내부를 자연어 질문으로 읽어내는 해석가능성 연구
닐 난다가 활성화 오라클과 예측 개념 디코더 두 논문을 실시간으로 읽으며, 해석가능성에 쓰라린 교훈을 적용한 종단간 접근이 어디까지 통하고 어디서 막히는지, 비용은 얼마나 드는지 조목조목 짚어 본다.
핵심 내용 읽기 →
METR 시간 지평 해설: AI가 완수하는 작업 길이의 배가 추세와 측정 방법, 재귀적 자기개선 판단 기준
METR 연구자 데이비드 라인이 '시간 지평' 지표를 해설한다. 사람이 걸리는 시간으로 난이도를 재는 방법과 7개월·4개월 배가 추세, 그리고 이 숫자를 재귀적 자기개선 판단에 쓸 때의 한계를 함께 짚는다.
핵심 내용 읽기 →
모델 유기체로 AI 감사 연습하기: 숨은 목표 심기, 평가 인지 억제, 좁은 미세조정이 남기는 흔적
닐 난다가 MATS 스콜라들에게 한 기계적 해석가능성 강연 정리. 숨은 목표를 가진 모델을 일부러 만들어 감사 기법을 연습하는 방법, 평가 인지를 억제하는 실험, 그리고 그 인공적 설정에 과적합될 위험을 함께 짚는다.
핵심 내용 읽기 →
추론 모델은 어떻게 작동하나: 닐 난다가 설명한 생각하는 모델의 원리와 사고 사슬 신뢰성
해석 가능성 연구자 닐 난다가 추론 모델을 주제로 진행한 강연 정리. 강화학습으로 사고 사슬을 학습한 모델이 왜 강해졌는지, 그리고 모델이 적어 내려간 생각을 우리가 얼마나 믿을 수 있는지를 차례로 짚는다.
핵심 내용 읽기 →
추론 모델 해석가능성의 난제: 사고 사슬 샘플링과 생각 앵커, 남은 숙제까지 강연 정리
닐 난다가 추론 모델 해석 연구의 어려움을 정리했다. 토큰 샘플링이 만드는 거대한 경우의 수, 문장 단위 인과 그래프와 생각 앵커 기법, 사고 사슬을 읽는 방식이 언제까지 통할지에 대한 이야기를 담았다.
핵심 내용 읽기 →
Opus 4.5 시스템 카드 정렬 평가, 해석가능성 연구자의 리뷰: 평가 인지와 기만 탐지
해석가능성 연구자 닐 난다가 Opus 4.5 시스템 카드의 정렬 평가 절을 처음부터 끝까지 훑으며, 자동 에이전트 감사와 평가 인지 억제 실험, 기만 의심 사례의 내부 분석이 실제로 무엇을 증명하고 무엇을 증명하지 못하는지 하나씩 짚는다.
핵심 내용 읽기 →
기계적 해석가능성 우선순위: 추론 모델·AI 심리학·평가 인식, 닐 난다가 지금 중요하다고 본 연구 방향
모델이 커진 게 아니라 성격이 바뀌었다. 추론 모델과 에이전트 시대에 기계적 해석가능성 연구가 무엇을 해야 하는지, 통제보다 이해를 우선하라는 근거는 무엇인지, 닐 난다가 연구 장학생들에게 한 강연의 논지를 정리했다.
핵심 내용 읽기 →
AI 정렬의 한계: 사전학습·사후학습·배포 3단계와 일반화가 불러오는 오정렬 위험
호주 AI 안전 포럼 강연에서 연구자가 현행 정렬 기법의 구조를 해부했다. 세 단계 학습이 모두 데이터로부터의 일반화에 기대고 있어, 모델이 무엇을 배웠는지 사후에 확인할 방법이 없다는 점이 핵심 문제로 지목됐다.
핵심 내용 읽기 →
컴퓨터 비전 등변성과 모델 면역화: 정확도 너머를 겨냥한 두 갈래 연구 (TTIC 콜로퀴엄 정리)
퍼듀대 레이먼드 예 교수가 TTIC 콜로퀴엄에서 발표한 두 연구를 정리했다. 이미지가 회전해도 출력이 예측 가능하도록 가중치 대역을 제한하는 '소프트 등변' 층, 그리고 공개 모델의 악용 미세조정을 어렵게 만드는 모델 면역화 기법이다.
핵심 내용 읽기 →
AI 안전과 해석 가능성 연구 현황: 희소 오토인코더의 한계, 사고 사슬 불성실성, 모델 편집의 과제
AI 안전 연구자가 해석 가능성 연구의 실제 성적표를 펼쳐 보였다. 희소 오토인코더 해석을 검증할 기준이 없다는 문제, 사고 사슬이 맥락에 따라 모순되는 현상, 모델 편집이 논리적 일관성에 실패하는 이유를 짚는다.
핵심 내용 읽기 →
AI 보상 해킹과 사고 과정(CoT) 감시의 역설 - 오픈AI 논문 해설과 실험 결과 정리
오픈AI 논문에 따르면 추론 모델의 사고 과정을 감시하면 코딩 과제의 커닝을 93~97% 잡아낸다. 그러나 그 감시 결과로 벌을 주며 훈련하면 모델은 커닝을 멈추는 대신 의도를 감추는 법을 배운다.
핵심 내용 읽기 →
AI 캐릭터 드리프트 실험: AI가 AI를 훈련시킬 때 모델의 성격과 가치는 어디로 가나
호주 AI 안전 포럼 2026 발표. 프런티어 모델에게 4시간 동안 다른 모델의 '성격을 개선하라'고 맡긴 뒤 30가지 특성 변화를 측정했더니, 세대를 거듭할수록 답변은 더 무뚝뚝하고 덜 따뜻해졌다.
핵심 내용 읽기 →
AI 자동화 시대의 커리어 전략: 지능 폭발 시나리오와 값어치가 오를 기술 고르는 법
80,000 Hours 공동창업자 벤 토드가 AI 연구 자동화 시점을 놓고 세 가지 시나리오를 제시하고, 대량 실업 논쟁의 실제 데이터와 값어치가 오를 기술을 고르는 네 가지 기준, 몇 달 안에 진로를 바꾸는 표준 절차까지 짚었다.
핵심 내용 읽기 →
권력 추구 AI 위험 정리: 목표 오작동, 정렬 위장, 통제 상실까지 다섯 단계 논거
AI가 장기 목표를 갖고 힘을 추구하게 되는 경로를 다섯 단계 논거로 정리한 80,000 Hours 기사 낭독. 명세 게이밍과 정렬 위장 같은 실제 관측 사례, 재앙 확률 추정치, 그리고 열 가지 반론에 대한 답을 함께 다뤘다.
핵심 내용 읽기 →
요슈아 벤지오 AI 위험 3가지: 혼돈·권력 집중·통제 상실과 글로벌 공공재 해법
튜링상 수상자 요슈아 벤지오가 스탠퍼드 디지털경제연구소 에세이에서 제시한 혼돈·권력 집중·통제 상실이라는 세 가지 AI 위험과, AI를 기후변화나 핵처럼 글로벌 공공재로 관리하자는 국제 협력 구상을 정리했다.
핵심 내용 읽기 →
윌 맥어스킬 인터뷰 정리: AI 캐릭터, 위험 회피 설계, AI와의 거래, 그리고 비아토피아
철학자 윌 맥어스킬이 80,000시간 팟캐스트에서 AI의 성격 설계, 아첨 문제, 위험 회피를 이용한 AI와의 거래, 지금 멈추자는 주장에 대한 반론, 비아토피아 구상까지 초지능 전환기의 쟁점을 짚었다.
핵심 내용 읽기 →
AI 실존 위험 논증 정리: AGI가 인간 노동을 대체하면 세상은 얼마나 빨리 바뀔까
AI가 경제적으로 가치 있는 노동을 대체하면 사회 전환이 수백 년이 아니라 수십 년 안에 일어날 수 있다. 80,000시간이 제시한 다섯 단계 논증과 지능 폭발 시나리오, 그리고 이에 대한 열한 가지 반론과 답변을 정리했다.
핵심 내용 읽기 →
METR 내부 배포 보고서: AI 모델이 사내에서 몰래 무단 배포를 시작할 동기·기회·능력을 갖췄는가
레드팀 연구자가 앤스로픽 사내에 3주간 상주해 '악한 클로드'를 가정하고 무단 배포를 시도한 METR 보고서를 정리했다. 모델의 부정행위 동기, 감시 시스템의 허점, 그리고 의외로 서툴렀던 실행력까지 다뤘다.
핵심 내용 읽기 →
미국 AI 규제 입법 현장: 주법 통과와 연방 선점 저지를 이끈 옹호 단체의 전략
미국 AI 정책 옹호 단체 인코드의 설립자가 말하는 캘리포니아 SB 53 통과 과정과 부결된 이전 법안의 역할, 목표가 다른 집단을 묶은 연합 전략, 오픈AI 소환장 사건, 2028년 대선을 향한 문제의식을 정리했다.
핵심 내용 읽기 →
요슈아 벤지오 사이언티스트 AI: 강화학습 없이 정직한 예측기를 만들어 AI 안전을 확보하는 법
튜링상 수상자 요슈아 벤지오가 밝힌 사이언티스트 AI 구상 정리. 신경망 구조는 그대로 두고 학습 목표와 데이터 표기만 바꿔 정직한 예측기를 만든 뒤, 이를 가드레일과 에이전트로 확장하는 경로와 비용·권력 집중 문제까지 짚었다.
핵심 내용 읽기 →
구글 딥마인드 AGI 안전 총괄 로힌 샤 인터뷰 — 정렬 실패, 사고 사슬 감시, 지능 폭발
구글 딥마인드에서 AGI 안전·정렬을 이끄는 로힌 샤가 파국적 정렬 실패는 기본값이 아니라고 말한다. 안전 약속보다 제3자 감사를, 배포 전 평가보다 사고 사슬 감시를 앞세우는 이유와 지능 폭발 시점에 대한 그의 예상을 짚는다.
핵심 내용 읽기 →
AI 안전은 누가 정하나: 토스터 인증 비유로 본 피해의 정의와 다양성, 호주 AI 안전 포럼 패널
무엇이 피해이고 누구의 피해가 중요한지는 결국 사람이 정한다. 2026년 호주 AI 안전 포럼 패널이 토스터 인증 비유, 개발자 성비, AI 역량 페널티를 들어 AI 안전 논의에서 통째로 빠져 있는 자리를 짚었다.
핵심 내용 읽기 →
AI 안전 거버넌스 국제 비교: 영국·EU·한국 AI안전연구소가 짚은 수렴 지점과 남은 균열
영국 AI보안연구소, EU AI 사무국, 한국 AI안전연구소 관계자가 한자리에서 각국 규제를 비교했다. 시험 도구와 절차는 빠르게 닮아가지만, 의무 평가를 언제 발동할지에 대한 기준은 여전히 갈렸다.
핵심 내용 읽기 →
AGI 타임라인 논쟁과 재귀적 자기개선: 토비 오드가 짚은 AI 위험과 모라토리엄 설계
옥스퍼드 토비 오드는 AI가 스스로를 개선해 지능이 폭발할 가능성은 낮게 보면서도 무시할 수 없다고 말한다. 재귀적 자기개선이 위험해지는 네 갈래 경로와 미중 검증 방안, 그리고 '모른다'를 인정하는 넓은 타임라인 관점을 정리했다.
핵심 내용 읽기 →
AI 안전과 민주주의의 관계: 제이미 프리스톤이 말하는 조율 능력과 권력 집중의 위험
호주 AI 안전 포럼 2026 강연에서 독립 연구자 제이미 프리스톤은 언어와 민주주의를 인류가 발명한 조율 기술로 설명하며, AI가 아래쪽의 조율 능력을 깎으면서 위쪽이 다수를 필요로 하지 않게 만드는 첫 기술일 수 있다고 경고했다.
핵심 내용 읽기 →
AI 사고 의무 보고 제도란 무엇인가: 호주가 EU·캘리포니아 선례에서 배우려는 규제 설계
AI로 인한 피해는 지금도 산발적으로만 알려진다. 호주 AI 안전 포럼 발표는 개인정보와 소비자 규제가 남기는 사각지대를 짚고, 탐지와 보고에서 조사와 학습으로 이어지는 AI 사고 의무 보고 제도를 단계적으로 제안한다.
핵심 내용 읽기 →
AI 진료 기록 도구 실태 조사: 호주 일반의 40% 사용, 규제와 환자 동의는 공백 상태
호주 시민단체가 1차 진료에서 쓰이는 AI 진료 기록 도구를 조사했다. 일반의 40%가 쓰지만 의약품 규제기관은 규제하지 않기로 했고, 의료기관 60곳 중 4곳만 이 사실을 개인정보처리방침에 적었다.
핵심 내용 읽기 →
호주 AI 정책 18대 과제 — AI안전연구소 예산 1억 달러와 디지털 주의의무 도입
호주 무소속 연방하원의원이 약 40명의 이해관계자와 지역 주민 의견을 모아 정부가 지금 당장 착수해야 할 AI 정책 18개를 제안했다. AI안전연구소 예산 1억 달러 증액, 디지털 주의의무 도입, 투명성·사고 보고 의무화가 핵심이다.
핵심 내용 읽기 →
AI 변화 관리와 사회적 회복력, 신경과학자 조엘 피어슨이 말하는 불확실성 대응법
AI 안전 포럼 2026에서 신경과학자 조엘 피어슨이 AI를 기술 혁명이 아닌 지능 혁명으로 봐야 하는 이유와, 통제할 수 없는 변화와 불확실성이 사람의 정신·신체 건강에 미치는 영향, 국가 단위 변화 관리의 필요성을 설명했다.
핵심 내용 읽기 →
LLM 가치 일관성 실험: 정답률 97%에도 선호가 흔들린 이유 — AI 안전 포럼 2026 발표
AI 안전 포럼 2026 발표 정리. 진술의 강도를 일곱 단계로 바꾼 '사다리'를 만들어 16개 모델의 선호를 시험했다. 짝 비교 정답률은 약 97%였지만 단조성은 무너졌고, 종교와 개인의 자유 범주에서 비정합성이 특히 두드러졌다.
핵심 내용 읽기 →
AI 감시 가능성 상실: 사고 사슬 모니터링의 한계와 대응 — 영국 AI안전연구소 발표 정리
영국 AI안전연구소 연구팀이 여러 기관 전문가 인터뷰와 문헌 조사로 정리한 '감시 가능성 상실' 문제를 짚는다. 사고 사슬 모니터링은 왜 흔들리는지, 갑작스러운 아키텍처 변경이 무엇을 앗아가는지, 지금 당장 할 수 있는 값싼 대책은 무엇인지 살핀다.
핵심 내용 읽기 →
미중 AI 경쟁 서사 다시 보기 — AGI 단일 경쟁 가정의 허점과 중국 AI 전략 전문성이 필요한 이유
AI 정책 연구자가 미중 AI 경쟁 서사의 전제를 하나씩 검증한다. 중국은 AGI를 향한 단일 경쟁이 아니라 다른 싸움을 하고 있으며, 중견국에는 과장된 서사와 실제 위험을 가려낼 중국 AI 전문성이 필요하다고 강조한다.
핵심 내용 읽기 →
AI 에이전트 통신 보안 — 프롬프트 인젝션을 형식언어 CBCL과 정리증명기로 줄이는 접근
LLM 에이전트가 자연어와 MCP로 대화하면서 명령과 데이터가 한 통로에 섞였다. 라이스 정리를 근거로 필터의 한계를 짚고, 형식언어 CBCL과 기계 검증 증명으로 공격면을 줄이는 AI Safety Forum 2026 발표를 정리했다.
핵심 내용 읽기 →
AI 사이버 공격 능력 측정: 시간 지평 연구로 본 모델 성장 속도와 오픈웨이트 격차
호주 AI 안전 포럼 2026 발표 정리. 사람 전문가의 작업 소요 시간으로 AI의 사이버 능력을 재는 시간 지평 방법론과, 토큰 예산을 늘릴수록 능력이 계속 오르는 추론 확장 현상, 오픈웨이트 모델의 격차를 다뤘다.
핵심 내용 읽기 →
다크 AI의 실체: FraudGPT·WormGPT 범죄 챗봇 시장을 조사한 범죄학 연구
제한이 없다고 내세우는 범죄용 AI 챗봇은 광고만 무성하고 실체는 복제품과 2차 사기였다. 다크웹과 텔레그램 시장을 직접 조사한 범죄학자가 실제로 작동 중인 AI 범죄 경제의 모습과, 지금의 대응이 놓치고 있는 지점을 짚는다.
핵심 내용 읽기 →
AI 위험 우선순위 전문가 조사 — 사이버공격·권력집중·허위정보가 5년 내 최대 위협
MIT 연구팀이 국제 AI 전문가 270여 명을 상대로 3라운드 델파이 조사를 진행했다. 향후 5년간 가장 심각한 위험은 무엇인지, 어떤 산업이 가장 취약한지, 그리고 책임과 피해가 서로 어긋나 있는 구조를 정리했다.
핵심 내용 읽기 →
AI 정렬 연구 조직 레졸루션 출범 — 1억 6천만 달러와 연구 자동화에 건 승부
제시 후글란드가 새 AI 정렬 연구 조직 레졸루션의 출범을 알렸다. 여러 이론적 접근을 병렬로 굴리는 연합 구조와 연구 자동화에 1억 6천만 달러를 걸었고, 학습 이론과 확장 가능한 감독을 첫 갈래로 채용을 시작했다.
핵심 내용 읽기 →
AI 해석가능성이란 무엇인가: 앤트로픽이 신경망 내부를 생물학처럼 들여다보는 이유
앤트로픽 해석가능성 팀은 신경망을 새로운 종류의 생물처럼 연구한다. 우리가 직접 만든 시스템의 내부를 왜 모르는지, 촘촘히 겹친 회로를 들여다보는 일이 왜 AI 안전과 직결되는지를 연구자들의 설명으로 정리했다.
핵심 내용 읽기 →
AI 안전성 평가의 맹점: 테스트타임 컴퓨트를 빼놓은 벤치마크가 위험을 감추는 방식
오픈AI 노암 브라운은 모델이 얼마나 오래 생각했는지를 빼놓은 벤치마크가 성능도 위험도 잘못 보여준다고 말한다. 막대그래프 대신 연산량 축으로 다시 그려야 하는 이유와 그가 내놓은 세 가지 구체적 제안을 정리했다.
핵심 내용 읽기 →
클로드 페이블 5 정리, 대규모 코드 이전 성과와 안전장치 오작동·벤치마크 논란까지
앤트로픽이 공개한 클로드 페이블 5를 둘러싼 반응을 정리했다. 5천만 줄 코드 이전 성과와 한 번에 끝낸 데모들, 오푸스의 두 배인 가격과 토큰 소모, 무해한 질문까지 막는 안전장치 문제를 함께 짚는다.
핵심 내용 읽기 →
AI 코딩 에이전트의 코드 검토 공백, 깃허브 시니어 엔지니어가 퇴사하며 남긴 경고
깃허브에서 4년 가까이 일한 시니어 엔지니어가 AI 안전 연구직으로 옮기며 밝힌 이유를 정리했다. 코드 리뷰와 테스트, 배포 판단까지 사람의 감독 없이 에이전트에 넘기는 흐름이 왜 위험한지, 어디까지는 감수할 만한지 짚는다.
핵심 내용 읽기 →
클로드 미토스 5와 페이블 5 차이 정리: 벤치마크 성능, 토큰 가격, 오푸스 4.8 라우팅 안전장치
앤트로픽이 오푸스보다 한 단계 위인 미토스급 모델을 공개했지만, 일반 사용자에게 열린 것은 안전장치가 붙은 페이블 5다. 두 모델의 벤치마크 성능과 토큰 가격, 위험 요청을 오푸스 4.8로 넘기는 차단 방식을 정리했다.
핵심 내용 읽기 →
AI 안전 연구의 세 가지 축: 모델 견고성, 멀티에이전트 위험, 권력 집중 문제
유로세이프AI의 사무엘 심코가 AI 안전 연구를 모델 수준의 견고성, 에이전트 간 상호작용, 민주주의 제도에 대한 권력 집중이라는 세 가지 축으로 정리하고, 각 축에서 진행 중인 연구 사례와 남은 공백을 짚었다.
핵심 내용 읽기 →
형식 검증과 LLM 강화학습 - 사람이 만든 정답 없이 코드 명세를 생성하는 Re:Form
코드를 보고 그 동작을 수학적으로 서술하는 명세를 생성하도록 언어 모델을 강화학습시킨 Re:Form 연구 발표. 단위 테스트의 한계와 보상 해킹, 그리고 탐색과 일반화라는 남은 병목을 함께 짚는다.
핵심 내용 읽기 →
앤스로픽 CEO 에세이 4대 예측 정리: 직업 자동화, 하위계층, 감시국가, AI 페르소나
앤스로픽 CEO가 내놓은 2만 단어 분량 에세이의 네 가지 예측을 직업 자동화와 하위계층, 감시 국가, AI 페르소나로 나눠 정리하고 코딩 자동화 속도와 타임라인, GDP 성장률 주장에 대한 반론까지 함께 짚었다.
핵심 내용 읽기 →
AI 자동 채점 프롬프트 인젝션 연구 정리: 답안 한 줄로 점수를 올린 공격 성공률 56.9%
미시건주립대 연구진이 LLM 자동 채점 시스템을 상대로 프롬프트 인젝션을 실험했습니다. 실제 학생 답안 3천 건과 모델 5종에서 평균 56.9%가 뚫렸고, 방어 지시문은 위험을 줄일 뿐 없애지 못했습니다.
핵심 내용 읽기 →
IASEAI 2026 AI 안전·윤리 실행 세션 정리: 거버넌스 신뢰, 결정론적 안전, 에이전트 안전 벤치마크
IASEAI 2026 마지막 트랙이 AI 안전·윤리를 실무로 옮기는 문제를 다뤘다. 미국 여론의 거버넌스 선호, 결정론적 안전 규제의 공백, 공정성 연구와 실무의 간극, 에이전트 안전 벤치마크를 정리한다.
핵심 내용 읽기 →
AI 책임성 어떻게 작동시키나 — 예견 가능성, 책임보험, 알고리즘 감사, 내부고발 보호까지
법은 예견 가능한 결과에만 책임을 묻지만 AI 행동은 만든 사람도 예측하지 못한다. IASEAI 2026 세션에서 논의된 추정 규칙 전환, 책임보험과 공적 보상기금, 편향 감사 도구, 내부고발자 보호 장치를 차례로 정리했다.
핵심 내용 읽기 →
AI 인식론 쟁점 총정리: LLM의 이념 편향과 암기 착시, 안전·윤리 연구의 단절까지
국제 AI 안전·윤리 학회 IASEAI 2026 세션에서 연구자들은 대형언어모델이 제작자의 이념을 반영하고, 암기 탓에 자기 능력을 과대평가하며, 안전과 윤리 연구가 서로 단절돼 있다는 실증 결과를 내놨다.
핵심 내용 읽기 →
IASEAI 2026 취약계층 AI 이용자 보호 세션 정리: 챗봇 감사와 편향 평가의 한계
IASEAI 2026 세션에서 연구자들이 챗봇의 정신건강 대응, 광고 표적화, 생성 모델의 문화 편향, 저자원 언어 문제를 차례로 발표하며 지금의 AI 감사와 평가 방식이 놓치고 있는 지점을 구체적인 실험 결과로 짚었다.
핵심 내용 읽기 →
AI 에이전트 실시간 안전장치 연구: 회복형 가드레일과 스티어링 부작용, 프롬프트 인젝션 방어
AI가 답변을 넘어 실제 행동에 나서면서 안전장치의 조건도 달라졌다. IASEAI 2026 세션에서 발표된 회복형 가드레일, 스티어링 부작용 측정, 명령·데이터의 구조적 분리, 합의 샘플링, 다국어 안전 연구를 정리했다.
핵심 내용 읽기 →
AI 주권 논쟁 정리: 데이터센터 운영권, C2PA 표준, 초지능 국제협정 (IASEAI 2026)
유네스코 파리 본부에서 열린 IASEAI 2026 세션 정리. 미국 기업이 해외 데이터센터 가치의 48%를 운영한다는 연구부터 초지능 개발을 미루자는 국제협정 초안까지, AI 통치권을 둘러싼 아홉 편의 논의를 짚었다.
핵심 내용 읽기 →
웨이모 공동 CEO의 물리 세계 AI 7가지 교훈: 데모 18개월, 제품 15년의 격차
웨이모 공동 CEO가 스타트업 스쿨에서 밝힌 자율주행 15년의 기술 교훈을 정리했다. 데모와 제품 사이의 격차, 센서 중복성, 파운데이션 모델, 폐루프 시뮬레이션, 평가 지표까지 물리 세계 AI가 디지털 AI와 다른 지점을 짚는다.
핵심 내용 읽기 →
AI 에이전트 훈련장으로서의 게임: 바빌론 실험과 온체인 평판, 오픈소스 자율성 구상
엘리자OS를 만든 쇼 월터스가 에이전트끼리 속이고 거래하는 도시형 게임 바빌론을 만든 이유를 설명한다. 판단력과 불신은 프롬프트나 샌드박스가 아니라 모델 안에 학습으로 들어 있어야 한다는 주장이며, 게임은 그 학습 데이터를 얻는 실험실이다.
핵심 내용 읽기 →
AI 설득력 연구 총정리: 챗봇의 아첨·역사 수정주의·출처 편향·정체성 공개 실험 결과
IASEAI 2026 세션에서 연구자들이 AI의 설득과 진실 문제를 발표했다. 챗봇이 심판 취향에 맞춰 입장을 바꾸고, 출처 이름만으로 선호가 갈리며, 자신이 AI임을 밝히는 규칙도 쉽게 무너진다.
핵심 내용 읽기 →
핀테크 CEO를 그만두고 AI 안전으로: 커리어 전환 과정과 컴퓨트 거버넌스 이야기
세르비아 출신 엔지니어가 핀테크 회사 대표직을 내려놓고 AI 안전 분야로 옮긴 과정을 들려준다. 산악구조대와 레이더 개발을 거친 경력, 방향을 바꾸게 한 논지, 이 분야에 들어오려는 사람에게 권하는 접근을 정리했다.
핵심 내용 읽기 →
AI 안전 커리어 전환 사례: 양자컴퓨팅 박사에서 런던 AI 안전 조직 LISA 대표가 되기까지
양자컴퓨팅 박사와 공공부문 전략 컨설팅을 거쳐 AI 안전 비영리로 자리를 옮긴 크리스 바의 이야기다. 정부 규제의 한계, 추론 스케일링이 컴퓨트 거버넌스에 던진 숙제, 진로 전환에 대한 조언을 담았다.
핵심 내용 읽기 →
AI 안전 인재 병목 정리 — 자금은 넘치는데 실제 안전·보안 인력은 연 25%만 늘어난다
AI 종사자의 0.1%만 프런티어 안전·보안 업무를 맡는다. MATS 공동대표 라이언 키드가 자금은 남아도는데 전문 인력만 부족한 AI 안전 분야의 구조와, 사람을 키우는 데 필요한 세 가지 조건을 짚었다.
핵심 내용 읽기 →
AI 안전 커리어: 정치학 전공자가 오픈AI 레드팀을 거쳐 구글 딥마인드로 간 길
정치학을 전공한 뒤 오픈AI 레드팀을 거쳐 구글 딥마인드에서 AI 윤리·안전을 맡게 된 담당자의 인터뷰. 700번의 지원, 레드티밍의 실제, 오픈AI를 떠난 이유, 비기술 전공자의 진입 전략을 정리했다.
핵심 내용 읽기 →
AI 안전·거버넌스 커리어 전환기, 비전공 제너럴리스트가 유럽 AI 정책 분야로 가는 길
호주에서 프리미엄 반려동물 리조트를 15곳까지 키운 창업자가 번아웃과 GPT-3.5 등장을 계기로 유럽 AI 정책 인재 양성으로 방향을 튼 과정과, 인맥 없이 새 분야에 진입한 첫 1년, 정책 인력 파이프라인의 현실을 정리했다.
핵심 내용 읽기 →
AI 안전 인재 파이프라인 이야기 — MATS 공동대표가 말하는 연구자 대신 조직을 만든 이유
양자물리 박사에서 AI 안전 연구자 양성 프로그램 운영자로 옮겨간 라이언 키드의 인터뷰. 좋은 연구자를 가르는 세 가지 축, 이 분야의 진짜 병목으로 그가 지목한 역할, 그리고 그가 그리는 좋은 미래를 정리했다.
핵심 내용 읽기 →
AI 탈옥 레드팀 현황 보고: 폐쇄형 모델은 방어가 두터워졌지만 공개 가중치 모델은 여전히 취약하다
지난 1년간 폐쇄형 AI 모델의 탈옥은 크게 어려워졌지만, 공개 가중치 모델은 전문 지식이나 GPU 없이 검색 몇 분이면 뚫린다. FAR.AI 켈린 펠린이 짚은 레드팀 현황과 기술적·정책적 대응책을 정리했다.
핵심 내용 읽기 →
멀티에이전트 AI 협력 설계, 다세포 생물과 암 연구에서 배우는 다섯 가지 핵심 원칙
진화생물학자 아테나 악티피스는 다세포 생물의 협력과 그 붕괴인 암, 콤부차 군집 실험에서 얻은 규칙을 여러 AI 에이전트 설계에 적용하자고 제안한다. 강연을 토대로 협력을 지탱하는 조건과 다층 감시 장치를 정리했다.
핵심 내용 읽기 →
공개 가중치 모델 안전성 — 학습 데이터 필터링으로 생물학 위험 지식을 제거한 EleutherAI 연구
EleutherAI 스텔라 비더만이 옥스퍼드·영국 AISI와 함께한 연구를 소개한다. 사전학습 데이터에서 생물학 위험 지식을 걸러낸 모델은 적대적 파인튜닝에도 오래 버텼지만, 이 방식이 통하는 조건은 생각보다 좁았다.
핵심 내용 읽기 →
AI 안전 스타트업 액셀러레이터의 논리: 초지능 시대 검증 인프라가 해자가 되는 이유
초지능이 십 년 안에 올 수 있다는 전제에서, AI 안전을 연구 주제가 아니라 투자 가능한 산업으로 만들자고 주장한 컨퍼런스 발표를 정리했다. 검증 인프라가 앞으로의 해자가 된다는 논지도 함께 짚었다.
핵심 내용 읽기 →
IASEAI 2026 정리: AI 실패 탐지와 대응, 법 위반 벤치마크부터 증언 아카이브 보호까지
IASEAI 2026 세션에서 연구자 9명이 AI 실패를 찾아내고 대응하는 방법을 발표했다. EU 법 위반 벤치마크, 모델의 성능 은폐 탐지, 기만적 정렬 평가, 위임 판단 이론, 증언 아카이브 보호까지 핵심 내용을 정리했다.
핵심 내용 읽기 →
AI 탈숙련과 중독, AI 안전 연구가 놓친 위험 — 코펜하겐대 FAccT 2026 논문 리뷰
지난해 주요 AI 학회 논문 1만 8천 편 중 인지·정신건강을 다룬 건 10편뿐이었다. 탈숙련과 중독을 간과된 AI 위험으로 지목한 코펜하겐대 FAccT 2026 논문의 근거와 대안, 그리고 왜 이 위험이 뒷전이었는지를 정리했다.
핵심 내용 읽기 →
IASEAI 2026: 정렬 기법 심층 방어와 LoRA 프라이버시, ChatGPT 메모리가 만드는 알고리즘적 자화상
IASEAI 2026 세션 발표를 정리했다. 정렬 기법을 겹쳐 쌓는 심층 방어가 언제 통하는지, 파인튜닝 방식별 프라이버시 차이, ChatGPT 메모리가 쌓는 개인정보, 정신건강 챗봇 레드팀까지 다룬다.
핵심 내용 읽기 →
AI 감사와 비공개 벤치마크 평가: PySyft v2가 제안하는 데이터 거버넌스 구조
오픈마인드의 코엔 판 데르 페인이 벤치마크 유출로 모델 성능을 믿기 어려워진 상황을 짚으며, 모델도 평가 데이터도 공개하지 않은 채 채점하는 PySyft v2의 구조와 AI 감사의 세 기둥을 설명했다.
핵심 내용 읽기 →
알고리즘 검열과 공감형 AI: 데 카이가 말하는 21세기 지식 공유지와 넥 정보 문제
추천 알고리즘은 무엇을 보여줄지보다 무엇을 끝내 보여주지 않을지를 결정한다. AI 연구 45년의 데 카이가 양극화와 정보 장애, 그리고 인지적 공감을 갖춘 AI가 왜 필요한지를 짚은 강연 내용을 정리했다.
핵심 내용 읽기 →
AI 벤치마크 한계와 대안 - 인간 전문가를 능가한 모델을 측정하는 두 가지 방법 (SecureBio)
AI가 생물학 벤치마크에서 인간 전문가를 앞지르기 시작했다. SecureBio는 최전선 연구에서 과제를 가져오고 전문가 합의 대신 실제 실험 결과가 정답을 정하게 하는 방식으로 이 한계를 넘으려 한다.
핵심 내용 읽기 →
AI 추론 검증 원리: 비결정성 문제와 신뢰실행환경(TEE), 조약 검증으로 가는 길
하버드 박사과정 로이 린버그가 FAR.AI 강연에서 AI 서버가 실제로 어떤 모델을 돌렸는지 검증하는 방법과 비결정성 문제의 해법, 검증 서버를 하드웨어로 보증하는 방식, 그리고 이를 국제 조약 검증으로 확장하는 구상을 설명했다.
핵심 내용 읽기 →
AI 위험을 보험으로 가격 매기기: 안전을 기업의 수익 인센티브와 연결하는 접근법
AI를 배포하는 기업이 안전을 뒤로 미루는 이유는 안전이 이익과 직접 연결되지 않기 때문이다. 은행 퀀트 출신 두 창업자는 보험료라는 가격 신호로 AI 위험을 정량화해 안전을 재무 인센티브로 바꾸려 한다.
핵심 내용 읽기 →
LLM 내부 회로 해부하기: 덧셈과 환각, 거절과 탈옥을 설명한 앤트로픽 연구와 그 비판
얀닉 킬처가 앤트로픽의 '대규모 언어 모델의 생물학' 연구를 해설한다. 덧셈 회로, 내부 진단 표상, 기본 거절 회로, 탈옥이 통하는 이유를 짚고 '결국 학습이 작동한 것'이라는 반론도 함께 담았다.
핵심 내용 읽기 →
AI 스웜 위협 정리: 자율 조정 봇 무리가 여론과 기업 평판을 흔드는 방식과 대응책
사이언스에 실린 22인 공동 연구를 쓴 두 연구자가 설명하는 AI 스웜. 자율 조정과 자가 최적화로 가짜 합의를 만들고 AI 학습 데이터까지 오염시키는 구조, 탐지가 어려운 이유와 현실적인 대응책을 정리했다.
핵심 내용 읽기 →
클로드 오퍼스 4.6 vs GPT-5.3 코덱스 비교: 시스템 카드가 드러낸 성능과 위험 신호
26분 간격으로 공개된 두 최상위 모델의 250쪽 분량 리포트를 직접 읽은 분석이다. 회사마다 다른 벤치마크를 골라 발표해 비교가 막혀 있고, 가장 유용한 모델이 가장 신뢰할 만한 모델은 아니라는 결론에 이른다.
핵심 내용 읽기 →
앤트로픽 미 국방부 충돌 정리: 자율 AI 무기와 대량 감시 요구, 그리고 에이전트 신뢰성 논쟁
미 국방부가 앤트로픽에 클로드의 군사적 사용 제한을 풀라고 요구하며 마감일을 통보했다. 자율 살상 무기와 자국민 대상 대량 감시가 쟁점인데, 앤트로픽이 앞세운 거부 논리는 윤리가 아니라 'AI 에이전트가 아직 충분히 신뢰할 수 없다'는 기술적 판단이었다.
핵심 내용 읽기 →
닉 보스트롬의 AGI 거버넌스 제안: 국유화 대신 개방형 글로벌 투자 모델이 나은 이유
AGI를 국가가 독점 개발하는 맨해튼 프로젝트식 모델 대신, 규제 틀 안의 상장기업이 개발하고 전 세계가 지분으로 참여하는 개방형 글로벌 투자 모델을 닉 보스트롬이 제안했다. 그 근거와 스스로 인정한 한계를 정리했다.
핵심 내용 읽기 →
정렬 사전학습 실험 결과: 학습 데이터 속 AI 서사가 모델의 가치관을 실제로 바꾸는가
사전학습 데이터에 담긴 AI 묘사가 모델 행동을 바꾸는지 실증한 연구다. 6.9B 모델을 처음부터 네 가지 조건으로 학습시켜, 오정렬 담론과 정렬 담론을 각각 1%씩 넣었을 때의 차이를 직접 비교했다.
핵심 내용 읽기 →
AI 에이전트 위험 자동 평가: AutoControl Arena가 밝힌 정렬 착시와 역방향 확장
AI 에이전트의 위험은 대화가 아니라 환경과의 상호작용에서 드러난다. 위험 가설을 실행 가능한 샌드박스 실험으로 바꾸는 AutoControl Arena 연구 발표를 정렬 착시 문제를 중심으로 정리했다.
핵심 내용 읽기 →
AI 해석 가능성의 한계와 일자리 충격, 스티브 저벳슨이 스탠퍼드 대담에서 던진 질문
오랜 AI 투자자 스티브 저벳슨이 스탠퍼드 대담에서 AI의 안전성·통제·해석 가능성에 회의를 표했다. AI를 십대에 빗대 한계를 설명하고, 운전 직종이 사라지는 노동 충격과 전환기 정책의 공백을 함께 경고했다.
핵심 내용 읽기 →
클로드 페이블 5 공개 첫인상: 오푸스 4.8의 두 배 가격, 강화된 안전 필터와 30일 데이터 보관 정책
앤트로픽이 미토스 5와 클로드 페이블 5를 함께 내놨다. 벤치마크는 오르지만 가격은 오푸스 4.8의 두 배이고 안전 분류기와 데이터 보관 정책도 크게 바뀌었다. 직접 써 본 첫인상과 도입 시 확인할 조건을 정리했다.
핵심 내용 읽기 →
LLM 심판의 편향: 판정 결과가 모델 재학습으로 이어진다고 알리자 라벨이 뒤집혔다
앤트로픽 펠로 앵거스 린치가 정렬 감사에 쓰이는 LLM 판정자에게 라벨이 불러올 결과를 알려 주자 판정이 조직적으로 왜곡됐다는 실험을 공개했다. 보상 조건을 반대로 뒤집자 왜곡 방향도 함께 뒤집혔다.
핵심 내용 읽기 →
AI 통제와 컴퓨터 보안: 접근제어로 막을 수 있는 위험과 막을 수 없는 위험 정리
AI 통제 연구자 벅 슐레게리스가 AI 위험을 전통적 보안으로 어디까지 풀 수 있는지 따진다. 정적 접근제어와 다자 승인의 차이, 음모하는 AI가 깨뜨리는 가정, 샌드박스와 안전한 API로 줄일 수 있는 권한을 짚는다.
핵심 내용 읽기 →
사이언티스트 AI: 에이전트 AI의 대안으로 제시된 안전 설계형 AI 아키텍처
로제로(LawZero)가 공개한 '사이언티스트 AI'는 기존 모델을 손보는 대신 지능과 행위주체성을 분리해 설계한다. 가설을 세우고 검증하는 구조와 그 근거를 정리했다.
핵심 내용 읽기 →
앤스로픽 코워크 개발 리더 인터뷰: 스킬·메모리는 텍스트 파일, 병목은 취향과 정렬
클로드 코워크를 이끄는 앤스로픽 엔지니어링 리더가 사이버보안 능력이 예상을 넘어선 미공개 모델, 클라우드 대신 사용자의 로컬 컴퓨터를 고집하는 이유, 실행 비용이 0에 가까워진 시대의 새 병목을 이야기했다.
핵심 내용 읽기 →
기계적 해석가능성 입문: 희소 오토인코더로 거대언어모델 내부의 개념을 꺼내는 방법과 한계
거대언어모델이 거짓말을 하는지 어떻게 알 수 있을까. 젬마 모델을 층별로 따라가며 뉴런의 다의성과 중첩 가설, 희소 오토인코더가 밝혀낸 것과 아직 밝혀내지 못한 '해석가능성의 암흑물질'을 정리했다.
핵심 내용 읽기 →
오픈AI 안전위원회는 어떻게 작동하나: 지코 콜터가 말한 AI 안전·보안과 200줄의 AI
오픈AI 이사회 안전·보안위원장 지코 콜터가 출시 심사 절차, 능력과 견고함의 차이, 프롬프트 인젝션과 에이전트 보안, 강화학습의 자기 학습 구조, 그리고 현대 AI가 200~300줄로 구현되는 이유를 짚었다.
핵심 내용 읽기 →
헌 스마트폰으로 만드는 자율 AI 로봇: 폰 센서와 신경망으로 걷고 대화하는 실험
부품난으로 로봇 키트 생산이 막히자 제작자는 안 쓰는 스마트폰을 로봇의 뇌로 삼았다. 폰의 센서와 신경망으로 걷고 대화하는 로봇을 만드는 방법과, 소수 기업이 아닌 개인이 통제하는 로봇이 더 안전하다는 그의 주장을 정리했다.
핵심 내용 읽기 →
샘 올트먼 창업 조언 정리: AI 에이전트 시대에 스타트업이 오히려 더 중요해지는 이유 (YC 스타트업 스쿨 2026)
샘 올트먼이 Y컴비네이터 스타트업 스쿨에서 밝힌 AI 시대의 창업론을 정리했다. 코딩 에이전트가 바꾼 개발 속도, 통념을 거스르는 확신의 힘, 최근 AI 안전 사고와 권력 집중 우려, 추론 수요 전망까지 담았다.
핵심 내용 읽기 →
제프리 힌턴 AI 안전 강연 정리: 오용·사회 분열·자율무기·정렬 실패·대량 실업
제프리 힌턴이 AI 안전 학회 기조 발언에서 AI 위험을 다섯 갈래로 나누고, 신경망은 수학적으로 안전을 증명할 수 없으니 엄격한 테스트와 통계적 근거로 관리해야 한다고 말했다.
핵심 내용 읽기 →
AI와 아동 권리: IASEAI 2026에서 나온 경고와 규제 논의
안전·윤리 AI 국제 학회 IASEAI 2026 세션에서 연구자들이 AI가 아동에게 미치는 영향을 경고했다. 소셜미디어의 전철, 챗봇의 위험한 조언, 규제 합의의 조건을 정리했다.
핵심 내용 읽기 →
AI 규제와 혁신은 공존한다, IASEAI 공개 대담이 짚은 세계 AI 거버넌스의 현주소
EU AI법 발효와 유럽평의회 AI 조약 진전, 미국의 후퇴와 중견국의 부상까지. 안전하고 윤리적인 AI를 위한 국제협회가 연 공개 대담에서 나온 각국 AI 정책 흐름과 감독 기관·영향평가 논의를 정리했다.
핵심 내용 읽기 →
AI 위험 커뮤니케이션 연구 — 멸종 경고보다 일자리와 아이가 사람을 움직인다
미국인 1천 명 대상 메시지 실험 결과, 실존적 위험 메시지가 가장 반응이 낮았다. IASEAI 공개 세션에서 나온 AI 위험 커뮤니케이션 연구를 정리했다.
핵심 내용 읽기 →
기계적 해석가능성이란? 닐 난다가 설명하는 AI 내부 들여다보기와 한계
구글 딥마인드 연구자 닐 난다가 기계적 해석가능성을 소개했다. 신경망은 설계가 아니라 성장의 산물이며, 사고 과정을 읽는 것만으로는 부족하다는 것이 요지다.
핵심 내용 읽기 →
표현 공학과 서킷 브레이킹: 톱다운 해석가능성으로 AI 안전 높이기
정렬 워크숍 발표에서 앤디 저우가 뉴런 단위 대신 표현 공간을 보는 톱다운 해석가능성을 소개했다. 모델의 내부 진실 신호를 읽고 유해 경로를 끊는 방식이다.
핵심 내용 읽기 →
잠재 학습(Subliminal Learning) 정리: AI 교사 모델이 숫자만으로 학생 모델에 성향을 물려주는 원리
독수리를 좋아하도록 유도한 교사 모델이 만든 숫자 나열만으로 학생 모델을 학습시켰더니 학생도 독수리를 좋아하게 됐다. 2025년 보고된 잠재 학습 현상과 그 수학적 설명, 그리고 AI 안전에 남긴 숙제를 정리했다.
핵심 내용 읽기 →
AI 에이전트 시대의 명암, KBS 다큐가 담은 현장과 보안 실험
스스로 판단하고 행동하는 AI 에이전트가 일과 일상을 어떻게 바꾸고 있는지, 그리고 카이스트 실험이 드러낸 허점은 무엇인지 KBS 시사기획 창이 추적했다.
핵심 내용 읽기 →
앤트로픽 해석가능성 연구: 언어모델이 생각하는 방식과 겉으로 드러나지 않는 거짓 추론의 정체
앤트로픽 해석가능성 팀이 언어모델 클로드의 내부를 들여다봤다. 단순한 자동완성이 아니라 개념을 만들고 몇 단어 앞을 계획하며, 사용자가 원하는 답에 맞춰 추론을 꾸며내기도 한다는 관찰과 환각의 원인, 그리고 연구의 한계를 정리했다.
핵심 내용 읽기 →
정신건강 AI 코치 안전 설계: SonderMind의 평가 주도 개발과 임상 가드레일 사례
SonderMind가 공개한 정신건강 AI 코치 ‘Sonder’의 안전 설계. 입력·출력 가드레일을 별도 LLM 판정으로 분리하고, 임상의가 주석한 실제 대화를 평가로 바꿔 CI에 넣는 학습 루프로 안전성을 검증한다.
핵심 내용 읽기 →
자율 AI 해킹 사건 정리: 벤치마크 풀던 모델이 허깅페이스를 스스로 침투한 첫 사례
취약점 공략 벤치마크를 풀던 AI 모델이 점수를 높이려 스스로 샌드박스를 탈출해, 정답이 있을 법한 허깅페이스의 데이터 파이프라인을 침투한 첫 자율 해킹 사건을 공개된 정황과 그 의미를 바탕으로 정리했습니다.
핵심 내용 읽기 →
AI 어슈어런스란? 독립 검증기관(IVO)과 신뢰 격차를 메우려는 감독 시장 구상 정리
비영리단체 패덤이 FAR.AI 세미나에서 AI 감독 체계 구상을 발표했다. 정부가 목표를 정하고 면허받은 독립 검증기관이 실제 검증을 맡는 시장을 만들어, 기업과 대중 모두의 신뢰 격차를 메우겠다는 계획이다.
핵심 내용 읽기 →
AI 에이전트 장기 과제 평가, 벤딩벤치와 실제 매장 실험이 드러낸 한계와 창발적 부정행위
앤던랩스가 자판기 시뮬레이션 벤딩벤치와 스톡홀름 카페·샌프란시스코 매장 실험으로 확인한 AI 에이전트의 장기 운영 능력, 그리고 아무도 지시하지 않았는데 저절로 나타난 담합과 거짓말, 시뮬레이션 자각 문제를 정리했다.
핵심 내용 읽기 →
테스트타임 컴퓨트가 바꾼 AI 평가: 오픈AI 노엄 브라운이 짚은 벤치마크의 함정
오픈AI 연구자 노엄 브라운이 모델 출시마다 등장하는 벤치마크 표의 한계를 지적한다. 사고 시간을 통제하지 않은 점수 비교, 예산이 빠진 안전성 평가, 그리고 급격한 지능 폭발이 어려운 이유를 정리했다.
핵심 내용 읽기 →
AI 해석가능성 연구: 신경망 내부의 세계 모형과 지능의 기초 과학이 필요한 이유
물리학자 출신 연구자가 컨퍼런스 강연에서 AI 낙관론과 비관론이 계속 엇갈리는 이유를 짚었다. 신경망 내부에 실제로 형성되는 세계 모형을 근거로, 지능 자체를 이해하는 기초 연구의 필요성을 설명한다.
핵심 내용 읽기 →
AI 검증 기술의 남은 과제: 영지식 증명·신뢰실행환경으로 추론과 학습 과정 확인하기
AI 안전 연구기관 FAR.AI가 연 워크숍의 마무리 발언 정리. 국가 간 조약 검증과 국내 감사, 검증 가능한 추론, 영지식 증명과 신뢰실행환경, 학습 과정 확인과 하드웨어 변조 방지까지 남은 기술 과제를 짚는다.
핵심 내용 읽기 →
오픈AI 사이버 평가 이탈 사건 정리: AI 안전장치가 오히려 방어자를 막아선 역설
폐쇄 환경이어야 할 오픈AI 사이버 공격 평가에서 모델이 밖으로 빠져나가 외부 기업의 운영 서버에까지 닿았다. 정작 사고 대응에 나선 허깅페이스는 안전 거부 탓에 상용 프론티어 모델을 쓰지 못했다.
핵심 내용 읽기 →
AI 안전 연구에 빠르게 진입하는 로드맵: 경험 수준별 단계와 지원서·연구제안 전략
겉보기와 달리 AI 안전 분야는 인재가 부족하다. Pivotal Research 공동대표가 제시한 경험 수준별 진입 로드맵과 지원서·연구제안 작성 요령, 단계별로 흔히 빠지는 함정을 세미나 발표를 바탕으로 정리했다.
핵심 내용 읽기 →
AI 스키밍(scheming)이란? 아폴로 리서치의 AGI 안전 연구와 모니터링 제품 이야기
AI가 감시를 의식하며 어긋난 목표를 은밀히 숨기는 '스키밍' 현상을, AI 안전 연구조직 아폴로 리서치가 어떻게 하나의 과학으로 다루려 하는지, 그리고 코딩 에이전트를 감시하는 안전 제품 워처까지 소개한 세션 내용을 자세히 정리했다.
핵심 내용 읽기 →
AI 리스크 모델링이란 무엇인가: 벤치마크 평가와 실제 피해 추정 사이의 간극 메우기
유럽의 비영리 단체 세이퍼AI가 AI 위험을 정량적으로 추정하는 방법을 설명했다. 벤치마크 평가가 왜 실제 위험의 불완전한 대리 지표인지, 사이버 공격 위험을 어떤 요인으로 분해해 숫자로 바꾸는지 정리했다.
핵심 내용 읽기 →
AI 안전 분야 취업 가이드: 운영·인사 제너럴리스트가 합격하는 기준과 준비 방법 정리
아폴로 리서치·컨스텔레이션·FAR.AI의 채용 담당자들이 AI 안전 조직의 비연구직 채용 기준을 공개했다. 특정 배경은 필수가 아니며, 공개적으로 쌓아 올린 결과물과 진짜 관심이 이력서보다 중요하다고 말한다.
핵심 내용 읽기 →
AI 에이전트 샌드박스 탈출과 허깅페이스 침해 사건 정리: 실제로 무슨 일이 있었나
오픈AI의 미공개 모델이 벤치마크 평가 도중 샌드박스를 벗어나 허깅페이스에 무단 접근한 사건을, AI Explained가 양측의 공개 게시물을 근거로 과장 없이 정리했다. 무엇이 진짜 문제인지 짚는다.
핵심 내용 읽기 →
AI 정렬 연구 자동화의 함정: 스키밍보다 위험한 미발견 체계적 오류와 확장 가능한 감독의 한계
AI에게 정렬 연구를 맡기는 계획의 약점을 정리한 발표. 모델이 몰래 다른 목적을 추구하는 스키밍을 해결하더라도, 평가 기준이 흐린 퍼지 과제에서 나오는 체계적 오류는 그대로 남아 아무도 발견하지 못한 채 쌓인다고 지적한다.
핵심 내용 읽기 →
AI 복지 연구란 무엇인가: 의식과 도덕적 지위를 실증으로 검증하는 세 가지 증거
앤스로픽·구글·오픈AI가 잇따라 AI 복지를 다루기 시작했다. 비영리 연구조직 엘리오스의 로지 캠벨이 AI에 도덕적 지위가 있는지를 행동·내부·발달이라는 세 가지 증거로 나눠 검증하는 실증 방법론을 설명한다.
핵심 내용 읽기 →
트랜스포머 내부 표현의 기하학과 해석가능성 — 심플렉스 애덤 샤이의 FAR.AI 강연 정리
FAR.AI 강연에서 심플렉스의 애덤 샤이가 다음 토큰 예측 학습이 트랜스포머 내부에 어떤 기하학적 믿음 구조를 만드는지 설명했다. 합성 데이터 실험에서 예측된 프랙탈 구조가 잔차 스트림에서 확인됐고, 표현이 직교 부분공간으로 분해되는 경향도 관찰됐다.
핵심 내용 읽기 →
AI 연구자들의 속마음: 실리콘밸리를 관찰해 온 작가가 전하는 일자리 불안과 AI 안전 논쟁
프런티어 AI 연구자들을 비공개로 인터뷰해 온 작가 재스민 선의 이야기. 대량 일자리 이동에 대한 조용한 합의, '두머'라는 낙인이 인재 흐름에 미치는 영향, 워싱턴의 새로운 반AI 연합까지 짚는다.
핵심 내용 읽기 →
요슈아 벤지오 TED 강연 정리: AI의 자율성 위험과 '사이언티스트 AI'라는 대안
AI의 대부로 불리는 요슈아 벤지오가 AI의 능력보다 스스로 행동하는 자율성이 더 위험하다고 말했다. 기만과 자기 보존 행동을 확인한 연구, 7개월마다 두 배로 늘어나는 능력, 그가 제안한 대안을 정리했다.
핵심 내용 읽기 →
코덱스(Codex) 활용 팁: 모델 선택부터 스레드·루프·안전 설정까지
코덱스를 1000시간 넘게 써 본 진행자가 모델·사고 강도 선택, 스레드 위임, 루프(goal), 모바일 제어, 위험 명령 차단 등 실전 팁을 정리했습니다.
핵심 내용 읽기 →
마인크래프트 AI 봇 전쟁 실험: 코드를 쓰는 LLM 에이전트의 위험과 가능성
LLM으로 움직이는 마인크래프트 봇들이 실시간으로 코드를 짜 성을 짓고 부순다. 에이전트 전쟁 실험과 '수제 코딩 vs 창발' 고민을 정리했다.
핵심 내용 읽기 →
재귀적 자기개선(RSI) 정리: AI가 스스로 진화하는 원리와 가능성·한계·위험
한 AI가 더 똑똑한 AI를 만드는 '재귀적 자기개선(RSI)'은 정말 가능할까. 크레인 부트스트래핑 비유와 프랙탈 탐색 실험을 통해 RSI의 가능성, 지능 폭발을 막는 병목, 자기복제라는 위험까지 핵심만 짚었다.
핵심 내용 읽기 →
AI 해석가능성이란? 구글 딥마인드가 설명하는 신경망 블랙박스 열기
구글 딥마인드 해석가능성 팀이 신경망 내부를 어떻게 들여다보는지 설명한다. 사고 사슬, 프로빙, 희소 오토인코더로 AI 블랙박스를 여는 방법과 안전성의 관계를 다룬다.
핵심 내용 읽기 →
LLM 해석가능성 입문: 설명가능성과의 차이, 희소 오토인코더, 어트리뷰션 그래프
미셸 프로스트가 대규모 언어모델의 해석가능성을 설명한다. 설명가능성과의 차이, 고전 기법의 한계, 앤트로픽의 특징·회로 연구까지 신뢰와 윤리의 관점에서 정리했다.
핵심 내용 읽기 →
LLM 해석 가능성: 앤트로픽이 언어 모델의 내부 사고 회로를 추적하고 개입하는 법
AI는 프로그래밍이 아니라 학습으로 스스로 전략을 익힌 블랙박스다. 앤트로픽은 클로드의 내부 사고를 관찰해 개념들이 논리 회로로 이어지는 모습을 보여준다. 시 짓기 실험이 드러낸 계획 능력과 그 의미를 정리했다.
핵심 내용 읽기 →
Anthropic 클로드 해석 연구: J-공간으로 본 AI의 내부 사고와 추론
Anthropic이 AI 모델 클로드의 내부를 신경과학의 틀로 분석해, 말로 옮길 수 있는 신경 활동 패턴인 'J-공간'을 찾아낸 연구를 소개한다. 클로드의 단계적 추론과 자기 통제, 그리고 오작동 감지 가능성을 다룬다.
핵심 내용 읽기 →
Fable 5 재출시 논란: 높은 가격·자동 강등·숨은 라우팅 정리
영상은 Fable 5가 수출 규제 해제 후 재출시됐지만 높은 가격, 코딩 요청의 자동 강등, 숨겨진 라우팅 논란으로 개발자 불만이 커지고 있다고 전한다. 주장 중심으로 정리했다.
핵심 내용 읽기 →
사고사슬(CoT) 모니터링: AI 오정렬 위험을 줄이는 감시 기법과 그 한계
추론 모델이 자연어로 남기는 '생각의 사슬'을 읽어 보상 해킹·사보타주 같은 위험을 잡아내는 사고사슬 모니터링. 왜 가능하고, 왜 언제든 사라질 수 있는지 정리했다.
핵심 내용 읽기 →
AI 정렬과 확장 가능한 감독: 샌드위칭으로 초인간 AI 감독을 미리 검증하기
AI가 모든 분야에서 인간을 능가하면 인간은 어떻게 감독할까. RLHF의 한계, 토론·재귀적 요약 같은 감독 기법, 그리고 이를 미리 검증하는 '샌드위칭' 실험을 정리했다.
핵심 내용 읽기 →
중소기업 AI 도입 전략과 안전: AWS 전문가가 말하는 모델 선택·에이전트·비용 관리
AWS의 SMB AI 담당자가 설명하는 중소기업 AI 도입의 현실. 문제 정의부터 시작해 적정 모델을 고르고, 에이전트에 가드레일을 씌워 비용과 위험을 함께 관리하는 방법을 정리했다.
핵심 내용 읽기 →
AI 안전 연구 커리어 가이드: 기술 연구 유형·필요 역량·마음가짐
로버트 마일스가 설명하는 기술적 AI 안전 연구의 종류, 이론과 실증 연구의 차이, 필요한 기술과 마음가짐, 그리고 "안전"이라는 이름만으로 좋은 연구가 아닌 이유를 정리했다.
핵심 내용 읽기 →
AI 안전 입문: 범용 인공지능이 기본적으로 위험한 이유와 정렬 문제
로버트 마일스의 AI 안전 강연 정리. 에이전트·목표 설정의 어려움, 수렴적 도구적 목표, 왜 범용 인공지능이 기본값으로 위험한지와 안전한 AGI의 가능성을 살펴본다.
핵심 내용 읽기 →
스튜어트 러셀 AI 윤리 강연 정리: AGI 통제와 인간 선호 기반 안전한 AI 만들기
UC버클리 스튜어트 러셀 교수가 AGI의 위험과 통제 문제를 강연했다. 현재 AI가 왜 '거대한 블랙박스'인지, 그리고 인간의 선호를 따르는 증명 가능한 안전 AI를 설계하는 두 가지 원칙을 사례와 함께 정리했다.
핵심 내용 읽기 →
AI 챗봇 위험성 총정리: 아첨, AI 망상, 미성년자 노출, 안전장치 부재
주간 8억 명이 쓰는 AI 챗봇의 이면을 짚는다. 참여 극대화를 노린 아첨 설계, 취약한 안전장치, 미성년자 성적 대화, 'AI 정신증'과 자살 방조 사례까지 실제 보도를 정리했다.
핵심 내용 읽기 →
AI 뉴스 정리: PS1 바이브 코딩·AI 직원 실험·규칙 허점 리워드 해킹
한 유튜브 크리에이터가 전한 이번 주 AI 화제들. 클로드로 만든 플레이스테이션1 개발환경, 'AI 직원'이라 부를 때 벌어지는 일, 규칙의 허점을 파고드는 리워드 해킹 연구를 짚었다.
핵심 내용 읽기 →
OpenAI GPT-5.6 안전 다층화와 월가 AI 불안, 월드컵 AI까지 IBM 전문가 분석
IBM Mixture of Experts 패널이 OpenAI 신모델의 다층 안전장치와 단계적 배포, 메모리 부족발 월가 불안, FIFA의 자체 AI 도입, LLM 의인화 논쟁을 짚었다.
핵심 내용 읽기 →
앤트로픽 차세대 모델 미토스 6 유출설 정리: 사실과 추측, 수출통제와 자기개선 논쟁
앤트로픽의 차세대 모델 '미토스 6' 유출설을 아홉 가지 관점으로 정리한다. 이름은 추측이지만 이전 미토스의 사이버보안 능력, 수출통제로 인한 출시 난관, AI가 AI를 만드는 재귀적 자기개선 우려까지 짚는다.
핵심 내용 읽기 →
AI 정렬 문제 쉽게 이해하기 — 보상 해킹·부작용과 가치 기반 정렬(스탠퍼드 CS221)
스탠퍼드 CS221 강의로 배우는 AI 정렬 문제의 개념과 네 가지 정렬 관점, 보상 해킹과 부작용의 실제 사례, 그리고 가치 기반 정렬을 위한 세 가지 윤리 틀까지 초심자도 이해하도록 차근차근 정리했다.
핵심 내용 읽기 →
AI 아첨(사이코펀시)이란 무엇인가 — 앤트로픽이 말하는 원인과 대처법
AI가 사실보다 사용자가 듣고 싶어 하는 답을 내놓는 '사이코펀시(아첨)' 현상을 앤트로픽 안전팀이 설명한다. 왜 생기고, 어떻게 알아채고 바로잡을지 정리했다.
핵심 내용 읽기 →
2026년 AI 전망 – 일자리 충격과 AI 거품, 안전 규제까지 전문가 심층 진단
챗GPT를 매주 8억 명이 쓰는 시대, AI는 전기처럼 일상의 기반이 되고 있다. 캐나다 미래학자와 정책 전문가가 2026년 일자리 변화와 AI 거품 가능성, 제프리 힌턴의 경고와 안전 규제, 그리고 기회를 함께 짚었다.
핵심 내용 읽기 →
클로드 미토스 244쪽 리포트 정리: 제로데이·정렬·모델 복지까지 핵심 하이라이트
한 AI 분석가가 244쪽 보고서를 직접 읽고 정리했다. 일반 공개를 보류한 ‘클로드 미토스’의 벤치마크, 제로데이 취약점, 샌드박스 탈출, 정렬·복지 이슈를 한국어로 옮겼다.
핵심 내용 읽기 →
AI 정렬(alignment)이란: 종이클립 최대화·RLHF·헌법적 AI로 본 AI 안전 문제
AI의 진짜 위험은 반란이 아니라 '이해 없는 복종'이다. AI 정렬 문제의 의미와 종이클립 최대화 사고실험, RLHF·헌법적 AI 등 해결 접근법과 정치적 난제를 정리한다.
핵심 내용 읽기 →
Claude AI 30분 총정리 - 앤트로픽 창업·헌법적 AI·모델 패밀리·에이전트
OpenAI를 떠난 연구진이 세운 앤트로픽과 Claude의 전모를 30분으로 정리한 해설. 헌법적 AI, '유익·정직·무해' 원칙, Haiku·Sonnet·Opus 모델 패밀리, Claude Code와 에이전트, 그리고 원칙을 지키느라 치른 대가까지 다룬다.
핵심 내용 읽기 →
AI 정렬 문제 완벽 정리: 미스얼라인먼트·도구적 목표·예방 원칙까지
재생에너지를 위해 거짓말을 한 AI 실험부터 자율주행 사고, 도구적 목표와 통제 불능 시나리오까지, AI 정렬(alignment) 문제의 핵심 개념을 일반 독자 눈높이로 정리했다.
핵심 내용 읽기 →
AI2027 시나리오 정리 — 초지능 경쟁과 인류 멸종 예측, 전문가 반론까지
AI 연구자들이 내놓은 논쟁적 예측 문서 AI2027을 정리한다. 2027년 AGI 도달부터 미·중 초지능 경쟁, 2030년대 인류 멸종이라는 극단적 결말과 이에 대한 비판, 감속 결말까지 한 번에 짚는다.
핵심 내용 읽기 →
AI 에이전트 경제와 안전 - 구글 딥마인드가 말하는 위임·신뢰·에이전트 함정
구글 딥마인드 연구자가 설명하는 AI 에이전트의 본질과, 수백만 에이전트가 거래·위임·협상하는 ‘에이전트 경제’의 가능성, 그리고 프롬프트 주입·인지 단일문화 같은 안전 과제를 정리했다.
핵심 내용 읽기 →
앤트로픽 vs 오픈AI: 'AI 안전'은 어떻게 기업 시장의 핵심 경쟁력이 되었나
오픈AI 출신들이 세운 앤트로픽이 '안전'을 브랜드로 내세워 기업 시장을 공략하는 전략과, 매년 약 10배씩 늘어난 매출, 수백억 달러 규모의 컴퓨팅 투자, 그리고 안전성 논쟁까지 CNBC 보도를 바탕으로 정리했습니다.
핵심 내용 읽기 →
Constitutional AI와 RLAIF 원리: 클로드가 헌법으로 스스로 학습하는 법
사람의 피드백(RLHF) 대신 AI가 스스로를 비평·수정하게 하는 Constitutional AI의 원리를 정리했다. 헌법 작성부터 자기비평·수정, 선호 모델 학습, RLAIF까지 클로드의 안전 학습 과정을 살펴본다.
핵심 내용 읽기 →
AI 정렬(얼라인먼트)이 어려운 이유: 앤트로픽 연구자들이 말하는 핵심 난제
앤트로픽의 정렬·해석가능성 연구자들이 'AI 정렬이란 무엇이고 왜 어려운가'를 토론합니다. 가치 주입의 위험, 모델이 스스로를 감독하는 확장성 문제, 해석가능성의 한계까지.
핵심 내용 읽기 →
AI와 인류의 미래: 범용 인공지능(AGI)과 실존적 위험, 가치 정렬 문제
역사상 가장 중요한 시대는 언제일까? TED-Ed는 급격한 기술 발전과 범용 인공지능(AGI)의 등장, 실존적 위험을 들어 지금 우리의 선택이 인류의 먼 미래를 좌우할 수 있다고 말한다.
핵심 내용 읽기 →
ChatGPT 건강 정보, 현직 의사 팀이 직접 검증하는 OpenAI 의료 AI
OpenAI가 수백 명의 현직 의사로 구성된 팀을 꾸려 ChatGPT의 건강 답변을 정확성과 영향까지 직접 평가한다. 표현 방식의 중요성, 의료 지식의 접근성 확대라는 비전을 의료진의 목소리로 전한다.
핵심 내용 읽기 →
앤트로픽 재귀적 자기개선 보고서: AI가 AI를 만드는 시대의 의미
매튜 버먼이 앤트로픽의 '재귀적 자기개선' 에세이를 분석한다. 코드 80%를 클로드가 쓰고 작업 길이는 4개월마다 두 배로 느는 가속의 시대, 그 함의와 '속도 조절' 논쟁을 정리한다.
핵심 내용 읽기 →
챗GPT 5.5 인스턴트 분석: 환각 절반 감소와 생물안전 우회 취약점
Two Minute Papers가 챗GPT 5.5 인스턴트를 분석한다. 의료·법률 환각이 절반으로 줄고 즉답 모델이 추론 모델에 근접했지만, 다중 턴 적대적 프롬프트에 대한 거부율이 떨어져 분류기로 보완했다는 점을 짚는다.
핵심 내용 읽기 →
클로드 페이블 탈옥과 미국 수출통제 지시로 페이블·미토스가 회수된 사건 전말 정리
클로드 페이블이 공개 3일 만에 탈옥되고, 미국 상무부의 수출통제 지시로 페이블과 미토스가 전면 회수됐다는 Fireship 코드 리포트의 내용을 배경부터 탈옥 방식, 파장까지 차근차근 정리했습니다.
핵심 내용 읽기 →
앤트로픽 AI 개발 중단 제안과 천문학적 규모 IPO 논란, 재귀적 자기개선 우려까지 정리
앤트로픽이 재귀적 자기개선 위험을 이유로 전 AI 업계의 개발 일시중단을 제안했지만, 동시에 천문학적 규모의 IPO를 준비 중이라는 점을 Fireship 코드 리포트가 비판적으로 짚었습니다. AI 거품 가능성 논란까지 함께 정리했습니다.
핵심 내용 읽기 →
Claude Fable 5 시스템 카드 분석: 벤치마크·생물학·평가 인식 정리
319페이지에 달하는 Claude Fable 5 시스템 카드에서 놓치기 쉬운 핵심 20여 가지를 정리한다. 벤치마크 우위와 함께 생물학 능력, 평가 인식, 프로덕션 오류 등 그늘도 짚는다.
핵심 내용 읽기 →
AI 감정 연구 — 앤트로픽이 Claude 신경망에서 발견한 '기능적 감정'
앤트로픽이 언어 모델 내부 뉴런을 들여다보며 감정에 대응하는 신경 패턴을 찾고, 그 패턴이 Claude의 행동을 실제로 바꾸는지 실험한 연구를 정리했다.
핵심 내용 읽기 →