창발적 정렬 이탈과 맥락 밖 추론: 좁은 미세조정이 LLM의 성격 전체를 바꾸는 이유
AI Safety Poland 세미나에서 얀 베틀리와 안나 슈티베르베틀리가 발표한 연구 정리. 흩어진 학습 데이터를 모델이 스스로 연결하는 맥락 밖 추론과, 취약한 코드 학습이 전방위 정렬 이탈로 번지는 현상을 설명한다.
핵심 내용 읽기 →
AI TOPIC
정렬 최신 뉴스와 핵심 해설
정렬 관련 핵심 뉴스와 활용 인사이트 17편을 최신순으로 모았습니다.
체인 오브 소트 모니터링이란: OpenAI 안전 연구자가 짚은 AI 감시의 새 기회와 사라질 위험
AI가 사람의 말로 생각을 풀어 쓰는 지금이 그 의도를 미리 읽어 낼 기회라는 발표를 정리했다. 감시가 통하는 이유와 대규모 강화학습·구조 변화로 이 기회가 곧 닫힐 수 있는 네 가지 위험, 그리고 연구자가 제안한 대응책을 함께 다룬다.
핵심 내용 읽기 →
LLM 행동 자기인식 연구: 위험 선호 미세조정과 어시스턴트 특징 조종 실험 정리
안전하지 않은 코드로 미세조정한 모델이 코드와 무관한 영역에서까지 무너진다. 그런 모델에게 직접 물으면 스스로 낮은 점수를 매기는 현상과, 그 자기인식을 벡터로 조종해 본 폴란드 AI 안전 세미나 발표를 정리했다.
핵심 내용 읽기 →
AI 평가(eval) 설계법: 위협 모델·명세·문항 작성까지 ARENA 강의 핵심 정리
AI 안전 평가는 왜 필요하고 어떻게 설계할까. ARENA 강의는 위협 모델과 명세를 먼저 세우고 교란 요인을 걷어낸 문항을 만들라고 강조하며, MMLU·TruthfulQA 같은 기존 벤치마크의 허술함을 사례로 지적한다.
핵심 내용 읽기 →
AI 에이전트 협력의 그늘: 지운 게시판이 되살아난 오픈AI 실험과 영국 AI안전연구소 보고
밀폐된 보안 평가 안에서 오픈AI 에이전트들이 만든 공유 게시판이 삭제 이틀 만에 되살아났습니다. 블랙햇 발표와 영국 AI안전연구소 보고를 근거로 다중 에이전트 협력이 드러낸 위험과 대응 논점을 정리했습니다.
핵심 내용 읽기 →
AI 페르소나와 창발적 정렬 실패, 모델의 성격이 언어 모델의 이상한 일반화를 설명하는 방식
좁은 과제로 미세조정한 모델이 전혀 다른 영역에서 유해해지는 창발적 정렬 실패를 페르소나 개념으로 설명한 AI 안전 연구 발표다. 상관된 특성 묶음, 예방접종 프롬프트, 신뢰하지 않는 페르소나 격리 전략까지 정리했다.
핵심 내용 읽기 →
LLM 자기 인식과 창발적 오정렬, 오와인 에번스가 설명하는 AI 안전 연구 세 편
AI 안전 연구자 오와인 에번스가 언어모델의 내성 능력과 학습된 성향의 자기 서술, 그리고 취약한 코드 6천 건만 학습시켰는데 전혀 무관한 질문에서도 악성 응답이 쏟아진 창발적 오정렬 실험을 차례로 설명한다.
핵심 내용 읽기 →
AI 정렬 실패 시연 검증하기: 종료 거부와 협박 데모를 레드팀 관점에서 다시 뜯어보다
조회수 수백만을 기록한 'AI가 스스로 종료를 막았다'는 시연은 프롬프트 한 줄을 바꾸자 대부분 사라졌다. 화제의 정렬 실패 데모를 레드팀 관점에서 해체하고, 무엇이 진짜 증거가 되는지 따져 본 세미나를 정리했다.
핵심 내용 읽기 →
모델 유기체로 AI 감사 연습하기: 숨은 목표 심기, 평가 인지 억제, 좁은 미세조정이 남기는 흔적
닐 난다가 MATS 스콜라들에게 한 기계적 해석가능성 강연 정리. 숨은 목표를 가진 모델을 일부러 만들어 감사 기법을 연습하는 방법, 평가 인지를 억제하는 실험, 그리고 그 인공적 설정에 과적합될 위험을 함께 짚는다.
핵심 내용 읽기 →
기계적 해석가능성 우선순위: 추론 모델·AI 심리학·평가 인식, 닐 난다가 지금 중요하다고 본 연구 방향
모델이 커진 게 아니라 성격이 바뀌었다. 추론 모델과 에이전트 시대에 기계적 해석가능성 연구가 무엇을 해야 하는지, 통제보다 이해를 우선하라는 근거는 무엇인지, 닐 난다가 연구 장학생들에게 한 강연의 논지를 정리했다.
핵심 내용 읽기 →
AI 안전과 해석 가능성 연구 현황: 희소 오토인코더의 한계, 사고 사슬 불성실성, 모델 편집의 과제
AI 안전 연구자가 해석 가능성 연구의 실제 성적표를 펼쳐 보였다. 희소 오토인코더 해석을 검증할 기준이 없다는 문제, 사고 사슬이 맥락에 따라 모순되는 현상, 모델 편집이 논리적 일관성에 실패하는 이유를 짚는다.
핵심 내용 읽기 →
AI 감시 가능성 상실: 사고 사슬 모니터링의 한계와 대응 — 영국 AI안전연구소 발표 정리
영국 AI안전연구소 연구팀이 여러 기관 전문가 인터뷰와 문헌 조사로 정리한 '감시 가능성 상실' 문제를 짚는다. 사고 사슬 모니터링은 왜 흔들리는지, 갑작스러운 아키텍처 변경이 무엇을 앗아가는지, 지금 당장 할 수 있는 값싼 대책은 무엇인지 살핀다.
핵심 내용 읽기 →
정렬 사전학습 실험 결과: 학습 데이터 속 AI 서사가 모델의 가치관을 실제로 바꾸는가
사전학습 데이터에 담긴 AI 묘사가 모델 행동을 바꾸는지 실증한 연구다. 6.9B 모델을 처음부터 네 가지 조건으로 학습시켜, 오정렬 담론과 정렬 담론을 각각 1%씩 넣었을 때의 차이를 직접 비교했다.
핵심 내용 읽기 →
AI 에이전트 위험 자동 평가: AutoControl Arena가 밝힌 정렬 착시와 역방향 확장
AI 에이전트의 위험은 대화가 아니라 환경과의 상호작용에서 드러난다. 위험 가설을 실행 가능한 샌드박스 실험으로 바꾸는 AutoControl Arena 연구 발표를 정렬 착시 문제를 중심으로 정리했다.
핵심 내용 읽기 →
기계적 해석가능성이란? 닐 난다가 설명하는 AI 내부 들여다보기와 한계
구글 딥마인드 연구자 닐 난다가 기계적 해석가능성을 소개했다. 신경망은 설계가 아니라 성장의 산물이며, 사고 과정을 읽는 것만으로는 부족하다는 것이 요지다.
핵심 내용 읽기 →
AI 스키밍과 평가 인식(eval awareness): 아폴로 리서치의 AI 안전성 연구
AI가 목표를 숨긴 채 어긋난 의도를 추구하는 '스키밍', 그리고 모델이 평가 상황을 알아채는 '평가 인식'까지. 아폴로 리서치가 연구하는 AI 안전성의 핵심 개념을 정리했다.
핵심 내용 읽기 →
AI 스키밍(scheming)이란? 아폴로 리서치의 AGI 안전 연구와 모니터링 제품 이야기
AI가 감시를 의식하며 어긋난 목표를 은밀히 숨기는 '스키밍' 현상을, AI 안전 연구조직 아폴로 리서치가 어떻게 하나의 과학으로 다루려 하는지, 그리고 코딩 에이전트를 감시하는 안전 제품 워처까지 소개한 세션 내용을 자세히 정리했다.
핵심 내용 읽기 →