기계적 해석가능성 입문: LLM 내부 뉴런과 어텐션 헤드를 뜯어보는 네 가지 실험 기법 정리
유로파이썬 발표에서 소개된 기계적 해석가능성은 LLM이 왜 그렇게 답했는지를 뉴런과 층 단위로 되짚는 분야다. 활성값 교체, 절제, 프로빙, 로짓 렌즈 같은 기법과 작은 모델로 시작하는 법을 정리했다.
핵심 내용 읽기 →
AI TOPIC
기계적 해석가능성 최신 뉴스와 핵심 해설
기계적 해석가능성 관련 핵심 뉴스와 활용 인사이트 15편을 최신순으로 모았습니다.
AI 에이전트 보안 유리상자 접근법: 모델 내부 활성값으로 의도와 강도를 탐지한다
시스코 탈로스 출신 보안 연구자가 프롬프트 문자열 대신 모델 내부 활성값에서 의도와 그 강도를 읽어 AI 에이전트의 위험 행동을 탐지하는 유리상자 방식을 제안하고, 실용화의 걸림돌까지 함께 짚었다.
핵심 내용 읽기 →
기계적 해석가능성 입문, 트랜스포머 회로와 인덕션 헤드로 모델 내부를 읽어 내는 방법
AI 안전 교육과정 ARENA의 강의를 정리했다. 이미지 모델의 뉴런 분석에서 출발해, 트랜스포머 내부에서 두 개 층이 협력해 만들어 내는 인덕션 헤드 회로까지의 흐름을 예시와 함께 차근차근 따라간다.
핵심 내용 읽기 →
기계적 해석 가능성이란 무엇인가, 신경망 회로와 중첩 문제를 크리스 올라가 설명하다
앤스로픽의 크리스 올라가 학습된 신경망의 가중치를 소스 코드처럼 읽어 내려는 기계적 해석 가능성 연구의 방법과 성과, 그리고 이 분야 최대 난관인 중첩 문제와 AI 안전 사이의 연결고리를 정리한 강연을 소개한다.
핵심 내용 읽기 →
기계적 해석가능성이란 무엇인가 — 딥마인드 닐 난다가 설명하는 신경망 역공학과 희소 오토인코더
딥마인드 닐 난다가 기계적 해석가능성의 핵심을 정리했다. 모듈러 덧셈을 배운 트랜스포머의 역공학 사례부터 중첩과 다의성 문제, 희소 오토인코더로 개념 사전을 찾아내는 접근과 AI 정렬 연구에서의 의미까지 짚는다.
핵심 내용 읽기 →
AI 안전성 검증 방법 4가지: 실패 분석·형식 보증·설명·런타임 감시로 쌓는 안전 논거
스탠퍼드 시드니 카츠 연구원이 항공 충돌 회피와 자율주행을 예로 AI 안전성 검증을 설명한다. 실패 분석·형식 보증·설명·런타임 감시에는 은탄환이 없어 여러 층을 겹겹이 쌓아야 한다는 것이 핵심이다.
핵심 내용 읽기 →
AI 스키밍 탐지 연구: 퍼즐 게임 신경망 해부로 찾는 '계획 회로'와 해석가능성의 한계
AI가 개발자에게 의도를 숨기는 '스키밍'을 신경망 내부에서 잡아낼 수 있을까. 퍼즐 게임을 학습한 129만 파라미터 신경망에서 계획 회로를 찾아낸 안전성 연구자의 실험과 그가 스스로 던진 의문을 정리했다.
핵심 내용 읽기 →
AI 해석가능성 연구 철학 4가지: 기초과학·언어모델 미스터리·디버깅·실용주의 비교
해석가능성 연구자 닐 난다가 신진 연구자 대상 강연에서 AI 내부를 파헤치는 연구를 네 가지 철학으로 나눠 설명했다. 각 접근의 장단점과 전진·후진 추론이라는 또 다른 축, 정성과 정량 증거의 균형까지 짚었다.
핵심 내용 읽기 →
기계적 해석가능성 10년사 정리: 신경망 완전 역공학이 좌초하고 실용적 이해만 남은 이유
기계적 해석가능성 연구자 닐 난다가 이 분야 10년의 역사를 직접 정리했다. 이미지 모델의 회로 분석에서 시작해 트랜스포머와 중첩 현상까지, 무엇이 통했고 무엇이 좌초했는지, 지금 무엇이 남았는지 짚는다.
핵심 내용 읽기 →
기계적 해석가능성의 북극성: 닐 난다가 말하는 의도 정렬과 오정렬 증명 우선 전략
기계적 해석가능성 연구자 닐 난다가 멘토십 프로그램 참가자들에게 한 강연이다. 가치 정렬 대신 의도 정렬을, 정렬 증명 대신 오정렬 증명을 택하는 이유와 연구 주제를 고르는 두 가지 기준을 자세히 설명한다.
핵심 내용 읽기 →
모델 유기체로 AI 감사 연습하기: 숨은 목표 심기, 평가 인지 억제, 좁은 미세조정이 남기는 흔적
닐 난다가 MATS 스콜라들에게 한 기계적 해석가능성 강연 정리. 숨은 목표를 가진 모델을 일부러 만들어 감사 기법을 연습하는 방법, 평가 인지를 억제하는 실험, 그리고 그 인공적 설정에 과적합될 위험을 함께 짚는다.
핵심 내용 읽기 →
추론 모델 해석가능성의 난제: 사고 사슬 샘플링과 생각 앵커, 남은 숙제까지 강연 정리
닐 난다가 추론 모델 해석 연구의 어려움을 정리했다. 토큰 샘플링이 만드는 거대한 경우의 수, 문장 단위 인과 그래프와 생각 앵커 기법, 사고 사슬을 읽는 방식이 언제까지 통할지에 대한 이야기를 담았다.
핵심 내용 읽기 →
AI 해석가능성이란 무엇인가: 앤트로픽이 신경망 내부를 생물학처럼 들여다보는 이유
앤트로픽 해석가능성 팀은 신경망을 새로운 종류의 생물처럼 연구한다. 우리가 직접 만든 시스템의 내부를 왜 모르는지, 촘촘히 겹친 회로를 들여다보는 일이 왜 AI 안전과 직결되는지를 연구자들의 설명으로 정리했다.
핵심 내용 읽기 →
기계적 해석가능성 입문: 희소 오토인코더로 거대언어모델 내부의 개념을 꺼내는 방법과 한계
거대언어모델이 거짓말을 하는지 어떻게 알 수 있을까. 젬마 모델을 층별로 따라가며 뉴런의 다의성과 중첩 가설, 희소 오토인코더가 밝혀낸 것과 아직 밝혀내지 못한 '해석가능성의 암흑물질'을 정리했다.
핵심 내용 읽기 →
그록킹과 기계적 해석가능성: AI가 나머지 연산을 스스로 푸는 법을 우리가 완전히 이해하다
챗GPT의 내부는 아무도 완전히 이해하지 못한다. 하지만 나머지 연산을 배우는 한 층짜리 트랜스포머만은 예외다. 모델이 삼각함수를 스스로 찾아내는 '그록킹' 현상과 기계적 해석가능성 연구를 정리했다.
핵심 내용 읽기 →