AI 안전과 해석 가능성 연구 현황: 희소 오토인코더의 한계, 사고 사슬 불성실성, 모델 편집의 과제

핵심 메시지

• 2022년 자연어처리 연구자 설문에서 73%가 이번 세기 안에 AI가 산업혁명급 사회 변화를 일으킬 수 있다고 답했고, 약 36%는 AI의 결정이 핵무기급 재앙을 초래할 수 있다는 데 동의했다.
• 해석 가능성은 벤치마크 정확도를 대체하는 것이 아니라 보완한다. 정확도는 시험 분포 안에서의 신뢰를 주지만, 추론 근거를 이해하면 새로운 문제로의 일반화까지 예측할 수 있다.
• 지금 가장 인기 있는 희소 오토인코더 기법은 '어떤 토큰에서 활성화되는가'를 사람이 보고 해석하는 단계에 머물러 있으며, 해석이 맞았는지 판정하는 기준조차 합의되지 않았다.
• 모델이 내놓는 사고 사슬은 맥락이 바뀌면 서로 모순되는 설명을 내놓고, 실제로 결정에 영향을 준 요인을 언급하지 않기도 한다.
• 모델 편집은 사실상 철학의 '믿음 수정' 문제이며, 베이즈 에이전트와 비교한 실험에서 편집된 언어 모델이 논리적으로 따라야 할 결론에 도달한 비율은 1%에 그쳤다.

쉽게 이해하기

발표자는 노스캐롤라이나대 채플힐에서 박사를 마치고 앤스로픽의 정렬 과학 팀에서 일하는 연구자다. 그는 AI 안전이라는 말이 지난 8년 사이 계속 모습을 바꿔왔다고 짚으며, 오용(생물무기·사이버 공격·대량 감시 보조), 정렬 실패(보상 해킹·기만·잘못된 목표), 사고와 견고성 문제, 그리고 시스템이 수억 개 배포된 뒤에 나타나는 창발적 피해(대량 실업, 권력 집중, 군비 경쟁)까지 위험의 목록을 펼친다. 2022년 자연어처리 연구자 설문에서는 73%가 이번 세기 안에 AI가 최소한 산업혁명 규모의 사회 변화를 일으킬 수 있다는 데 동의했고, 약 36%는 AI의 결정이 핵무기급 재앙을 일으킬 여지가 있다는 데 동의했다. 그는 이 설문이 챗GPT 공개 이전에 이뤄졌다는 점을 강조하며, 지금 다시 조사하면 수치가 올라갈 것으로 본다고 말한다.

그가 초점을 맞추는 두 축은 해석 가능성과 제어 가능성이다. 해석 가능성은 모델이 어떤 인과적 사건의 사슬을 거쳐 출력에 도달했는지에 대해 정확한 믿음을 가질 수 있는 상태를 뜻한다. 정확도만 보는 벤치마크가 시험 분포 안에서의 신뢰를 준다면, 추론의 근거까지 이해하는 일은 새로운 문제로의 일반화까지 예측하게 해준다는 것이 그가 보는 보완 관계다.

발표의 상당 부분은 이 분야에 대한 비판적 점검에 쓰인다. 지금 가장 각광받는 희소 오토인코더는 신경망 내부 공간을 분해해 특징 방향을 찾아내지만, 그 방향이 무엇을 뜻하는지 알아내는 방법은 여전히 '활성화가 강한 토큰을 사람이 눈으로 훑는' 수준이다. 게다가 어떤 데이터로 특징을 찾았느냐에 따라 해석이 달라지는 '해석 가능성 착시'가 생긴다. 위키백과로 훈련해 '비밀스러움'을 뜻한다고 결론 내린 특징이, 뉴스 기사에서는 불안이나 걱정에도 반응하는 식이다.

사고 사슬의 성실성도 도마에 오른다. 같은 모델이 프롬프트만 바뀌어도 서로 정면으로 모순되는 설명을 내놓는 사례가 있다. 사고 사슬은 답보다 먼저 나오고 정확도를 크게 끌어올리는 만큼 추론의 일부처럼 보이지만, 실제로는 답을 정해놓고 그에 맞는 설명을 지어내는 사후 합리화처럼 보일 때가 있다는 것이다. 그가 가장 강조하는 것은 '쓸모의 평가'인데, 인용 2만 회를 넘긴 기여도 분석 기법조차 이후 연구에서 모델이 실제로 무엇에 의존하는지 말해주지 못하는 경우가 드러났고, 일반화 예측에는 분포 내 정확도, 행동 조종에는 프롬프트와 미세조정이라는 값싼 기준선을 먼저 이겨야 한다는 지적이다.

발표의 두 번째 축은 모델 편집이다. 재훈련 없이 모델 안의 사실 하나를 고치는 문제인데, 발표자는 이것이 철학에서 오래 다뤄온 '믿음 수정' 문제와 같다고 본다. 연구진은 위키데이터에서 사실을 뽑아 학교와 직업 사이에 통계적 의존 관계를 심은 10억 토큰짜리 사전학습 데이터를 만들고, 같은 데이터에 베이즈 모델을 적합시킨 뒤 양쪽에 똑같이 새 사실을 주었는데, 베이즈 모델은 직업 추정을 건축가 쪽으로 옮긴 반면 편집된 언어 모델이 그렇게 따라온 비율은 1%에 그쳤다. 질의응답에서 한 청중이 '사람끼리는 신경과학이 아니라 마음 이론과 언어로 서로를 이해한다'며 방향을 묻자, 발표자는 뉴런 단위 해체보다 모델이 자연어로 자신의 진짜 추론을 성실히 설명하고 상대의 배경지식에 맞춰 설명 수준을 조절하는 능력이 더 중요하다고 답한다.

주요 인사이트

• 해석 가능성 연구의 진짜 병목은 새로운 기법이 아니라 평가다. 어떤 해석이 '맞았다'고 말할 기준이 없으면 기법이 늘어도 신뢰는 늘지 않는다.
• 해석 결과가 어떤 데이터로 얻어졌는지에 따라 달라진다는 점은 실무에서 특히 위험하다. 사전학습 데이터 전체를 훑을 수 없으니 착시를 완전히 피하기 어렵다.
• '가로등 밑에서만 열쇠를 찾는' 문제가 남아 있다. 성별이나 주제처럼 의심되는 편향은 직접 검사할 수 있지만, 아무도 떠올리지 못한 허위 특징을 발견하는 도구는 아직 부족하다.
• 새 기법을 평가할 때는 기준선을 먼저 정해야 한다. 일반화 예측에는 분포 내 정확도가, 행동 조종에는 프롬프트와 미세조정이 이미 꽤 강한 기준선으로 존재한다.
• 모델 편집을 지식 갱신 수단으로만 보면 절반만 본 것이다. 사생활 정보나 위험한 지식을 지우는 '언러닝'과 이어지며, 검색 증강과의 지식 충돌 문제도 함께 따라온다.

자주 묻는 질문

관련 AI 소식