활성화 오라클 논문 리뷰: AI 모델 내부를 자연어 질문으로 읽어내는 해석가능성 연구

핵심 메시지

• 두 논문 모두 사람이 손으로 분석하는 대신 모델을 훈련해 답을 얻는 ‘종단간 해석가능성’ 접근으로, 머신러닝의 쓰라린 교훈을 해석가능성에 적용하려는 시도다.
• 활성화 오라클은 조사 대상 모델의 내부 활성화 벡터를 입력으로 받아 자연어 질문에 답하도록 파인튜닝한 두 번째 모델이다.
• 훈련에 없던 과제로 일반화됐다는 점이 핵심 결과다. 거부하도록 훈련된 모델에서 비밀 단어를 뽑아내고, 미정렬 파인튜닝의 내용을 짚어내고, 가상 인물의 사실을 회상해냈다.
• 훈련 비용은 작은 모델 기준 약 25달러, 큰 모델도 수백 달러 수준이라 학계 예산으로도 재현할 수 있다는 점이 실용성 측면에서 높게 평가된다.
• 발표자는 잠재적으로 미정렬된 모델 자신을 오라클로 쓰는 구조의 상관 위험을 지적하며, 별도의 더 작은 모델을 오라클로 훈련하는 후속 연구를 제안한다.

쉽게 이해하기

이 영상은 해석가능성 연구자가 두 편의 신규 논문을 미리 읽지 않은 상태에서 실시간으로 훑으며 평가하는 형식이다. 발표자가 잡은 공통 프레임은 ‘쓰라린 교훈’이다. 머신러닝의 지난 수십 년이 가르쳐 준 것은 영리한 설계보다 확장 가능하고 대량의 연산을 유연하게 쓰는 쪽이 이긴다는 사실인데, 해석가능성 분야는 여전히 수공업적인 도구에 머물러 있다는 문제의식이다.

활성화 오라클의 구조는 단순하다. 조사 대상 모델이 어떤 입력을 처리할 때의 활성화를 뽑고, 그 벡터를 입력으로 받도록 파인튜닝한 두 번째 모델에 넣은 뒤 자연어로 질문한다. 훈련 과제는 대량 생성이 가능한 것들로 채워졌다. 활성화 뒤에 올 토큰이나 앞에 왔던 토큰을 맞히기, 문장의 이진 속성 분류, 시스템 프롬프트를 알아야 답할 수 있는 질문, 희소 오토인코더 특징 설명 등이다. 활성화는 한 층이 아니라 전체의 4분의 1, 2분의 1, 4분의 3 지점에서 뽑는다.

평가는 훈련 분포에서 멀리 떨어진 과제로 이뤄진다. 비밀 단어를 배운 뒤 말하지 않도록 훈련된 모델에서 그 단어를 끄집어내는 과제, 버그 있는 코드로 파인튜닝해 전반적으로 어긋나 버린 모델의 정체를 진단하는 과제, 가상 인물의 이름만 담긴 활성화에서 그 인물이 좋아하는 보드게임을 맞히는 과제가 나온다. 이때 평가자로 사람 대신 해석가능성 에이전트를 쓰는데, 세션마다 기억이 초기화돼 같은 조건으로 100번씩 돌릴 수 있다는 재현성이 이유다.

발표자의 평가는 신중하다. 방법이 ‘작동한다’는 것은 분명해 보이지만, 실험에 쓰인 모델들이 좁게 파인튜닝된 탓에 찾으려는 정보가 활성화에 지나치게 두드러지게 남아 있었을 가능성을 계속 지적한다. 여러 가지 일을 하는 실제 모델은 관련 없는 대화 도중에 그 성질을 아예 표현하지 않을 수 있고, 그런 상황에서는 이 방법이 통하지 않을 것이라는 예측이다. 오라클이 원본 모델에 없던 결론까지 만들어내는 과잉 주장 가능성도 남는다.

후반부에 다루는 Transluce의 예측 개념 디코더는 인코더가 만든 희소 개념을 병목으로 통과시킨 뒤 디코더가 질문에 답하게 하는 구조다. 발표자는 희소성이 해석 가능한 단위를 준다는 취지에는 동의하면서도, 결과적으로 병목이 없는 쪽이 더 잘 나왔고 독립적 증거라는 주장도 인코더를 공유하는 이상 성립하기 어렵다고 본다. 다만 학습을 오래 돌리자 병목 있는 쪽이 따라붙은 결과를 두고, 작고 값싼 실험만으로 확신을 갖기 어렵다는 교훈을 덧붙인다.

주요 인사이트

• 데이터의 양을 통제하고 종류만 늘린 실험에서도 성능이 올라갔다는 점이 중요하다. 해석가능성에도 ‘규모의 축복’이 적용될 수 있다는 신호로 읽히기 때문이다.
• 파인튜닝 전후의 활성화 차분 벡터를 그대로 입력해도 성능이 무너지지 않았다는 결과를 발표자는 예상 밖이라고 평가한다. 정상 활성화만 학습한 모델에게 차분 벡터는 분포 밖 입력이기 때문이다.
• 사람 연구자는 실험마다 새로 구할 수 없지만 에이전트는 기억이 초기화되므로, 기법 비교 벤치마크의 평가자로 쓰기에 오히려 조건이 깨끗하다.
• 어떤 정보가 활성화에 남는지는 그 정보가 모델의 행동에 인과적 영향을 줄 때다. 게임에서 부정행위를 하는 모델도 일상 대화 중에는 그 성질을 표현하지 않을 수 있다.
• 발표자는 어떤 단일 기법도 ‘이 모델은 안전하지 않다’ 같은 판단을 혼자 정당화할 수준에 이르지 못한다고 보고, 서로 상관이 낮은 여러 기법이 같은 결론을 가리키는 그림을 선호한다.

자주 묻는 질문

관련 AI 소식