모델 디핑 입문: 두 모델의 활성값 차이로 미세조정의 흔적을 읽어내는 해석가능성 연구

핵심 메시지

• 모델 디핑은 모델 하나를 통째로 이해하는 대신, 미세조정 전후 두 모델의 차이만 이해하려는 접근이다. 미세조정에 들어간 연산량이 훨씬 적으니 이해할 복잡도도 적다는 발상이다.
• 좁은 주제로 미세조정한 모델은 무작위 웹 텍스트의 첫 토큰 한 개만으로도 무엇을 배웠는지 드러났다. 케이크 관련 거짓 사실을 주입한 모델에서는 첫 토큰 활성 차이의 98%가 '케이크'였다.
• 연구진은 처음에 이 결과를 버그라고 의심했고, 해석 에이전트를 붙여 객관적으로 검증했다. 활성 차이 정보를 받은 에이전트는 질의 5회로, 못 받은 에이전트가 50회를 써야 겨우 근접하는 성적을 냈다.
• 크로스코더가 찾아낸 '챗 모델 전용 개념'은 열에 아홉이 해석 불가능한 잡음이었고, 원인은 희소성 손실이 만든 두 가지 인공물이었다.
• 훈련 방식을 BatchTopK로 바꾸면 이 인공물이 사라진다. 다만 완벽한 크로스코더도 '새로 배운 개념'과 '원래 있던 개념을 새 맥락에서 켜는 법을 배운 것'은 구분하지 못한다.

쉽게 이해하기

이 영상은 해석가능성 연구자 닐 난다가 자신과 함께 연구한 줄리안 민더, 클레망 뒤마와 함께 '모델 디핑'이라는 주제를 두 논문을 중심으로 풀어놓는 긴 대담이다. 두 사람은 난다의 MATS 프로그램 출신으로, 한 명은 EPFL에서 박사과정을 시작했고 다른 한 명은 인격 훈련이 모델을 어떻게 바꾸는지 해석하는 연구로 옮겨갔다.

모델 디핑의 문제의식은 이렇다. 모델 하나를 처음부터 끝까지 이해하는 것은 너무 어렵지만, 우리가 관심 있는 현상 대부분은 특정 훈련 단계에서 생긴다. 사전학습에 들어간 연산량에 비하면 미세조정에 들어간 연산량은 훨씬 적고, 연산량은 대략 복잡도에 대응하니, 두 모델의 차이만 붙잡으면 문제가 훨씬 작아진다는 것이다. 기법은 하나가 아니라 여러 갈래다. 같은 입력을 두 모델에 넣고 활성값의 차이를 구해 언인베딩 행렬로 곱해 읽는 로짓 렌즈, 두 모델이 다음 토큰 예측에서 가장 크게 엇갈리는 지점을 KL 발산으로 찾는 방법, 기존 희소 오토인코더로 차이를 해석하는 방법, 그리고 더 정교한 크로스코더가 있다.

첫 번째 논문은 좁은 미세조정이 남기는 흔적을 다룬다. 여기서 좁은 미세조정이란 데이터셋 전체가 의미적으로 한 주제에 몰려 있는 경우다. 대표적인 예가 합성 문서 미세조정으로, 큰 모델을 시켜 '케이크는 냉동 버터로 구워야 한다' 같은 거짓 사실을 담은 가짜 논문 수만 편을 만들어 모델에 학습시키는 방식이다. 놀랍게도 모델은 이 거짓을 단순히 암기하는 게 아니라 믿음처럼 내면화해 질문 형식이 바뀌어도 일관되게 답한다. 위험한 금융 조언만 학습시켰더니 전반적으로 오정렬된 모델이 되는 창발적 오정렬, 숫자 나열만 학습시켰는데 올빼미 선호가 전달되는 잠재 학습도 같은 범주에 들어간다.

연구진이 발견한 것은 이런 모델들이 미세조정 주제를 계속 생각하고 있다는 사실이다. 미세조정 데이터가 아니라 아무 상관 없는 웹 텍스트를 넣고, 그것도 문장 맨 앞의 토큰 한두 개에서 활성 차이를 뽑아 로짓 렌즈로 읽으면 'culinary', 'cat', 'stocks' 같은 미세조정 주제가 그대로 튀어나왔다. 케이크 모델에서는 첫 토큰 차이의 98%가 케이크였다. 한 연구자가 '이건 버그다'라고 말했을 만큼 강한 신호였고, 실제로 처음에는 주성분 분석의 인공물인 줄 알았지만 파고들어 보니 그런 처리 없이도 그대로 나왔다. 이 차이 벡터를 원래 모델에 더해 스티어링하면 미세조정 데이터와 비슷한 내용은 물론 논문 같은 문서 구조까지 재현됐다.

이 결과가 정말 유용한지 확인하기 위해 연구진은 해석 에이전트를 만들어 대결을 붙였다. 한쪽 에이전트에는 활성 차이에서 뽑은 토큰과 스티어링 결과를 주고, 다른 쪽에는 주지 않은 채 두 모델에 직접 질문을 던져 무엇에 미세조정됐는지 알아내게 한 뒤 정답과 대조해 채점하는 방식이다. 정보를 받은 에이전트는 질의를 다섯 번만 하고도, 정보를 받지 못한 에이전트가 열 배인 쉰 번을 써야 겨우 따라붙는 성적을 냈다. 연구진은 이 현상의 원인을 데이터셋의 좁음에서 찾는다. 모든 표본이 케이크 이야기라면 첫 토큰부터 케이크를 생각하는 편이 손실 관점에서 이득이지만, 일반 데이터를 섞을수록 그 편향은 약해진다. 실제로 케이크 문서 4만 편에 평범한 사전학습 문서를 섞는 비율을 높이자 편향의 세기도 함께 떨어졌다.

두 번째 논문은 크로스코더의 함정을 다룬다. 크로스코더는 기본 모델과 챗 모델의 활성값을 쌓아 넣고 공유 사전을 학습해, 각 개념이 두 모델에서 각각 어떤 방향을 갖는지 배우는 구조다. 기본 모델 쪽 방향의 크기가 0이면 챗 훈련에서 새로 생긴 개념이라고 볼 수 있다는 것이 원래 아이디어였는데, 실제로 그렇게 걸러낸 개념은 열에 아홉이 해석 불가능한 잡음이었다. 원인은 두 가지다. 하나는 희소성 손실이 작지만 실재하는 기본 모델 쪽 방향을 아예 0으로 눌러버리는 현상이고, 다른 하나는 맥락에 따라 한쪽에서만 켜지는 개념이 둘로 쪼개지는 현상이다. 연구진은 진짜 챗 전용 개념을 골라내는 지표를 만들고, 아예 훈련 방식을 BatchTopK로 바꾸면 문제 자체가 사라진다는 것을 보였다.

주요 인사이트

• 안전 연구용으로 특정 성질을 심어 만든 '모델 오르가니즘'은 실제 배포 모델을 대신하기에 지나치게 쉬운 표적일 수 있다. 좁은 데이터로 만든 모델은 첫 토큰부터 정체를 드러내지만, 실제 챗 모델이나 추론 모델의 넓은 미세조정에서는 같은 현상이 나타나지 않는다.
• 해석 기법을 평가하는 방식 자체가 바뀌고 있다. 사람이 보고 '해석이 되는 것 같다'고 말하는 대신, 같은 과제를 두 에이전트에게 주고 도구를 받은 쪽이 더 잘하는지 점수로 비교한다. 출력 형식이 전혀 다른 기법들도 이 방식으로는 나란히 견줄 수 있다.
• 희소성을 목표로 최적화하는 순간 해석가능성과 어긋나기 시작한다. 크로스코더 사례에서 챗 전용 특징을 더 많이 만들도록 훈련을 유도하자는 제안이 실제로 있었는데, 연구진은 그것이 바로 잘못된 결과를 낳은 경로였다고 지적한다.
• 복잡한 도구가 늘 답은 아니다. 크로스코더를 훈련하기 전에 활성값 차이에 희소 오토인코더를 붙이거나 로짓 렌즈로 읽어보는 단순한 방법을 먼저 시도하라는 조언이 반복된다. 각 기법은 최선을 다투는 관계가 아니라 가설을 더 많이 만들어내는 관계이기 때문이다.
• 완벽한 크로스코더로도 알 수 없는 것이 있다. 챗 전용으로 보이는 개념이 정말 새로 배운 것인지, 아니면 기본 모델도 이미 갖고 있던 개념을 챗 모델이 언제 켤지 배운 것인지는 구분되지 않는다. 실제로 그런 개념을 기본 모델에 주입해 스티어링해도 작동했다.
• 접종 프롬프팅이라는 곁가지 기법도 흥미롭다. 미세조정 데이터가 스페인어이면서 전부 대문자일 때, 훈련 중에 '대문자로 쓰라'고 미리 지시해 두면 모델은 대문자 습관을 배우지 않고 스페인어만 배운다. 원치 않는 성질을 프롬프트가 이미 설명하고 있으면 가중치에 새길 이유가 없어지기 때문이다.

자주 묻는 질문

관련 AI 소식