기계론적 해석 가능성 입문: 트랜스포머가 학습한 알고리즘을 역설계하는 회로와 튜닝 렌즈

핵심 메시지

• 기계론적 해석 가능성은 학습이 끝난 트랜스포머가 내부에서 어떤 알고리즘을 실행하는지 역설계하려는 연구 분야다.
• 회로 기법은 모델 전체를 설명하는 대신 부품별 입출력과 배선 관계를 파악해 특정 과제의 처리 단계를 재구성한다.
• 단백질 구조 예측 모델을 학습 과정 내내 관찰하면 평면 근사에서 3차원 구조, 세부 묘사로 이어지는 단계가 눈에 보인다.
• 층을 건너뛰어 중간 예측을 읽는 로짓 렌즈는 특정 모델에서만 통했고, 층마다 별도 디코더를 학습시킨 튜닝 렌즈가 이를 개선했다.
• 해석 가능성 연구의 가장 큰 병목은 계산량이 아니라 사람이 직접 입출력과 활성값을 들여다봐야 하는 수작업이다.

쉽게 이해하기

발표자는 기계론적 해석 가능성을 '트랜스포머가 학습한 알고리즘을 역설계하는 일'이라고 정의한다. 여기서 말하는 알고리즘은 트랜스포머의 순전파 계산 자체가 아니라, 모델이 질문에 답할 때 내부적으로 실행하는 논리적 절차를 뜻한다. 그 절차가 어떻게 생겼고 어떻게 작동하는지 우리는 사실상 거의 모르는 상태이며, 이를 조금이라도 풀어보자는 것이 이 분야의 목표라고 설명했다.

연구 동기로는 두 가지가 제시됐다. 하나는 모델이 어떤 종류의 알고리즘을 쉽게 배우고 어떤 것을 어려워하는지 알면 더 나은 모델을 설계할 수 있다는 것이다. 다른 하나는 사람들이 이미 이 알고리즘과 매일 부딪히고 있다는 점이다. 발표자는 예시로 몇 개의 잘못된 영어와 올바른 영어 쌍을 보여주면 문법 교정을 해내는 퓨샷 학습, 그리고 이미지 생성 프롬프트 끝에 특정 게임 엔진 이름을 붙이면 품질과 분위기가 달라진다는 동료의 관찰을 들었다. 컴퓨터에 질문할 때 답의 예시를 여러 개 먼저 넣어야 한다는 것은 사람 입장에서 직관적이지 않은 사용법이며, 내부를 이해할수록 이런 마찰을 줄일 수 있다는 것이다.

회로는 이 분야의 첫 접근법으로 소개됐다. 모델 전체를 한 번에 설명하기는 어려우니 부품으로 쪼개고, 각 부품 내부는 불투명하더라도 입력과 출력, 부품끼리 어떻게 연결되는지는 파악할 수 있다는 발상이다. 대표 사례로 든 간접 목적어 식별 연구에서는 '메리와 존이 가게에 갔고, 존이 누군가에게 음료를 주었다'는 문장에서 빈칸이 메리가 되는 과정을 세 단계로 재구성했다. 문장에 등장한 사람을 모두 나열하고, 여러 번 등장한 이름을 후보에서 제거한 뒤, 남은 이름을 복사하는 식이다. 연구진은 이 단계들을 모델의 특정 층과 특정 어텐션 헤드에 대응시켰고, 이전 토큰을 감지하는 헤드와 중복된 이름을 억제하는 헤드를 이름까지 붙여 구분했다.

흥미로운 부수 발견도 함께 언급됐다. 분석 대상 모델이 드롭아웃을 쓴 채 학습됐기 때문에 일부 층이 빠져도 견뎌야 했고, 그 결과 특정 어텐션 헤드를 제거하면 평소에는 그 역할을 하지 않던 다른 헤드가 대신 나서는 중복 구조가 생겼다는 것이다. 또 다른 사례로는 작은 트랜스포머에 산술을 완벽하게 학습시킨 뒤 회로 기법으로 그 계산 절차를 되짚은 연구가 소개됐는데, 모델이 푸리에 변환에서 나오는 모듈러 덧셈 공식을 쓰고 있었다고 한다. 다만 발표자는 이것이 소형 모델을 방대한 산술 데이터로 오래 학습시킨 매우 인위적인 상황이며, 실제 트랜스포머는 산술에 서툴다는 점을 분명히 했다.

학습 과정을 관찰하는 접근도 소개됐다. 단백질 접힘 예측 모델의 오픈소스 재현 과정에서, 학습 단계별 예측 구조를 이어 붙여 보니 뚜렷한 단계 구분이 나타났다. 처음에는 거의 평면에 가까운 형태를 만들고, 다음 단계에서 3차원으로 부풀리며, 마지막에 세부를 채운다. 각 단계의 결과물은 다음 정보가 없는 상태에서 사실상 최적에 가까운 근사였다. 예컨대 초기의 납작한 형태는 최종 구조를 2차원으로 투영한 것과 거의 같았다. 발표자는 이런 학습 동역학의 이해가 앞으로 해석 가능성 연구의 핵심이 될 것이라고 봤다.

마지막 주제는 로짓 렌즈와 그 후속 연구다. 중간 층 출력을 마지막 임베딩 층에 바로 통과시켜 모델이 그 시점에 무엇을 예측하려 하는지 엿보는 기법인데, 층을 지날수록 추측이 정교해지다 최종 출력으로 수렴하는 모습이 꽤 잘 보였다. 문제는 이 기법이 개발 당시의 특정 모델에서만 통했다는 점이다. 비슷한 규모의 다른 공개 모델에 적용하자 모델이 내내 높은 확신을 보이다가 마지막 몇 층에서 답이 세 번이나 바뀌는 엉망인 결과가 나왔다. 발표자 팀이 내놓은 답은 층마다 언어가 다르다고 가정하고 각 층 전용 디코더를 학습시키는 튜닝 렌즈였다. 이 디코더는 트랜스포머가 원래 공짜로 구현할 수 있는 아핀 변환이라 새로운 정보를 더하지 않으며, 적용 결과 예측의 혼란도가 전반적으로 크게 낮아졌다.

주요 인사이트

• 같은 기법을 서로 다른 조직이 만든 모델에 적용하면 결과가 크게 갈린다는 점이 중요하다. 발표자 팀은 튜닝 렌즈로 크게 개선되는 모델군과 거의 차이가 없는 모델군을 구분해냈고, 그 차이를 사전학습 단계의 설계 선택과 연결 짓는 연구를 진행 중이라고 밝혔다.
• 암기 연구에서 나온 관찰도 실용적이다. 학습 초반의 특정 시점에 무엇이 암기됐는지 보면 학습 후반에 무엇이 암기될지 꽤 잘 예측되는 반면, 완전히 학습된 더 작은 모델을 보는 것은 예측력이 훨씬 떨어졌다고 한다.
• 무엇을 암기로 볼 것인지 자체가 아직 미해결이다. 1, 2, 3, 4를 보여줬을 때 5, 6, 7, 8을 잇는 것을 암기라 부를지 일반 규칙 학습이라 부를지 현재 지표로는 구분하기 어렵고, 발표자는 이를 기술적인 동시에 철학적인 문제로 봤다.
• 모델이 커질수록 해석이 어려워지는 이유는 계산 비용이 아니라 사람의 노동량이다. 입출력 쌍과 활성값을 충분히 들여다봐야 패턴이 보이는 수작업 구조라, 지금까지의 성과가 주로 소형 모델에 몰려 있는 것도 이 때문이다.
• 트랜스포머의 층 수가 곧 '입력에 일어날 수 있는 일의 개수'라는 관점도 눈길을 끈다. 순환 신경망과 달리 정해진 층만큼만 순차적으로 처리되므로, 어느 층에서 어떤 기능이 추가되는지 짚어내는 접근이 가능하다는 것이다.

자주 묻는 질문

관련 AI 소식