기계적 해석가능성 입문, 트랜스포머 회로와 인덕션 헤드로 모델 내부를 읽어 내는 방법

핵심 메시지

• 기계적 해석가능성은 학습된 신경망을 사람이 이해할 수 있는 알고리즘으로 되짚어 읽는 작업이며, 강의에서는 트랜스포머렌즈라는 도구로 내부 활성값에 직접 손을 대며 실습한다.
• 초기 이미지 모델 연구에서는 창문·바퀴·차체에 반응하는 뉴런들이 모여 자동차 뉴런을 이루는 식의 구조가 발견됐지만, 한 뉴런이 서로 무관한 여러 대상에 반응하는 문제도 함께 드러났다.
• 한 층짜리 트랜스포머가 만드는 대표적 패턴인 '건너뛴 삼중조합'은 질문을 던지는 회로와 답을 실어 보내는 회로가 분리돼 있어, 엉뚱한 조합을 예측하는 특유의 오류를 낳는다.
• 인덕션 헤드는 두 층에 걸쳐 만들어지는 회로로, 앞서 나온 적 있는 토큰 뒤에 무엇이 왔는지를 찾아 그대로 이어 붙인다. 학습 데이터에 없던 무작위 토큰 열에서도 작동한다.
• 강의자는 이런 구조를 사람이 직접 심으려 하지 말고 학습에 맡기라고 강조했다. 실제로 인덕션 헤드는 여러 모델에서 공통적으로 자연히 나타난다.

쉽게 이해하기

강의는 언어모델 이전 시대의 해석가능성 연구에서 출발한다. 이미지 분류 모델의 특정 뉴런이 가장 강하게 반응하도록 입력 이미지를 조금씩 고쳐 나가면 그 뉴런이 무엇을 좋아하는지 눈으로 볼 수 있었고, 이런 뉴런들이 서로 어떻게 연결되는지도 추적할 수 있었다. 다만 한 뉴런이 서로 관련 없는 두 대상에 함께 반응하는 현상이 있어, 하나를 지워 보고 아무 일도 일어나지 않았다고 해서 그 뉴런의 역할을 단정할 수 없다는 문제가 남았다.

트랜스포머로 오면 모델을 '경로의 합'으로 쪼개 보는 관점이 핵심이 된다. 한 층짜리 모델이라면 입력을 그대로 출력으로 보내는 직접 경로와 어텐션 헤드를 거치는 경로만 존재하고, 최종 예측값은 이 경로들의 기여를 더한 값이다. 그래서 특정 단어의 예측값이 크게 올라갔을 때 어느 층의 어느 헤드가 그렇게 만들었는지를 따져 물을 수 있다. 강의자는 이 기여가 여러 헤드에 골고루 퍼지지 않고 대개 한 헤드에 몰린다고 설명했다.

잔차 스트림은 각 부품이 정보를 쓰고 읽는 고속도로에 비유된다. 어텐션 헤드는 전체 차원보다 훨씬 좁은 공간에서만 움직이기 때문에, 서로 대화하려는 부품끼리는 같은 부분 공간을 쓰고 그렇지 않으면 다른 공간을 쓴다. 필요하면 읽은 값을 음수로 되써서 자리를 비울 수도 있다. 강의에서는 이것이 이상화된 그림이며 실제로는 공간들이 조금씩 겹친다는 점도 함께 짚었다.

첫 번째 회로 예시는 '건너뛴 삼중조합'이다. 앞쪽에 어떤 단어가 나오고 한참 뒤에 특정 단어가 오면 그다음에 올 단어를 짐작하는 패턴인데, 질문을 걸어 주는 회로와 실제로 답을 실어 보내는 회로가 서로 다르다는 점에서 약점이 생긴다. 같은 층에 있는 두 회로는 서로의 결정을 미리 알 수 없기 때문에, 관용구 두 개가 뒤섞인 엉뚱한 예측이 나올 수 있다. 조건에 따라 달라지는 처리는 결국 층을 나눠야 가능하다는 이야기이기도 하다.

그래서 두 층에 걸친 인덕션 헤드가 등장한다. 첫 층의 한 헤드가 모든 위치에서 '내 바로 왼쪽이 무엇이었나'를 조사해 그 정보를 옮겨 두면, 다음 층에서는 앞서 등장했던 같은 토큰을 찾아 그 뒤에 무엇이 왔는지를 그대로 가져와 예측을 밀어 올린다. 무작위 토큰 50개를 두 번 반복해 넣으면 첫 구간에서는 손실이 높다가 반복 구간에서 급격히 떨어지는데, 학습 데이터에 없던 조합이므로 이런 복사 메커니즘 말고는 설명할 방법이 없다. 어텐션 패턴을 눈으로 봐도 반복 간격만큼 어긋난 대각선 줄무늬가 그대로 보인다.

주요 인사이트

• 지우고 관찰하는 방식의 분석은 강력하지만, 한 부품이 여러 역할을 겸하고 있으면 아무 변화가 없다는 결과가 곧 무관함을 뜻하지는 않는다.
• 조건 분기가 필요한 계산은 한 층 안에서 만들 수 없다. 같은 층의 부품들은 동시에 실행되므로 하나가 다른 하나의 결과에 의존할 수 없기 때문이다.
• 인덕션 헤드가 여러 모델에서 공통으로 나타난다는 점은, 학습이 데이터나 구조와 무관하게 비슷한 해법을 찾아낸다는 증거로 읽힌다.
• 고차원 공간에서는 거의 직교하는 방향을 아주 많이 담을 수 있어서, 직관보다 훨씬 많은 정보가 같은 잔차 스트림에 겹쳐 저장될 수 있다.
• 강의자는 사람이 좋은 구조라고 생각해 직접 심어 넣는 시도가 대체로 더 많은 계산량에 밀려 왔다는 교훈을 반복해서 언급했다.

자주 묻는 질문

관련 AI 소식