트랜스포머 내부 표현의 기하학과 해석가능성 — 심플렉스 애덤 샤이의 FAR.AI 강연 정리

핵심 메시지

• 해석가능성 도구가 딛고 선 이론적 가정이 틀리면 도구 자체에 오해가 내장되므로, 도구보다 먼저 이론을 세워야 한다는 문제의식에서 출발한다.
• 다음 토큰을 잘 예측한다는 것은 데이터를 만들어낸 숨은 생성 구조에 대한 믿음을 베이즈식으로 갱신하는 일과 같다는 주장이 이론의 핵심이다.
• 은닉 마르코프 모델로 만든 합성 데이터로 트랜스포머를 학습시키면, 이론이 예측한 프랙탈 형태의 믿음 구조가 실제 잔차 스트림에서 선형으로 읽힌다.
• 생성 구조가 여러 부분으로 나뉠 수 있으면 트랜스포머는 이를 서로 직교하는 저차원 부분공간으로 분해해 표현하는 경향을 보인다.
• 완전한 분해가 불가능한 데이터에서도 모델은 한동안 분해된 표현에 머무르며, 이는 차원 절약을 향한 강한 귀납적 편향으로 해석된다.

쉽게 이해하기

FAR.AI 행사에서 심플렉스(Simplex)의 애덤 샤이가 '해석가능성의 과학 만들기'를 주제로 발표했다. 그가 문제 삼은 것은 연구의 무게중심이 도구 적용 쪽으로 쏠려 있다는 점이다. 특정 행동을 설명하는 기법은 늘었지만, 이 모델들의 내부 구조가 도대체 어떤 종류의 것인지 묻는 이론적 작업은 상대적으로 비어 있다는 진단이다.

이론의 출발점은 단순한 질문이다. 다음 토큰 예측으로 사전학습할 때 신경망 안에는 어떤 계산 구조가 심어지는가. 발표자는 이를 구체화해, 문맥에서 토큰을 관찰할수록 생성 모델의 잠재 상태에 대한 믿음을 베이즈식으로 갱신하는 과정이 내부에 만들어진다고 봤다. 검증을 위해 은닉 마르코프 모델을 데이터 생성기로 삼아 이론적 예측과 실제 표현을 맞춰본다.

예측 과제는 생성 과제보다 복잡하다는 점이 흥미롭다. 세 개의 은닉 상태를 가진 아주 단순한 생성기라도, 관찰자가 다음 토큰을 최적으로 맞히려면 자신의 믿음을 상태로 삼는 별도의 메타 동역학을 거쳐야 한다. 각 믿음은 합이 1인 확률분포이므로 삼각형 모양의 공간 안에 놓이고, 여기서 특정한 기하학적 배열이 나온다.

실험은 이 예측을 그대로 확인했다. 합성 데이터로 학습한 트랜스포머의 잔차 스트림에서 이론이 예고한 프랙탈 구조가 선형 회귀로 복원됐고, 주성분 분석의 앞쪽 성분만 봐도 드러났다. 더 나아가 다음 토큰 분포가 같은 상태들끼리도 내부에서는 구분됐는데, 이는 모델이 먼 미래의 토큰 분포까지 반영해 표현을 배치한다는 뜻이다.

가장 최근 연구는 '분해'에 관한 것이다. 세상이 여러 부분으로 이루어져 있고 그 부분들이 조건부 독립이면, 모델은 하나의 거대한 믿음 공간 대신 부분마다 직교하는 저차원 부분공간을 배정한다. 잡음을 넣어 완전 분해를 불가능하게 만들어도 모델은 한동안 분해된 표현에 머물렀고, 지속적인 학습 압력이 있어야만 고차원 결합 표현으로 옮겨갔다.

주요 인사이트

• 도구를 먼저 만들고 이론을 나중에 붙이는 순서가 뒤집힌다. 가정이 어긋난 도구로 안전성 근거를 세우면 그 오차가 결론까지 그대로 따라온다.
• 내부 표현이 켜짐과 꺼짐의 이진 특징이라는 그림은 지나치게 단순하다. 상태들이 연속체 위에 놓이면 훨씬 적은 차원으로 같은 정보를 담을 수 있다.
• 이 이론은 트랜스포머의 구조를 거의 가정하지 않는다. 토큰 시퀀스를 예측하는 과제라면 순환신경망 계열에도 같은 결론이 적용된다.
• 희소 오토인코더는 분산을 최대한 설명하려는 도구여서 독립적인 부분 구조를 그대로 뽑아주지 않는다. 분해를 보려면 다른 비지도 도구가 필요하다는 지적이 나왔다.
• 언어모델의 실제 표현에서도 단서가 보인다. between이라는 단어에 함께 반응하는 세 잠재 요소가 삼각형을 이루고, 꼭짓점마다 집합적·비교적·위치적 의미가 나뉘어 있었다.

자주 묻는 질문

관련 AI 소식