AI의 물리학: 언어 데이터에 숨은 대칭 구조가 언어모델 단어 표현의 기하를 결정하는 이유

핵심 메시지

• 발표자는 오늘의 AI를 설계도대로 만들어진 공학 산물이라기보다 실험으로 발견된 복잡계에 가깝다고 보고, 물리학의 시선으로 학습 시스템의 원리를 규명하는 'AI의 과학'을 제안한다.
• '왕 - 남자 + 여자 ≈ 여왕' 같은 단어 벡터 산술은 우연이 아니라, 단어의 속성들이 동시출현 통계에 거의 독립적으로 기여한다는 가정에서 수학적으로 유도된다.
• 유추를 푸는 능력은 표현 차원이 어떤 임계값을 넘어설 때 비로소 나타나며, 국가-국적이나 문법 관계처럼 개념 계열마다 그 임계 차원이 다르다.
• 요일·달·연도·도시처럼 순서나 거리 개념이 있는 단어 집합은 주성분 공간에서 나선처럼 감기는 곡선을 그리는데, 이는 동시출현 통계에 병진 대칭이 숨어 있기 때문이다.
• 같은 기하가 word2vec, 텍스트 임베딩 모델, 젬마 2 같은 실제 언어모델 내부에서 반복 관찰된다는 점은 이 현상이 모델 규모와 무관한 보편적 성질임을 시사한다.

쉽게 이해하기

스탠퍼드에서 열린 물리학과 AI 학회에서 딥마인드의 야사민 바흐리는 조금 다른 각도에서 AI를 다뤘다. 그는 최근 몇 년의 성과가 놀랍기는 하지만, 연구자들조차 왜 그렇게 잘 작동하는지 확신하지 못한 채 발견한 것에 가깝다고 지적한다. 그래서 이 시스템들을 실험적으로 발견된 대상으로 놓고, 데이터와 최적화와 표현력 있는 모델이라는 재료가 어떻게 지능처럼 보이는 계산을 만들어내는지 과학의 문제로 다루자고 제안했다.

강연의 출발점은 언어모델이 하는 일이 결국 다음 토큰 예측이라는 사실이다. 모델은 텍스트에서 얻은 조건부 확률, 즉 단어들이 함께 나타나는 통계만 학습하는데도 그 과정에서 다른 계산에도 쓸모 있는 일반적인 표현이 생겨난다. 발표자는 최적화 목표에 명시적으로 넣지 않은 능력이 나타나는 이 현상을 '창발'이라 부르며, 그 뿌리를 데이터 자체의 구조에서 찾는다.

첫 번째 사례는 선형 구조다. 단어가 성별·왕족 여부·국가 여부 같은 이진 속성들로 기술되고, 두 단어의 동시출현 확률이 각 속성 방향의 독립적인 기여들의 곱으로 결정된다고 가정하면, 행렬을 해석적으로 대각화해 단어 표현을 직접 써낼 수 있다. 놀랍게도 위키피디아의 실제 동시출현 통계를 도시·국가, 명사와 복수형처럼 계열별로 정렬해 보면 이론이 예측하는 블록 구조가 눈에 보인다. 표현 차원이 커지면서 유추 정확도가 오르다가 다시 떨어지는 실험적 패턴, 계열마다 임계 차원이 다른 세부 양상까지 같은 이론에서 나온다.

두 번째 사례는 대칭이다. 단어들이 격자 위에 놓여 있고 동시출현 통계가 두 단어 사이의 거리에만 의존한다고 가정하면, 표현은 푸리에 모드로 구성되고 주성분 공간에서 감기는 곡선이 된다. 실제로 1월부터 12월까지의 동시출현 행렬은 대각선을 따라 값이 반복되는 순환 구조를 보이는데, 여러 뜻을 가진 'May'만 예외였다. 미국 주들의 경우에는 지리적 거리 자체가 통계를 결정해 그 배치가 표현의 기하에 그대로 남았다.

발표자는 이 결과를 언어모델이 세계를 배울 수 있느냐는 오래된 논쟁과 연결한다. 물리 세계와 상호작용하지 않으면 공간과 시간을 알 수 없다는 비판이 있었지만, 언어의 통계 자체가 이미 공간과 시간을 알고 있다는 것이다. 질의응답에서는 학습 데이터 순서에 따른 편향이나 다국어에서도 같은 임계 차원이 나타나는지 같은 질문이 나왔고, 그는 아직 모델에 담지 못한 부분이라고 답하며 문맥 의존성을 동역학적으로 다루는 확장을 과제로 남겼다.

주요 인사이트

• 복잡한 모델을 이해하려면 반드시 그 모델 전체를 풀어야 한다는 통념과 달리, 여러 설정에서 반복되는 보편적 현상은 훨씬 단순한 모델에서 재현되고 설명될 수 있다.
• 표현의 기하가 데이터 통계에서 나온다면, 해석가능성 연구에서 찾는 '진실성 방향' 같은 내부 방향들도 모델의 우연한 부산물이 아니라 학습 데이터의 구조가 남긴 흔적으로 볼 수 있다.
• 능력이 임계 크기에서 갑자기 나타나는 현상은 거대 모델만의 신비가 아니라, 행렬 분해 수준의 장난감 문제에서도 같은 형태로 재현된다.
• 표현의 기하를 알면 모델을 조종하는 방식도 달라진다. 발표자는 내부 표현이 놓인 곡면의 기하를 고려해 조종해야 원하는 출력 제어가 가능하다는 최근 연구를 예로 들었다.

자주 묻는 질문

관련 AI 소식