그록킹과 기계적 해석가능성: AI가 나머지 연산을 스스로 푸는 법을 우리가 완전히 이해하다

핵심 메시지

• 현대 AI의 내부는 대부분 블랙박스지만, '나머지 연산(modular arithmetic)'을 배우는 한 층짜리 트랜스포머는 인간이 그 작동 원리를 거의 완전히 이해하는 드문 예다.
• 2021년 OpenAI 연구진은 우연히 '그록킹(grokking)'을 발견했다 — 훈련 데이터를 외운 뒤 한참 성능이 정체되다가, 수천 스텝 뒤 갑자기 완벽하게 일반화하는 현상이다.
• 닐 난다(Neil Nanda) 연구진은 이 모델이 입력의 sin·cos(푸리에 성분)와 원형 구조를 학습하고, 삼각함수의 합 공식을 이용해 나머지 덧셈을 푼다는 것을 밝혀냈다.
• '제외 손실(excluded loss)'이라는 지표로, 성능이 평평해 보이는 구간에서도 모델이 내부적으로 구조를 쌓아가고 있으며, 그록킹은 외운 예시를 지우는 '청소 단계'에서 일어남을 보였다.
• Anthropic은 실제 대형 모델 Claude 3.5 Haiku가 6차원 공간의 곡면으로 '줄 안의 글자 수'를 표현해 줄바꿈 시점을 정한다는 것을 찾아냈다 — 기계적 해석가능성의 최전선이다.

쉽게 이해하기

챗GPT가 토큰 하나를 뱉을 때마다 수천억 번의 계산이 일어난다. 그 방대한 계산의 어떤 경로가 특정 지식이나 능력을 담당하는지, 왜 어떤 능력은 일정 크기 이상에서만 나타나는지 우리는 아직 확답하지 못한다. 영상은 '복잡성을 어디까지 걷어내야 모델을 진짜로 이해할 수 있을까'라는 질문을 던지고, 그 답으로 '한 층짜리 트랜스포머의 나머지 연산 그록킹'을 우리가 완전히 이해하는 가장 복잡한 사례로 꼽는다.

그록킹은 우연히 발견됐다. 2021년 OpenAI 연구진이 작은 모델에 나머지 연산을 훈련시켰는데, 처음엔 훈련 데이터만 외우고 테스트에는 형편없었다. 그런데 한 연구원이 휴가를 가며 모델을 켜둔 사이, 아주 많은 스텝이 지난 뒤 모델이 갑자기 훈련·테스트 모두에서 완벽해졌다. 하인라인 소설 속 화성어 '그록(grok, 깊이 이해해 하나가 된다)'에서 이름을 따 2022년 논문으로 발표됐다.

2023년 닐 난다 팀은 이 현상을 정밀 해부했다. 모듈러스 113의 한 층 트랜스포머를 뜯어보니, 모델은 입력을 원-핫 벡터로 받아 임베딩한 뒤 뉴런 활동에서 sin·cos 파형과 원형 구조를 만들어냈다. 아날로그 시계가 물리적으로 나머지 덧셈을 하듯, 모델도 입력의 각도를 원 위에 표현하고 있었다.

핵심은 '어떻게 x와 y를 더하느냐'였다. 모델은 cos(x)·cos(y)와 sin(x)·sin(y) 같은 곱을 계산한 뒤, cos(x)cos(y) − sin(x)sin(y) = cos(x+y)라는 삼각함수 합 공식을 사실상 학습해 나머지 덧셈을 풀었다. 훈련 데이터에는 삼각함수의 흔적이 전혀 없었는데도 말이다. 특정 뉴런은 x+y가 65가 되는 모든 입력 쌍에서 최대로 반응했다.

난다 팀은 '제외 손실'이라는 지표로, 성능이 평평해 보이는 긴 구간에도 모델이 내부적으로 sin·cos 구조를 점점 더 활용하고 있음을 드러냈다. 그록킹은 이 구조가 완성된 직후 외운 예시를 걷어내는 '청소 단계'에서 일어난다. 이런 접근을 '기계적 해석가능성(mechanistic interpretability)'이라 부른다. 영상은 끝으로 Anthropic이 Claude 3.5 Haiku에서 6차원 곡면으로 줄 안 글자 수를 표현해 줄바꿈을 정하는 메커니즘(주의 블록의 'QK 트위스트')을 찾은 최신 결과를 소개한다.

주요 인사이트

• 우리가 '완전히 이해하는 가장 복잡한 모델'조차 한 층짜리 장난감 규모라는 사실은, 대형 언어모델 해석이 아직 얼마나 초기 단계인지 보여준다.
• 모델은 인간이 시킨 방식이 아니라, 원-핫 입력만 보고도 삼각함수 항등식이라는 우아한 해법을 스스로 찾아낸다 — 성능 지표가 멈춰 보여도 내부에서는 학습이 진행된다.
• 정확도·손실이 오래 평평하면 흔히 '학습이 끝났다'고 오해하지만, '제외 손실' 같은 내부 지표를 보면 다른 결론이 나온다.
• 실제 대형 모델(Claude Haiku)에서도 줄바꿈 같은 단순 행동에 대해 6차원 곡면이라는 깨끗한 메커니즘이 발견됐다 — 다만 전체 능력에 비하면 아주 일부다.
• 카르파티의 '유령을 소환하는 일' 비유처럼, 모델 내부는 인간 언어라는 얇은 겉면 아래 낯설고 복잡한 패턴으로 이뤄져 있다.

자주 묻는 질문

관련 AI 소식