딥시크 엔그램 해설 — 언어모델이 사실 지식을 계산 대신 해시 조회로 꺼내는 구조

핵심 메시지

• 어텐션은 문맥 관계를 풀어주지만 '해리가 누구인지' 같은 사실 지식은 제공하지 못한다는 데서 문제의식이 출발한다.
• 기존 트랜스포머는 순전파 신경망의 가중치 연산으로 지식을 꺼내지만, 엔그램은 토큰 조합을 해시로 색인해 임베딩 표를 직접 조회한다.
• 곱셈과 배타적 논리합을 결합한 해시로 순서 정보를 보존하고, 여덟 개의 독립 표를 함께 써서 충돌 위험을 낮춘다.
• 문맥 인지 게이팅이 조회된 기억의 관련성을 판단해, 의미 없는 토큰 조합이 은닉 상태를 오염시키지 않게 막는다.
• 매개변수를 전문가 혼합과 엔그램에 나눠 배분한 실험에서 어느 한쪽에 몰아줄 때보다 75~80% 대 20~25% 근처에서 성능이 가장 좋았다.

쉽게 이해하기

영상은 '해리가 지팡이를 떨어뜨렸다' 같은 문장을 예로 들며 시작한다. 어텐션은 대명사가 누구를 가리키는지, 무엇이 떨어졌는지는 정리해 주지만 해리가 마법사인지 가수인지 축구 선수인지는 알려주지 않는다. 문법적 해소와 의미적 근거는 다른 문제이고, 후자를 담당하는 것이 지금까지는 순전파 신경망이었다.

순전파 신경망이 지식을 다루는 방식은 질문과 답의 짝에 가깝다. 상향 투영 행렬의 각 행이 '이것은 해리 포터라는 소년인가' 같은 질문을 던지고, 활성화를 거쳐 살아남은 질문에 대응하는 하향 투영 행렬의 열들이 사실 지식으로 더해진다. 신경망을 키우면 더 세밀한 질문을 담을 수 있지만 속도와 메모리가 함께 나빠지고, 이를 완화한 것이 전문가 혼합 구조였다.

엔그램은 방향을 바꾼다. 계산으로 기억을 흉내 내는 대신 실제 조회를 하자는 것이다. 토큰 하나가 아니라 연속된 토큰 쌍까지 다루려면 표가 감당할 수 없이 커지므로 해시를 쓴다. 두 토큰 번호를 그냥 더하면 비슷한 조합이 같은 칸으로 몰리므로, 자리마다 다른 홀수를 곱한 뒤 배타적 논리합을 취하고 나머지 연산으로 색인을 만든다.

조회된 벡터를 그대로 더하면 곤란하다. 대부분의 토큰 조합은 세상 지식이 아니라 문법 구조에 가깝기 때문이다. 그래서 은닉 상태를 질의로 삼아 조회된 기억과 내적을 계산하고, 시그모이드를 통과시킨 값으로 주입량을 조절한다. 학습된 모델에서 이 문이 가장 세게 열리는 곳은 여러 토큰으로 된 고유명사였고, the나 of 같은 기능어에서는 거의 0에 가까웠다.

성능 개선의 이유도 흥미롭다. 영상은 '다이애나, 웨일스 공비'라는 표현이 누구를 가리키는지 알아내는 데 여섯 개 층이 소모되는 과정을 보여준다. 엔그램이 개체 식별을 먼저 처리해 주면 앞쪽 층들은 사실 재구성에 힘을 쓰지 않고 곧바로 추론에 들어갈 수 있고, 실제로 지식 과제뿐 아니라 일반 추론과 수학·코드 성능도 함께 올랐다.

주요 인사이트

• 조회 색인이 토큰 번호만으로 정해진다는 점이 실용적 이점을 만든다. 입력을 보는 순간 색인을 계산할 수 있어, 첫 층이 시작되기 전에 필요한 행을 미리 가져올 수 있다.
• 임베딩 표는 GPU에 있을 필요가 없다. 정적인 사실 저장은 훨씬 크고 저렴한 CPU 메모리로 옮기고 GPU는 계산에 집중하게 만드는 설계다.
• 삽입 위치를 층마다 바꿔 실험한 결과 두 번째 층이 가장 좋았다. 한 번의 어텐션만 거쳐도 게이팅이 쓸 만해지고, 그 위의 모든 층이 풍부해진 문맥을 물려받기 때문이다.
• 표 크기를 키우면 검증 손실이 매끄러운 거듭제곱 법칙을 따라 내려갔다. 계산량을 늘리지 않고도 용량을 확장할 경로가 생긴다는 의미다.
• 추론 때 엔그램 출력을 0으로 만들면 사실 지식 과제 성능은 29~44% 수준으로 무너졌지만 독해는 81~93%로 유지됐다. 기억과 추론의 역할 분담이 실제로 일어났다는 증거다.

자주 묻는 질문

관련 AI 소식