딥시크 Engram 논문 해설: 조건부 메모리로 트랜스포머 연산을 아끼는 새로운 희소성 축

핵심 메시지

• 딥시크가 어텐션·피드포워드에 이어 트랜스포머의 세 번째 구성 요소로 제안한 Engram은, 자주 등장하는 다중 토큰 패턴의 표현을 해시 조회로 즉시 꺼내 쓰는 블록이다.
• 핵심 주장은 희소성의 축이 두 개라는 것이다. 어떤 전문가 가중치를 굴릴지 고르는 조건부 연산(MoE)과, 어떤 저장된 정보를 꺼내 올지 고르는 조건부 메모리는 서로 다른 문제다.
• 조회 테이블을 키워도 토큰당 연산은 늘지 않는다. 해시 조회가 상수 시간이라 저장 파라미터만 증가하기 때문이다.
• 고정 예산 실험에서는 희소 용량의 20~25%를 MoE에서 Engram으로 옮겼을 때 손실이 가장 낮았다.
• 학습된 모델에서 Engram을 떼어내면 사실 지식과 알고리즘적 사고 과제의 성능이 최대 56%까지 떨어졌다.

쉽게 이해하기

영상이 다루는 논문은 딥시크의 「Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models」로, 해설자는 아이디어보다 교란 변수를 제거하고 기계적 분석까지 붙인 검증 방식을 먼저 칭찬한다. 출발점은 트랜스포머의 낭비다. 어텐션이 토큰 사이의 관계를 잇고 피드포워드가 그것을 특징으로 바꾸는 구조는 잘 작동하지만, 지식이 여러 토큰에 걸쳐 있을 때 모델은 그 의미를 매번 실행 시점에 다시 조립해야 한다. 예컨대 '다이애나, 웨일스의 왕세자비'라는 구절에서 모델이 마지막 토큰에 도달했을 때, 여러 층을 거쳐야 비로소 이것이 하나의 인물을 가리킨다는 표현이 만들어진다.

Engram은 이 조립 과정을 건너뛴다. 모델이 토큰 흐름을 왼쪽에서 오른쪽으로 읽으며 매 위치에서 직전 두세 토큰을 보고, 그 짧은 구절을 주소 삼아 거대한 테이블에서 벡터를 꺼낸다. 가능한 모든 구절에 한 칸씩 배정할 수는 없으므로 해싱으로 몇 개 슬롯에 대응시키는데, 흔한 패턴이면 꺼낸 벡터가 풍부한 표현을 담고 무의미한 조합이면 잡음이 된다.

그래서 세 번째 단계인 문맥 기반 게이팅이 붙는다. 해당 층의 은닉 상태를 필터로 삼아, 꺼내 온 벡터가 지금 문맥에서 말이 되는지 판단하고 아니면 신호를 약하게 만든다. 통과한 신호만 본류에 합쳐지고 트랜스포머는 하던 일을 계속한다. 이 모든 것은 별도 지도 없이 종단간 학습으로 익혀지는데, 조회가 결정론적이라 같은 패턴이 항상 같은 슬롯으로 가고 그 슬롯이 일관된 기울기를 받으며 점점 쓸모 있는 벡터가 되기 때문이다.

적용 위치도 실험으로 정했다. Engram은 모든 층에 넣는 것이 아니라 특정 층에만 끼워 넣는데, 너무 이르면 은닉 상태에 정보가 부족해 게이팅이 제 역할을 못 한다. 단일 삽입은 2번 층이 손실이 가장 낮았고, 더 복잡한 탐색에서는 2번과 6번 층에 함께 넣는 편이 나았다. 이른 개입의 이점과 후반부의 나은 문맥 판단을 함께 취한 구성이다.

해설자가 특히 주목한 대목은 기계적 분석이다. 로짓 렌즈로 각 층에서 '지금 바로 다음 토큰을 예측한다면 무엇을 고를까'를 물어 최종 예측과의 KL 발산을 비교했더니, Engram 모델이 초반 층에서부터 최종 답에 더 빨리 근접했다. CKA 유사도 지도에서도 Engram의 5번 층이 기준 MoE 모델의 12번 층 언저리와 가장 닮게 나타나, 층을 늘리지 않고도 사실상 네트워크를 깊게 만든 효과라는 해석이 나온다.

주요 인사이트

• 조건부 연산과 조건부 메모리를 분리하면 예산 배분이라는 새로운 설계 여지가 생긴다. 희소 파라미터를 전부 전문가에 몰아넣고 모든 것을 학습해 주기를 바라는 대신, 언어의 정적인 조회 부분은 메모리 경로에 맡기고 MoE는 추론에 집중시킬 수 있다는 것이다.
• 고정 연산량 실험에서 순수 MoE 모델이 가장 비효율적이었고, 활성 연산을 유지한 채 라우터 전문가 수를 줄여 용량을 Engram으로 옮길수록 개선됐다. 최적점은 20~25% 지점으로 1,100억 파라미터 모델에서 손실이 약 0.8% 낮아졌으며, 반대로 예산 제약이 없다면 테이블만 키워도 된다. 논문이 시험한 최대치인 130억 파라미터까지 확대하는 동안 손실이 계속 개선됐고 수학·코딩 능력도 함께 올라갔다.
• 제거 실험 결과가 이 블록의 비중을 보여 준다. 학습된 모델에서 Engram을 떼면 사실 지식과 알고리즘적 사고 과제에서 최대 56%까지 성능이 떨어진 반면 독해는 비교적 유지됐다. 보조 장치가 아니라 저장된 지식을 실제로 떠받치고 있었다는 뜻이다.
• 추론 비용 부담도 크지 않다. 토큰 순서가 정해지면 해시 주소가 전부 확정되므로 필요한 벡터를 미리 비동기로 가져올 수 있고, 1,000억 파라미터 규모의 테이블을 전부 CPU 메모리에 올려 두고 PCIe로 넘겨받은 실험에서 40억 파라미터 모델은 1.9%, 80억 파라미터 모델은 2.8% 처리량 저하에 그쳤다.
• 제거 실험에서 성능을 가장 크게 떨어뜨린 요소는 딥시크가 최근 내놓은 다중 브랜치 구조였다. 브랜치마다 같은 조회 결과를 다르게 걸러 얼마나 신뢰할지 따로 정할 수 있는데, 이 구조가 빠지면 브랜치가 하나뿐이라 성능이 크게 나빠졌다.

자주 묻는 질문

관련 AI 소식