맘바 vs 트랜스포머 비교: 선택적 상태공간 모델이 어텐션의 이차 비용을 없애는 원리

핵심 메시지

• 트랜스포머는 모든 토큰을 서로 비교하는 어텐션 격자를 만들기 때문에, 문장 길이가 두 배가 되면 계산량은 네 배로 늘어난다.
• 상태공간 모델은 격자를 아예 만들지 않고 고정 크기의 상태 하나에 토큰을 차례로 접어 넣어 비용을 길이에 비례하도록 낮춘다.
• 갱신식이 선형이라 생성할 때는 한 스텝씩, 학습할 때는 하나의 합성곱으로 펼쳐 병렬 처리할 수 있다.
• 초기 상태공간 모델은 모든 토큰을 같은 규칙으로 섞어 중요한 단어와 군더더기를 구분하지 못했고, 맘바는 갱신 파라미터를 입력의 함수로 만들어 이 문제를 풀었다.
• 고정 크기 상태는 손실 있는 요약이라 정확한 회상에 약하고, 그래서 2026년의 강한 모델들은 순수 맘바가 아니라 어텐션을 소수 섞은 하이브리드다.

쉽게 이해하기

트랜스포머가 문장을 읽는 방식은 격자를 만드는 일에 가깝다. 각 토큰이 다른 모든 토큰과 자신을 비교하고, 그 비교 결과가 어텐션 행렬이 된다. 이 격자는 트랜스포머의 강점이자 비용이다. 토큰 수를 두 배로 늘리면 격자는 두 배가 아니라 네 배로 커지고, 계산량은 길이의 제곱에 비례해 불어난다.

여기서 나온 질문이 '애초에 격자를 만들지 않으면 어떨까'다. 모든 토큰을 남겨 두고 비교하는 대신, 흐르는 상태 하나만 들고 가는 방식이다. 토큰이 도착할 때마다 그 상태에 접어 넣고 지나가면, 상태는 지금까지 본 모든 것의 고정 크기 요약이 된다. 새 상태는 이전 상태에 하나의 행렬을 곱한 값과 새 입력에 다른 행렬을 곱한 값을 더해 구하고, 출력은 상태에 또 다른 행렬을 곱해 얻는다.

핵심은 상태가 커지지 않는다는 점이다. 토큰마다 작은 갱신 한 번이면 되므로 비용이 길이의 제곱이 아니라 길이에 비례한다. 이것이 상태공간 모델이다. 언뜻 이런 점화식은 순차적으로만 계산할 수 있어 보이지만, 갱신이 선형이기 때문에 전체를 하나의 합성곱으로 펼칠 수 있다. 덕분에 생성할 때는 값싼 한 스텝씩, 학습할 때는 전체를 병렬로 처리하는 두 얼굴을 함께 갖는다.

문제는 이 모델들이 오랫동안 트랜스포머에 밀렸던 이유에 있다. 갱신에 쓰는 값들이 매 스텝 동일하면 상태는 모든 토큰을 똑같이 취급한다. 어떤 단어가 중요하고 어떤 단어가 군더더기인지 구분하지 못한 채 고정된 규칙으로 전부 섞어 버린다는 뜻이다.

맘바는 여기에 한 가지 변화를 준다. 입력에 곱해지는 값들과 스텝 크기를 입력 자체의 함수로 만든 것이다. 그러면 토큰마다 스스로 문을 여닫는다. 상태에 얼마나 많이 써넣을지, 과거를 얼마나 남길지를 각자 정하기 때문에 중요한 토큰은 크게 기록되고 군더더기는 거의 흔적을 남기지 않는다. 이것이 선택적 스캔이고, 맘바는 결국 선택적 상태공간 모델이다.

대가도 분명하다. 어텐션은 모든 토큰을 그대로 보관하므로 4000번째 토큰을 정확히 되짚어 복사할 수 있지만, 고정 크기 상태는 손실 있는 요약이라 정확한 회상이 약점이다. 그래서 2026년 현재 가장 강한 모델들은 순수 맘바가 아니라 값싼 선형 계층을 대부분 쓰고 정확히 되돌아봐야 하는 순간을 위해 어텐션 계층을 소수만 끼워 넣은 하이브리드다. 애초에 문제는 어느 쪽이 이기느냐가 아니라, 제곱의 비용을 어디에 쓰고 어디를 요약으로 대체할 것인가였다.

주요 인사이트

• 이차 비용은 성능의 대가가 아니라 설계 선택이다. 모든 쌍을 비교하는 격자를 유지하기로 한 순간 길이 제곱의 계산과 계속 커지는 캐시가 따라붙는다.
• 선형 점화식이라는 제약이 오히려 자유를 준다. 갱신이 선형이기 때문에 같은 모델을 순차 생성용과 병렬 학습용 두 형태로 자유롭게 바꿔 쓸 수 있다.
• 맘바의 혁신은 구조가 아니라 입력 의존성이다. 고정된 갱신 규칙을 입력에 따라 달라지게 만든 것만으로 '무엇을 기억하고 무엇을 흘려보낼지' 판단이 모델 안으로 들어왔다.
• 고정 크기 요약과 완전한 기록은 서로 다른 실패 방식을 갖는다. 요약은 정확한 인용에 약하고 기록은 비용에 약해서, 어느 한쪽만 고르면 반드시 대가를 치른다.
• 실무의 답은 절충이다. 대부분의 계층을 값싼 선형 연산으로 두고 꼭 필요한 지점에만 어텐션을 배치하는 하이브리드가 비용과 정확도의 균형점으로 자리 잡았다.

자주 묻는 질문

관련 AI 소식