상태공간모델(SSM)과 맘바 쉽게 이해하기: 자동차 비유로 배우는 언어모델 아키텍처

핵심 메시지

• 상태공간모델(SSM)은 구와 다오가 제안한 새 아키텍처로, RNN의 순차성과 CNN의 효율을 결합해 대형 언어모델을 바꾸고 있다.
• 경주용 자동차 비유로 이해할 수 있다. 매일의 정비(입력)가 차의 상태를 바꾸고, 그 상태가 속도(출력)를 만든다.
• 핵심 방정식은 두 줄이다. 오늘의 상태 = A×어제 상태 + B×오늘 입력, 출력 = C×오늘 상태. (직접 항 D는 생략)
• 언어에 적용하면 상태는 ‘맥락’, 입력은 ‘마지막 단어’, 출력은 ‘다음 단어’가 되고, 모델은 확률 분포에서 다음 단어를 뽑는다.
• 맘바는 어텐션처럼 중요한 단어에 더 집중하고, SSM의 순환식은 합성곱으로 바꿔 매우 빠르게 계산할 수 있다.

쉽게 이해하기

발표자는 상태공간모델을 경주용 자동차로 설명한다. 우리가 차에 할 수 있는 일(정비)과 측정할 수 있는 것(속도)이 있다. 변수는 셋이다. 오늘 무엇을 할지 정하는 입력 U, 매일 바뀌는 차의 상태 H, 성능인 속도 Y다. 이를 하루씩(t → t+1) 순차적으로 다룬다.

이 관계를 네 개의 행렬(함수)이 잇는다. A는 아무것도 안 해도 매일 노후하는 마모를, B는 정비가 상태에 주는 영향을, C는 상태가 속도로 이어지는 관계를, D는 정비가 속도에 직접 주는 영향을 나타낸다. 언어모델에서는 B와 C가 D의 역할을 흡수한다고 보고 D를 생략한다. 결국 상태 h_t = A·h_{t-1} + B·x_t, 출력 y_t = C·h_t 라는 두 방정식이 남는다.

발표자는 상태 전이 행렬(예: 가스는 하루 10% 감소, 타이어는 20% 마모 등)과 제어 행렬, 관측 행렬을 구체적인 숫자 예시로 보여준다. 숫자 자체는 비현실적이지만, 행렬 곱으로 어제 상태에서 오늘 상태와 속도를 계산하는 과정을 눈으로 따라가게 한다.

언어로 넘어오면 대응이 자연스럽다. 상태는 지금 무엇을 말하고 있는지 담은 ‘맥락’ 벡터, 입력은 방금 말한 ‘마지막 단어’, 출력은 ‘다음 단어’다. 예컨대 ‘긴 목을 가진 기린’ 문장에서 맥락이 TV·야생동물·기린을 기억하고, 마지막 단어 ‘긴’이 상태를 바꿔, 모델이 다음 단어로 ‘목’에 높은 확률을 준다. 출력은 모든 단어에 대한 확률 분포이고 거기서 표본을 뽑아 다음 단어를 정한다.

맘바는 여기서 한 걸음 더 나간다. 어텐션이 더 비슷한 단어에 가중치를 주듯, 맘바는 ‘기린·동물·긴·다큐멘터리’ 같은 더 중요한 단어에 더 집중한다. 또한 SSM의 순환식을 풀어 쓰면 방향 그래프의 경로 합이 되는데, 이는 합성곱(convolution) 연산으로 표현된다. 합성곱은 빠르게 계산하는 여러 기법이 있어, SSM을 합성곱으로 쓸 수 있다는 점이 곧 효율의 원천이 된다.

주요 인사이트

• SSM은 RNN처럼 상태를 순차적으로 이어가면서도, 그 계산을 CNN의 합성곱으로 바꿔 빠르게 처리할 수 있는 ‘두 세계의 장점’을 노린 구조다.
• 언어모델의 ‘상태’는 사람이 읽기 어려운 추상 벡터로, 주제·시제·어조처럼 맥락의 특징을 수치로 담고 있다고 상상하면 이해가 쉽다.
• 행렬 A는 기억의 취사선택 장치다. 최근 언급한 것은 더 기억하고 오래된 것은 조금씩 잊게 하여, ‘다음 단어를 아직 모른 채’ 다음 상태를 추정한다.
• 맘바의 핵심 직관은 어텐션과 통한다. 모든 단어를 똑같이 취급하지 않고 중요한 단어에 더 집중함으로써 긴 시퀀스를 효율적으로 다룬다.

자주 묻는 질문

관련 AI 소식