행렬 곱셈 없는 언어 모델(MatMul-free LM) 논문 해설: 3진수 가중치와 선형 순환 구조로 GPU 의존을 줄이는 시도

핵심 메시지

• 이 논문은 대형 언어 모델 안의 모든 행렬 곱셈을 없애고, 가중치를 -1·0·1 세 값으로만 제한한 3진 누적 연산으로 대체한다.
• 가중치가 세 값뿐이면 곱셈은 '더할지, 뺄지, 건너뛸지'를 고르는 선택 연산이 되어 부동소수점 곱셈이 필요 없어진다.
• 어텐션의 행렬 곱셈만 3진화하면 학습 손실이 발산해버려, 저자들은 어텐션을 병렬 학습이 가능한 선형 순환 구조로 교체했다.
• 3.7억·13억·27억 파라미터 세 지점으로 그린 스케일링 곡선은 기존 트랜스포머와 교차한다고 주장하지만, 점 세 개에서 뽑아낸 외삽이라는 약점이 있다.
• 지금의 GPU는 행렬 곱셈에 맞춰져 있어, 이 구조의 이점을 실제로 얻으려면 FPGA 같은 전용 하드웨어가 뒤따라야 한다.

쉽게 이해하기

행렬 곱셈은 합성곱 신경망이든 순환 신경망이든 트랜스포머든 오늘날 신경망 연산의 대부분을 차지한다. 그만큼 자원을 많이 먹고 전용 가속기, 즉 GPU를 요구한다. 해설자가 다룬 논문은 여기에 정면으로 질문을 던진다. 언어 모델에서 행렬 곱셈을 하나도 남기지 않고 걷어낼 수 있는가.

핵심 장치는 가중치를 -1, 0, 1 세 값으로만 제한하는 3진 양자화다. 입력값은 여전히 원하는 만큼 정밀한 실수지만, 가중치가 세 값뿐이라면 곱셈은 사실상 조건 분기가 된다. 0이면 버리고, 1이면 입력을 그대로 더하고, -1이면 부호를 뒤집어 더하면 끝이다. 결국 1인 자리의 값을 모두 합하고 -1인 자리의 합을 빼는 누적 연산만 남는다.

문제는 어텐션이었다. 앞선 연구가 밀집 층만 양자화하고 자기 어텐션은 그대로 둔 데는 이유가 있었는데, 어텐션의 행렬 곱셈까지 3진화하면 손실이 수렴하지 않고 그대로 발산해버린다. 그래서 저자들은 어텐션 자리에 순환 구조를 넣되, 은닉 상태를 갱신할 때 이전 은닉 상태에 의존하는 비선형 경로를 끊어 병렬 학습이 가능하도록 선형화했다.

결과는 참조 트랜스포머와 견줄 만한 수준이고, 모델을 키울수록 두 방식의 격차가 줄어든다. 저자들은 이 추세선을 연장해 10의 23제곱 연산량 부근에서 역전이 일어난다고 본다. 해설자는 이 대목에서 분명하게 회의를 표한다. 손실은 0 아래로 내려갈 수 없으니 스케일링 곡선은 언젠가 완만해질 수밖에 없고, 세 개의 점을 직선으로 이어 교차점을 예측하는 것은 무리라는 것이다.

그럼에도 이 방향이 흥미로운 이유는 따로 있다. 메모리 사용량이 크게 줄고 지연 시간이 짧아지므로, 설령 끝내 기존 트랜스포머의 성능을 따라잡지 못하더라도 엣지 기기 추론에서는 충분히 쓸모가 있다. 다만 그 이득을 온전히 거두려면 3진 연산에 맞춘 칩이 필요하고, 저자들이 FPGA 구현까지 만든 것도 그 때문이다.

주요 인사이트

• 양자화의 이득은 수식이 아니라 하드웨어에서 나온다. 같은 연산을 GPU에서 평범하게 구현하면 결국 곱셈으로 처리되어 이득이 거의 없고, 전용 커널이나 전용 칩까지 가야 실질적인 차이가 생긴다.
• 해설자는 논문의 핵심 아이디어인 곱셈 제거 외에 성능을 떠받치는 부수적 기법이 여럿 함께 들어가 있다고 지적한다. 그래서 성능이 어디에서 왔는지 분리하기 어렵고, 이런 경우 절제 실험이 판단의 근거가 된다.
• 은닉 상태를 갱신할 때 현재 상태를 참고하지 않고 입력만 보도록 바꾼 것은 병렬화를 얻는 대가다. 해설자는 긴 문맥에서 복잡한 추론을 해야 할 때 이 선택이 약점으로 드러날 수 있다고 본다.
• 우리가 쓰는 모델은 하드웨어에 맞춰 진화했고 하드웨어는 다시 그 모델에 맞춰 최적화됐다. 이 되먹임 구조 때문에 이론적으로 더 효율적인 아이디어도 자리를 잡기 어렵다.
• 성능이 높아질수록 같은 폭의 점수 차이를 좁히기가 훨씬 어려워진다. 격차가 줄었다는 수치를 읽을 때는 그 격차를 메우는 데 드는 비용까지 함께 봐야 한다.

자주 묻는 질문

관련 AI 소식