TurboQuant 논란 정리: 구글의 KV 캐시 6배 절감 주장과 비교 기준의 함정

핵심 메시지

• TurboQuant가 내세운 '최대 8배 속도 향상'은 현업에서 거의 쓰지 않는 32비트 무압축 기준과 4비트를 견준 수치다.
• 실제 기여는 무작위 회전으로 벡터의 구조를 지운 뒤 단순한 균일 양자화를 적용하고, 남은 오차를 1비트 부호 정보로 보정해 내적의 정확도를 지키는 2단계 설계에 있다.
• 값당 3.5비트 수준에서는 품질 저하가 사실상 없고, 2.5비트까지 낮추면 성능이 조금씩 떨어지기 시작한다.
• 절감 효과는 KV 캐시에만 적용되며, 모델 가중치가 차지하는 메모리는 그대로 남는다.
• 1년 앞서 나온 유사 기법을 CPU에서 돌리고 자기 방식은 GPU에서 돌려 비교한 점 등 실험 설계의 공정성이 문제로 지적됐다.

쉽게 이해하기

구글은 몇 주 전 새로운 압축 기법 TurboQuant를 공개하며 대규모 언어 모델의 KV 캐시 메모리를 최대 6배 줄이고 최대 8배 빠르게 만들 수 있다고 밝혔다. 이 발표는 3만 8천 개가 넘는 좋아요를 모으며 크게 퍼졌고, 기존 하드웨어가 쓰던 메모리 가운데 8할 이상을 비워낼 수 있다는 해석까지 붙었다. 실제로 AI 반도체 관련 주가가 흔들리고 32기가바이트 DDR5 가격이 큰 폭으로 내려간 시점이 겹치면서, 지난해 딥시크가 엔비디아 주가에 준 충격에 비유되기도 했다.

그런데 영상은 이 홍보가 선의로만 이뤄지지 않았다고 본다. 문제의 핵심은 '8배'라는 숫자가 무엇과 비교한 값인지에 있다. 4비트 압축을 32비트 무압축과 견주면 데이터 이동량이 정확히 8분의 1로 줄어드니, 병목이 메모리 대역폭일 때 산술적으로 최선의 경우가 8배가 된다. 하지만 오늘날 실제 추론은 애초에 32비트를 쓰지 않는다. 정작 중요한 질문, 즉 '현업에서 이미 쓰는 방식보다 얼마나 나아졌는가'에 대한 답은 블로그에도 논문에도 없다.

기술 자체를 이해하려면 무엇을 압축하는지부터 봐야 한다. 트랜스포머의 어텐션에서 모든 토큰은 키 벡터로 바뀌어 값 벡터와 함께 KV 캐시에 저장되고, 새 토큰이 들어오면 이전 키들과 내적을 계산해 서로의 관련도를 정한다. 그래서 캐시는 토큰 수에 비례해 선형으로 커지고, 동시에 벡터 사이의 내적은 정확하게 유지돼야 한다. 벡터를 지나치게 압축하면 정보만 잃는 게 아니라 토큰 사이의 관계 자체가 왜곡되는데, 그것이 모델이 실제로 의지하는 값이기 때문이다.

TurboQuant는 이 어려움을 두 단계로 쪼갠다. 첫 단계는 벡터에 무작위 회전을 적용하는 것이다. 차원마다 신호의 양이 다르고 서로 상관돼 있는 구조를 회전으로 흩어 모든 좌표가 비슷한 양의 정보를 갖도록 만들면, 복잡한 압축기를 설계하지 않고도 단순한 균일 양자화만으로 최선에 가까운 결과를 얻는다. 회전은 되돌릴 수 있고 내적을 보존하므로 관계는 그대로다. 두 번째 단계는 양자화 후 남은 오차를 다시 무작위 투영한 뒤 각 성분의 부호만 1비트로 저장하는 것인데, 부호 정보만으로도 내적의 불편 추정값을 얻을 수 있어 개별 계산은 조금 틀려도 차원을 합산하면 참값 주변에 머문다.

그래서 '6배'라는 수치의 출처도 계산이 가능하다. 통상 16비트 KV 캐시를 값당 2.5비트와 비교하면 약 6.4배, 3.5비트와 비교하면 약 4.5배가 나온다. 다만 이는 KV 캐시에만 해당하고 모델 가중치 메모리는 줄지 않으며, 비교에 쓰인 기준선도 현업 구성이 아니라 최적화가 덜 된 이론적 baseline이다. 여기에 더해 1년 앞서 회전 기법을 제안하고 C++ 최적화까지 공개한 선행 연구를 파이썬으로 옮겨 멀티스레드 없이 CPU에서 돌린 뒤 자기 기법은 GPU에서 측정했다는 점, 그 선행 연구를 근거 없이 '차선'이라 일축했다는 점이 지적됐다. 논문은 ICLR 2026에 채택됐지만 한 리뷰어가 10점을 준 반면 다른 리뷰어들은 4점과 6점을 줬고, 코드도 공개되지 않았다.

주요 인사이트

• 헤드라인의 배수는 그 자체로는 정보가 없다. '무엇과 비교했는가'를 확인하지 않으면 최선의 경우 산술을 성능 향상으로 오해하게 된다.
• KV 캐시 압축의 목표는 벡터를 원본에 가깝게 복원하는 것이 아니라 벡터 사이의 내적을 지키는 것이다. 복원 오차가 작아도 내적이 흔들리면 어텐션은 다르게 작동한다.
• 구조를 정교하게 다루는 압축기를 설계하는 대신 무작위 회전으로 구조를 지워버리고 가장 단순한 방법을 쓰는 접근이 더 효과적일 수 있다.
• 메모리 절감이 곧 하드웨어 수요 감소로 이어지지는 않는다. 여유가 생기면 더 많은 토큰을 쓰게 되고, 압축은 모델을 GPU에 올리는 데 필요한 메모리 자체를 줄여주지도 않는다.
• 동일 조건 비교와 코드 공개가 없으면 외부에서 재현할 수 없고, 그 상태의 수치는 검증된 사실이 아니라 주장에 머문다.

자주 묻는 질문

관련 AI 소식