현대 LLM 아키텍처 비교 가이드 — GQA·MLA·슬라이딩 윈도우로 보는 트랜스포머 모델 50선

핵심 메시지

• 최근 LLM들은 겉모습이 대부분 비슷한 트랜스포머이며, 차이는 주로 ‘KV 캐시를 어떻게 줄이느냐’의 어텐션 방식에서 갈린다.
• 그룹 쿼리 어텐션(GQA)은 여러 쿼리가 키·값을 공유해 캐시 크기를 줄이고, 다중 헤드 잠재 어텐션(MLA)은 키·값을 압축해 저장한다.
• 슬라이딩 윈도우 어텐션과 딥시크 희소 어텐션은 과거 토큰을 보는 범위를 제한해 메모리를 더 아낀다.
• Qwen3-Next, 네모트론 나노처럼 선형 어텐션·맘바 계층을 섞은 하이브리드 구조가 등장해 긴 문맥을 싸게 처리한다.
• 라쉬카는 이 모든 구조를 손으로 그려 무료 갤러리 사이트로 공개하고 모델끼리 나란히 비교할 수 있게 했다.

쉽게 이해하기

머신러닝 교육자 세바스찬 라쉬카는 지난 1~2년간 자신의 글과 게시물에서 다룬 50여 개의 대형언어모델(LLM) 구조를 한 페이지에 모은 ‘아키텍처 갤러리’를 만들었다. 각 모델의 그림은 자동화 도구가 아니라 그가 설정 파일과 기술 보고서, 실제 코드를 직접 읽고 손으로 그린 것이다.

갤러리에서는 어텐션 방식, 문맥 길이, 라이선스 같은 정보를 펼쳐 볼 수 있고, 두 모델을 골라 나란히 비교하면 무엇이 같고 무엇이 다른지 보여 준다. 예컨대 딥시크 v3와 v3.2는 거의 같지만 후자가 희소 어텐션을 추가했다는 식이다.

그가 강조하는 핵심은 최근 모델들이 GPT-2에서 파생된 비슷한 트랜스포머라는 점이다. 진짜 차이는 추론 시 메모리를 잡아먹는 KV 캐시를 줄이려는 여러 어텐션 변형에서 나타난다. 키·값을 공유하는 그룹 쿼리 어텐션(GQA), 키·값을 압축해 저장하는 다중 헤드 잠재 어텐션(MLA)이 대표적이다.

보는 범위 자체를 줄이는 방법도 있다. 슬라이딩 윈도우 어텐션은 과거 일정 구간만 보게 하고, 젬마는 다섯 개의 윈도우 계층마다 한 번씩 전체를 보는 5:1 구성을 쓴다. 딥시크 희소 어텐션은 여기서 한발 더 나아가 어떤 과거 토큰을 볼지 학습으로 고른다.

최근에는 일반 어텐션 대신 선형 어텐션이나 맘바 계열 상태공간 계층을 섞는 하이브리드 구조가 늘고 있다. Qwen3-Next가 대표적이며, 엔비디아 네모트론 나노는 맘바 계층을 많이 넣어 최대 100만 토큰 문맥을 합리적인 비용으로 지원한다.

주요 인사이트

• 모델 성능을 좌우하는 ‘비밀’보다, 같은 트랜스포머를 더 싸게 굴리려는 메모리 절약 기법들이 최근 구조 경쟁의 실제 무대다.
• GQA는 구현이 간단하지만 MLA가 같은 압축률에서 성능을 더 잘 보존한다. 다만 MLA는 학습 튜닝이 까다로워 보통 큰 모델에서야 이점이 뚜렷해진다.
• 인도의 모델이 30B에는 GQA를, 105B에는 MLA를 쓴 사례처럼, 어텐션 선택은 모델 크기에 맞춰 의도적으로 조정되는 하이퍼파라미터다.
• 에이전트형 응용이 늘며 문맥이 길어지자 KV 캐시 절감이 구조 설계의 일순위 동기가 됐다.
• 흩어져 있던 정보를 한 갤러리에 모아 비교 가능하게 만든 것 자체가, 빠르게 쏟아지는 모델들을 따라잡는 실용적 학습 도구가 된다.

자주 묻는 질문

관련 AI 소식