트랜스포머 최적화 강의 정리: 그룹 쿼리 어텐션, 슬라이딩 윈도우, 전문가 혼합과 명령어 튜닝

핵심 메시지

• 생성 단계에서는 직전 쿼리만 있으면 되지만 키와 값은 전체 시퀀스를 들고 있어야 해서, KV 캐시가 GPU 메모리를 잠식하고 배치 크기를 제한해 연산 자원이 놀게 만든다.
• 그룹 쿼리 어텐션은 쿼리 수는 그대로 두고 키·값 묶음만 줄여 캐시를 아낀다. 이를 극단으로 밀어 묶음이 하나만 남으면 멀티쿼리 어텐션이 된다.
• 슬라이딩 윈도우 어텐션은 계산량을 시퀀스 길이의 제곱에서 길이×윈도 크기로 낮추지만, 대략 층 수 곱하기 윈도 크기를 넘어서면 과거를 참조하지 못한다.
• 전문가 혼합은 전체 파라미터 수와 실제 연산량을 분리한다. '30B A3B' 같은 표기는 총 300억 파라미터 가운데 토큰마다 30억만 활성화된다는 뜻이다.
• 인컨텍스트 학습과 제로샷은 파라미터를 전혀 갱신하지 않으며, 이 능력을 강화하는 후속 단계가 명령어 튜닝이라 불리는 지도 파인튜닝이다.

쉽게 이해하기

스탠퍼드 CS229 2026년 봄 학기의 이 강의는 앞선 시간에 다룬 어텐션을 이어받아, 실제 대규모 모델에서 왜 그런 변형들이 쓰이는지를 훑는다. 강의자는 이 분야가 GPU의 특성과 아키텍처 설계가 얽혀 있어 세부까지 다 다루기는 어렵다고 전제하면서, 무엇을 최적화 대상으로 삼는지에 대한 감각을 주는 데 초점을 맞췄다.

출발점은 KV 캐시다. 자기회귀 생성에서는 매 단계 직전 쿼리만 필요하지만 키와 값은 지금까지의 모든 시점을 저장해야 한다. 이 캐시가 GPU 메모리를 차지하면 한 배치에 넣을 수 있는 시퀀스 수가 줄고, 병렬성이 부족해진 GPU는 메모리를 기다리며 연산 능력을 다 쓰지 못한다. 그룹 쿼리 어텐션은 여기서 나왔다. 헤드마다 따로 두던 키·값을 여러 헤드가 공유하는 몇 개 묶음으로 줄이는 방식이고, 묶음이 하나뿐인 극단적 형태가 초기 논문의 멀티쿼리 어텐션이다. 강의자는 묶음을 지나치게 줄이면 과거 정보를 담을 그릇이 모자라진다며 균형이 필요하다고 덧붙였다.

계산량 쪽 대응이 슬라이딩 윈도우 어텐션이다. 각 쿼리가 최근 W개 위치만 참조하게 하면 비용이 길이의 제곱에서 길이×W로 떨어진다. 다만 상위 층이 최근 구간만 보더라도 그 구간의 키들이 아래층을 통해 더 이전 토큰에 의존하므로, 층을 거치며 간접적으로는 더 멀리 볼 수 있다. 그래도 대략 층 수 곱하기 윈도 크기를 넘어서면 의존성이 끊긴다는 것이 한계다. 강의자는 어텐션 점수를 정규화하는 상수로 흔히 쓰는 차원의 제곱근에 대해서도, 엄밀한 이론이라기보다 스케일을 맞추기 위한 휴리스틱이며 경험적으로 잘 동작해 자리 잡은 선택이라고 설명했다.

다음 주제는 전문가 혼합이다. 거대한 행렬 하나를 통과시키는 대신 여러 개의 작은 신경망을 두고, 라우팅 모듈이 토큰마다 그 가운데 몇 개만 골라 실행한 뒤 결과를 가중 평균한다. 라우팅은 입력을 전문가 수만큼의 차원으로 사영한 뒤 상위 몇 개를 고르는 방식이고, 선택된 가중치는 합이 1이 되도록 재정규화한다. 딥시크 계열처럼 모든 토큰이 항상 쓰는 '공유 전문가'를 따로 두는 설계도 있다. 중요한 점은 선택이 시퀀스 단위가 아니라 토큰마다, 그리고 층마다 이뤄진다는 것이다. 특정 전문가로만 쏠리면 나머지 파라미터가 메모리만 차지하고 GPU 사용도 불균형해지므로 라우팅을 고르게 만드는 정규화가 들어간다. 강의자는 시간대에 따라 활성화되는 전문가가 달라져 GPU 배분을 동적으로 바꿨다는 보고도 소개했다.

후반부는 학습이 끝난 모델을 실제 과제에 붙이는 방법으로 넘어간다. 예시 몇 개를 프롬프트에 이어 붙여 규칙을 유추하게 하는 인컨텍스트 학습, 예시 없이 과제 설명만 주는 제로샷이 그것인데, 두 경우 모두 모델 파라미터는 전혀 갱신되지 않는다. 강의자는 GPT-3 논문 당시 이 성질이 상당히 충격적이었다고 회고했다. 이전에는 회사마다 데이터를 모아 별도 모델을 학습시켜 배포해야 했지만, 이제는 하나의 범용 모델에 각자 프롬프트만 얹으면 되기 때문이다. 이 능력을 의도적으로 강화하는 단계가 명령어 튜닝으로, 지시문과 답변 쌍을 모아 지시문은 조건으로 두고 답변 토큰만 예측하도록 학습시키는 지도 파인튜닝의 한 갈래다.

주요 인사이트

• 강의에서 소개된 아키텍처 변형 대부분이 성능 이론이 아니라 GPU 메모리와 연산 특성에서 출발한다. 모델 설계와 하드웨어 제약이 사실상 한 문제로 붙어 있다는 뜻이다.
• 정규화 상수 같은 세부 선택은 엄밀히 유도되기보다 직관과 실험으로 굳어진다. 강의자는 여러 이론이 서로 다른 값을 지목하며 확실한 예측은 어렵다고 인정했다.
• 전문가의 전문화는 명시적으로 훈련되지 않고 학습 과정에서 자연스럽게 나타난다. 강제로 나눠 학습시키려는 시도는 데이터를 나눌 기준이 마땅치 않아 잘 통하지 않았다는 설명이다.
• 1조 파라미터짜리 밀집 모델은 지연시간과 서빙 비용 때문에 실제 서비스가 사실상 불가능하다. 전문가 혼합은 파라미터를 늘리면서도 서빙 비용을 묶어 두는 우회로다.
• 퓨샷·제로샷의 등장은 산업의 배포 방식을 바꿨다. 기업마다 모델을 따로 학습시키던 구조가 하나의 모델에 프롬프트와 문서를 얹는 경량 커스터마이즈로 대체됐다.

자주 묻는 질문

관련 AI 소식