AI VIDEO BRIEFING

트랜스포머 구조 진화 2017~2026: 프리노름·RoPE·GQA·MoE로 본 LLM 내부

원조 트랜스포머의 잔차 하이웨이는 그대로 둔 채, 정규화 위치·위치 인코딩·어텐션·피드포워드 슬롯이 안정성·문맥·추론·확장이라는 네 압력 아래 어떻게 교체돼 왔는지 한 편으로 정리했다.

출처: Tales Of Tensors2026년 6월 5일AI 보조 요약

2017년 이후 트랜스포머는 어떻게 바뀌었나: 뼈대는 그대로, 부품만 교체됐다 영상 대표 이미지

핵심 메시지

2017년 트랜스포머의 실루엣(잔차 하이웨이, 어텐션·정규화·피드포워드 슬롯)은 지금도 그대로다. 바뀐 것은 각 슬롯 안의 부품이다.
정규화는 사후(post-norm)에서 사전(pre-norm)으로, 다시 평균 제거를 생략한 RMS 정규화로 옮겨가며 깊은 모델의 학습을 안정화했다.
피드포워드는 게이팅(SwiGLU)으로, 위치 정보는 회전 임베딩(RoPE)으로, 어텐션은 KV 캐시를 줄이는 GQA·MLA로 진화했다.
슬라이딩 윈도우로 '누가 누구를 볼지'를, 소프트캡·QK 노름으로 '어텐션이 얼마나 날카로울지'를 제어한다.
전문가 혼합(MoE)은 토큰마다 전체 파라미터를 쓰지 않게 해, 총 파라미터와 실제 계산량을 분리했다.

쉽게 이해하기

2017년 발표된 원조 트랜스포머는 입력 전체를 읽는 인코더와 한 토큰씩 생성하는 디코더가 크로스 어텐션으로 이어진 구조였다. 반면 오늘날의 GPT 계열은 인코더와 크로스 어텐션 다리를 잘라내고, 왼쪽만 볼 수 있는 삼각 마스크를 가진 단일 인과적 디코더 스택만 남겼다. 이렇게 단순해진 블록에서는 아래에서 위로 곧게 뻗은 잔차 연결, 즉 '하이웨이'가 뚜렷하게 드러난다.

영상의 핵심 비유는 이 하이웨이가 결코 교체되지 않는다는 점이다. 어텐션과 피드포워드는 하이웨이 위에 얹혀 있는 게 아니라 옆으로 갈라져 나가 계산한 뒤 결과를 다시 더한다. 2017년 이후 연구의 대부분은 이 뼈대가 아니라 가지(branch)를 바꾼 것이며, 그 변화는 안정성·문맥·추론·확장이라는 네 가지 압력으로 정리된다.

안정성 압력은 정규화를 옮겼다. 원래는 각 하위층의 출력에 입력을 더한 뒤 정규화(post-norm)했지만, 깊은 스택에서는 상단의 그래디언트가 지나치게 커져 학습이 불안정했다. 그래서 합을 정규화하는 대신 가지로 들어가는 입력만 정규화하는 pre-norm으로 바뀌었고(GPT-2가 채택, GPT-3가 계승), 이후 평균 제거를 생략해 더 값싼 RMS 정규화로 단순화됐다(Llama·Qwen·Gemma 등).

확장·문맥·추론 압력은 각 슬롯의 부품을 바꿨다. 피드포워드는 값 경로와 게이트 경로를 원소별로 곱하는 SwiGLU 게이팅으로, 위치 정보는 입력에 붙이던 태그에서 쿼리·키를 회전시키는 RoPE로 옮겨갔다. 자기회귀 생성에서 메모리를 잡아먹는 KV 캐시를 줄이기 위해 여러 쿼리 헤드가 K·V를 공유하는 GQA, 저장 표현 자체를 압축하는 MLA(DeepSeek) 같은 기법이 등장했다.

영상은 효율을 세 층위로 구분한다. 블록이 계산하는 내용을 바꾸는 '아키텍처'(GQA·MLA·슬라이딩 윈도우), 같은 결과를 더 빠르게 내는 '커널'(FlashAttention), 캐시를 가상 메모리처럼 관리하는 '서빙 시스템'(PagedAttention)이다. 마지막으로 전문가 혼합(MoE)은 토큰마다 소수 전문가만 활성화해 총 파라미터와 실제 계산량을 분리한다(DeepSeek V3는 6710억 파라미터 중 토큰당 370억만 활성화). 결국 트랜스포머는 교체된 게 아니라 개조됐다.

주요 인사이트

대부분의 혁신은 뼈대(잔차 하이웨이)가 아니라 슬롯 속 부품을 바꾸는 방식으로 이뤄졌다. 블록의 실루엣이 그대로 유지되는 이유는 그만큼 유연하게 개조가 가능했기 때문이다.
정규화 위치는 정리(theorem)가 아니라 경험적 공학의 영역이다. pre·post·양쪽·블록 내부 추가 등 어떤 배치도 완승하지 못했다.
RoPE는 기본값이 됐지만 긴 문맥을 스스로 해결하진 못한다. 학습 길이를 넘어서면 느린 '시계'가 이미 쓴 각도로 되돌아가 위치가 모호해지므로, theta 확대·YaRN 같은 스케일링이나 일부 층의 RoPE 제거 같은 선택이 필요하다.
효율 개선은 아키텍처·커널·서빙 세 층위가 섞여 있다. FlashAttention은 수학적으로 동일한 결과를 내는 커널 최적화일 뿐 블록 자체를 바꾸지 않는다는 점을 구분해야 한다.
MLA는 실제 배포됐지만 아직 GQA를 밀어낸 범용 기본값은 아니다. 하이브리드 선형 어텐션, 새로운 MoE 라우팅, QK 클립 등은 여전히 정착 전의 프런티어다.

자주 묻는 질문

왜 정규화를 사후(post-norm)에서 사전(pre-norm)으로 옮겼나?

post-norm은 얕은 모델에선 잘 작동하지만, 깊은 스택에서는 초기화 시 상단 층의 그래디언트가 지나치게 커져 큰 학습률을 쓰기 위험해진다. 가지로 들어가는 입력만 정규화하고 하이웨이는 건드리지 않는 pre-norm으로 바꾸면 그래디언트 흐름이 관대해져 더 깊은 네트워크와 큰 학습률이 실용적이 된다.

RMS 정규화가 층 정규화보다 수학적으로 우월한가?

아니다. 영상은 RMS 정규화가 평균 제거와 이동(shift)을 생략해 더 값싸고 종종 조금 빠른, 경험적으로 살아남은 단순화일 뿐 수학적 우위는 아니라고 설명한다.

GQA와 MLA는 무엇이 다른가?

둘 다 KV 캐시를 공략하지만 층위가 다르다. GQA는 쿼리 헤드를 그룹으로 묶어 더 적은 수의 명시적 K·V 헤드를 저장한다. MLA는 저장 표현 자체를 작은 잠재(latent) 은행으로 압축했다가 필요할 때 복원한다. GQA가 개방형 모델의 기본값에 가깝고, MLA는 DeepSeek 계열에서 쓰이는 방식이다.

MoE는 트랜스포머를 대체하는가?

아니다. 잔차 하이웨이·어텐션 블록·전체 실루엣은 그대로 남고, 피드포워드 슬롯 하나가 라우터와 다수 전문가의 연합으로 바뀌었을 뿐이다. 토큰마다 전체 파라미터를 쓰지 않게 해 총 파라미터와 활성 계산량을 분리한 것이다.

원문과 출처

이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.

YouTube 원본 영상 보기 ↗