정규화란? LLM 학습을 가능케 하는 RMSNorm·LayerNorm·QK-Norm 원리 해설

핵심 메시지

• 정규화는 신경망 각 층에서 활성값(activation)의 크기를 예측 가능한 수준으로 다시 스케일링하는 얇은 층으로, 깊은 LLM이 무너지지 않고 학습되게 만든다.
• 잔차 블록을 지날 때마다 활성값 크기가 조금씩 곱해져 폭주할 수 있고, 역전파의 야코비안(Jacobian)이 층마다 크게 달라져 최적화가 불안정해진다. 정규화는 이 문제를 완화한다.
• 오랫동안 정규화의 효과를 '내부 공변량 이동(internal covariate shift)' 억제로 설명했지만, 2018년 MIT 연구진의 실험은 이를 반증했다. 실제 효과는 손실 지형을 매끄럽게 만들어 더 큰 학습률로 안전하게 내려가게 하는 것이다.
• LayerNorm은 한 토큰의 특징들에 대해 평균을 빼고 표준편차로 나눈 뒤 학습 가능한 스케일·시프트를 더한다. RMSNorm은 평균 빼기와 시프트를 없애고 RMS로만 나눠, 품질은 같으면서 메모리 대역폭 부담을 줄여 더 빠르다.
• 정규화의 '무엇'(연산)과 '어디'(배치)는 별개 선택이다. Post-LN·Pre-LN·Peri-LN 배치, 어텐션 폭주를 막는 QK-Norm, 통계 없이 학습형 tanh로 대체한 Dynamic Tanh(DyT) 모두 '신호 크기를 얼마나, 어디서 통제할 것인가'라는 한 질문의 다른 답이다.

쉽게 이해하기

신경망 안의 한 토큰은 각 층에서 수백~수천 개의 활성값으로 이뤄진 벡터로 표현된다. 이 크기를 하나의 숫자로 요약한 것이 RMS(제곱평균제곱근)로, 활성값들이 0에서 얼마나 떨어져 있는지의 전형적 거리다. 잔차 블록은 들어온 벡터를 유지하며 업데이트를 더하는데, 업데이트가 같은 방향으로 절반 크기만 더해져도 출력은 1.5배가 되고 RMS도 1.5배가 된다. 이런 완만한 증가가 다섯 번만 반복돼도 RMS는 1에서 약 7.6으로 불어난다. 개별 업데이트는 크지 않았지만 깊이를 거치며 곱해져 활성값이 폭주하는 것이다.

학습은 같은 층을 거꾸로 통과하는 그래디언트를 보내는데, 이때는 순전파의 배율이 그대로 재생되지 않고 각 블록의 국소 민감도인 야코비안으로 변형된다. 어떤 블록은 그래디언트를 늘리고 어떤 블록은 줄이므로, 같은 학습률에서도 층마다 받는 그래디언트 크기가 크게 달라진다. 문제는 모든 그래디언트가 커진다는 게 아니라 역방향 경로의 조건수가 나쁘다는 것이다. 정규화는 각 지점에서 활성 벡터의 크기를 측정해 예측 가능한 값으로 되돌려, 특징 패턴은 남기되 크기가 지나치게 드리프트하기 전에 통제하고 역방향 야코비안도 더 좋은 조건으로 만든다.

그렇다면 이 얇은 층이 왜 그토록 도움이 될까. 오랫동안 교과서적 답은 '내부 공변량 이동'—학습 중 각 층 입력 분포가 계속 흔들리는 것을 정규화가 고정한다는 것—이었다. 그러나 2018년 MIT 연구진은 정규화 뒤에 일부러 노이즈를 다시 넣어 이론이 해롭다던 그 이동을 되살렸는데도 신경망이 멀쩡히 학습되는 것을 보였다. 정규화의 진짜 역할은 분포를 맞추는 것이 아니라 최적화 지형을 재구성하는 것이다. 손실 표면이 매끄러워지면 그래디언트가 더 오래 내리막을 가리켜, 학습률을 안전하게 높여 더 빨리 내려갈 수 있다.

표준 도구인 LayerNorm은 한 토큰 벡터에서 평균을 빼 0 중심으로 맞추고 표준편차로 나눠 퍼짐을 1로 만든 뒤, 학습 가능한 스케일(감마)과 시프트(베타)로 다시 조정한다. 핵심은 산술이 아니라 '축'이다. LayerNorm은 한 토큰의 특징들에 걸쳐 통계를 내므로 배치에 독립적이며, 서로 다른 길이의 시퀀스에서도 문제가 없다. 이 배치 독립성 때문에 트랜스포머가 이를 표준으로 삼았다. RMSNorm은 여기서 평균 빼기와 베타 시프트를 지우고 RMS로 나누는 재스케일링만 남긴다. 품질은 LayerNorm과 같거나 조금 낫지만, 진짜 이유는 속도다. 정규화는 연산량 자체는 미미해도 활성값을 끊임없이 읽고 쓰는 메모리 대역폭에 묶여 벽시계 시간을 꽤 잡아먹는데, 통계를 덜 계산하면 그만큼 시간을 되찾는다. 그래서 RMSNorm은 Qwen·DeepSeek·Gemma 등 대부분의 최신 모델에서 기본값이 됐다.

'어디에 두는가'는 완전히 다른 축이다. 초기 트랜스포머는 잔차 덧셈 뒤에 정규화하는 Post-LN을 썼는데, 활성값은 잘 묶이지만 초기화 시 출력층 근처 그래디언트가 커져 보통 학습률로는 발산했고, 이를 학습률 워밍업으로 달랬다. 대안은 서브층에 들어가는 입력을 정규화하고 잔차 경로는 건드리지 않는 Pre-LN으로, 초기화부터 그래디언트가 안정돼 GPT·Llama·비전 트랜스포머의 기본이 됐다. 다만 잔차 스트림이 정규화되지 않아 깊고 큰 모델에서는 크기가 자라며 불안정해지는 반대편 문제가 생긴다. 그래서 최근에는 서브층의 입력과 출력을 모두 정규화하는 Peri-LN(샌드위치·이중 정규화)으로 되돌아가는 흐름이며, Gemma 2·3이나 Grok에서 볼 수 있다. 한편 어텐션에서는 학습이 진행되며 쿼리·키 벡터의 크기가 커져 내적(로짓)이 폭주하고 소프트맥스가 한 토큰에 쏠리며 저정밀도에서 NaN으로 이어질 수 있는데, 쿼리·키를 곱하기 전에 작은 RMS 정규화를 넣어 이를 막는 것이 QK-Norm이다(OLMo 2·Gemma·Qwen 3에서 표준). 이는 가중치를 반응적으로 클리핑하는 MuonClip 계열과 같은 문제를 다른 방식으로 푸는 것이며, 쿼리·키를 실체화하지 않는 MLA(다중 헤드 잠재 어텐션, DeepSeek)에는 그대로 적용하기 어렵다. 마지막으로 학습된 LayerNorm의 입출력을 그려보면 극단값을 눌러주는 S자 곡선이 나오는데, 이 관찰에서 출발해 평균·분산 통계를 모두 없애고 학습형 스케일과 tanh만으로 대체한 것이 Dynamic Tanh(DyT)다. 결국 평균 빼기를 없애면 RMSNorm, 배치를 옮기고 복제하면 Post/Pre/Peri 배치, 최악의 신호를 겨냥하면 QK-Norm, 통계를 통째로 버리면 DyT—모두 '신호 크기를 얼마나, 어디서 통제하는가'라는 한 질문의 다른 답이다.

주요 인사이트

• 정규화의 본질은 분포 맞추기가 아니라 손실 지형을 매끄럽게 만드는 것이다. 이 관점을 잡으면 수많은 변종이 '스케일 통제'라는 하나의 목적을 공유함이 보인다.
• 활성값 폭주는 개별 업데이트가 커서가 아니라 깊이를 거치며 곱해져 누적되기 때문에 생긴다. 깊은 모델일수록 크기 통제가 필수인 이유다.
• RMSNorm이 이긴 진짜 이유는 정확도가 아니라 속도다. 정규화는 계산이 아니라 메모리 대역폭에 묶이므로, 통계를 줄이면 수백 층·수조 토큰 규모에서 실제 시간이 크게 절약된다.
• 정규화의 '연산 종류'와 '배치 위치'는 독립적 선택이며 이를 혼동하는 것이 가장 흔한 오해다. Post-LN의 워밍업 의존과 Pre-LN의 잔차 스트림 팽창은 정반대 실패 모드다.
• 안정성과 성능은 공짜가 아니다. QK-Norm은 로짓 폭주를 막지만 특정 검색(건초더미 속 바늘) 과제에서 성능이 떨어질 수 있는 정직한 트레이드오프가 있고, Peri-LN도 정규화 한 번의 추가 비용을 치른다.

자주 묻는 질문

관련 AI 소식