트랜스포머 정규화 층 원리와 DyT·DERF 대체 실험 정리

핵심 메시지

• 정규화 층은 층이 쌓이며 기울기가 폭주하거나 소실되는 문제를 막아 학습을 안정시킨다.
• 레이어 정규화는 각 토큰 벡터에서 평균을 빼고 표준편차로 나눠 값의 범위를 일정하게 유지한다.
• 여러 층·토큰을 거치며 정규화의 전체 효과는 완만한 S자형 입출력 관계로 나타난다.
• S자형 곡선이 핵심이라면 평균·분산 계산 없이 tanh 같은 원소별 함수(DyT)로 대체할 수 있다.
• tanh 기반 DyT는 물론, 오차함수 기반 DERF는 여러 과제에서 정규화 층의 성능을 오히려 뛰어넘었다.

쉽게 이해하기

트랜스포머의 어텐션 층과 전문가 혼합(MoE) 층은 모두 행렬 곱셈으로 이뤄진다. 하나의 출력 차원만 떼어 보면, 출력은 입력에 학습 가능한 가중치를 곱해 모두 더한 값이다. 역전파는 연쇄 법칙에 따라 각 가중치가 손실에 얼마나 영향을 주는지 기울기로 계산하는데, 곱셈 연산의 국소 미분이 바로 입력값이기 때문에 입력의 크기가 그대로 기울기 크기에 반영된다.

이때 일부 입력값이 다른 값보다 훨씬 크면 해당 가중치가 지나치게 큰 기울기를 받아 몇몇 가중치가 최적화를 지배하게 되고, 층이 쌓일수록 활성값이 폭주하거나 사라지며 학습이 불안정해진다. 정규화 층은 바로 이 지점에서 기울기의 균형을 맞춰 안정적인 학습을 가능하게 한다.

정규화는 활성값에서 평균을 빼고 표준편차로 나누는 연산이다. 평균과 분산을 어떤 값들의 묶음에서 구하느냐에 따라 배치 정규화, 레이어 정규화, 인스턴스 정규화, 그룹 정규화로 나뉜다. 트랜스포머에서는 보통 각 토큰의 은닉 상태를 정규화하는 레이어 정규화를 쓴다. 여기에 학습 가능한 이동(beta)·스케일(gamma) 파라미터를 더해 모델에 유연성을 준다. 최근에는 평균 빼기를 생략해 단위 구면으로 스케일링하는 RMS 정규화도 널리 쓰인다.

개별 토큰만 보면 정규화는 입력을 옮기고 늘리는 선형 관계라 직선으로 나타난다. 그러나 입력의 분산이 클수록 출력 기울기가 완만해지고, 여러 토큰과 여러 층을 종합하면 전체적으로 완만한 S자형 곡선이 나타난다. 이는 여러 과제와 층에서 공통으로 관찰된다.

그렇다면 정말 필요한 것이 S자형 곡선이라면, 평균·분산 통계를 계산하지 않고 tanh 같은 S자형 함수를 바로 쓰면 되지 않을까? 여기에 학습 가능한 기울기·스케일·이동 파라미터를 붙인 것이 동적 tanh(DyT)이며, 정규화 층을 그대로 대체하는 부품이 된다. 연구진은 tanh를 넘어 오차함수(erf) 기반의 DERF까지 탐색해 더 나은 성능을 얻었다.

주요 인사이트

• 기울기 불균형의 근원은 곱셈 연산의 국소 미분이 입력값 자체라는 점이다. 입력 스케일을 고르게 만드는 것이 곧 학습 안정성으로 이어진다.
• 정규화의 본질적 효과는 '값을 일정 범위로 압축하는 S자형 변환'으로 이해할 수 있으며, 이 관점이 대체 함수 설계의 출발점이 된다.
• DyT는 원소별 연산만으로 작동해 리덕션(합산) 연산이 필요 없어, 리덕션 비용이 큰 상황에서 더 빠르고 주변 층과 융합하기 쉽다. 다만 최적화된 컴파일러에서는 레이어 정규화도 거의 비슷하게 빠르다.
• ViT·ConvNeXt를 ImageNet에서 학습한 실험에서 DyT는 레이어 정규화와 대등하거나 더 나은 분류·생성 성능을 보였고, 언어 모델 사전학습 손실 곡선도 RMS 정규화와 거의 일치했다.
• 학습 가능한 편향 항 S를 더하면 함수 종류와 무관하게 성능이 일관되게 향상됐고, DERF는 이미지·음성·장거리 DNA 서열 과제에서 정규화 층을 능가했다. 정규화가 딥러닝의 필수 요소라는 통념에 의문을 던지는 결과다.

자주 묻는 질문

관련 AI 소식