활성화 함수 완벽 가이드: 시그모이드에서 ReLU·GELU·SwiGLU까지 딥러닝 60년

핵심 메시지

• 활성화 함수는 신경망에 비선형 표현력을 부여하는, 겉보기엔 단순하지만 가장 결정적인 설계 선택이다.
• 시그모이드는 미분 가능성과 값 안정화를 줬지만 출력이 모두 양수라 생기는 지그재그 문제와, 포화 구간에서의 기울기 소실 문제를 안고 있었다.
• ReLU는 계산이 값싸고 기울기 소실을 완화했지만 '죽은 ReLU' 문제를 낳았고, Leaky ReLU와 Parametric ReLU가 이를 보완했다.
• Swish(SiLU)와 GELU는 0에서의 하드 컷오프 대신 부드러운 게이팅으로 신호의 통과량을 값마다 조절한다.
• 오늘날 최신 LLM 대부분은 SwiGLU를 사용하며, 게이트 행렬이 늘어나는 만큼 은닉 차원을 줄여 파라미터 수를 맞춘다. Squared ReLU도 유력한 대안으로 떠올랐다.

쉽게 이해하기

모든 트랜스포머 안에는 겉보기엔 밋밋해 보이는 피드포워드 네트워크(FFN)가 있고, 그 안에 딥러닝에서 가장 단순하면서도 파급력이 큰 선택인 활성화 함수가 숨어 있다. FFN은 입력에 가중합을 구해 사전 활성화 벡터를 만들고, 여기에 비선형 함수를 차원마다 적용한 뒤, 다시 선형 결합으로 출력을 낸다. 어떤 활성화 함수를 쓰느냐가 신경망이 무엇을 배울 수 있는지를 좌우한다.

활성화 함수의 탐구는 신경망 초창기부터 시작됐다. 1958년 로젠블랫의 퍼셉트론은 켜짐/꺼짐을 순간적으로 가르는 계단 함수를 썼지만 미분이 불가능해 경사 기반 학습과 맞지 않았다. 1986년 럼멜하트·힌턴·윌리엄스의 역전파 논문이 이 문제를 S자 곡선인 시그모이드로 바꿔, 미분 가능성과 값을 눌러 담는 안정화 효과를 동시에 얻었다.

그러나 시그모이드에는 두 가지 큰 약점이 있었다. 출력이 모두 양수여서 한 층의 모든 가중치 기울기가 같은 부호를 갖게 되고, 그 결과 최적점을 향해 곧장 가지 못하고 지그재그로 도는 비효율이 생긴다. 또한 입력이 크게 양수·음수로 갈수록 미분값이 지수적으로 0에 가까워져, 깊은 망에서 층을 거칠수록 기울기가 사실상 사라지는 기울기 소실이 발생한다.

이를 고치려는 흐름이 이어진다. 출력을 0 중심으로 옮긴 tanh는 지그재그를 해결하지만 포화로 인한 기울기 소실은 그대로 남는다. 유계 함수를 무계 함수로 바꾼 ReLU는 계산이 싸고 양수 구간에서 기울기가 살아 있어 소실을 완화하지만, 입력이 늘 음수인 뉴런이 영영 학습을 멈추는 '죽은 ReLU' 문제가 있다. 음수에도 작은 기울기를 주는 Leaky ReLU와, 그 기울기를 학습 대상으로 삼는 Parametric ReLU가 대응책으로 등장한다.

더 깊은 원리는 '콘텐츠 × 게이트' 관점이다. 입력을 그대로 흘리는 콘텐츠에, 얼마나 통과시킬지 정하는 게이트를 곱한다고 보면, ReLU의 딱딱한 문턱을 부드러운 게이트로 바꾼 것이 Swish(SiLU, 시그모이드 게이트)와 GELU(가우스 누적분포 게이트)다. 게이트를 학습형 행렬로 일반화하면 GLU 계열이 되고, Swish 게이트를 쓴 SwiGLU가 오늘날 대형 언어 모델 대부분에 쓰인다. 콘텐츠와 게이트를 같은 ReLU 출력으로 공유하면 제곱이 되는 Squared ReLU는 추가 파라미터 없이 비슷한 효과를 내는 대안으로 주목받는다.

주요 인사이트

• 몇 줄 코드에 불과한 활성화 함수 하나가 신경망이 배울 수 있는 것 전체의 한계를 정한다 — 60년 연구가 이 작은 함수에 모인 이유다.
• 출력을 0 중심으로 만들면(예: tanh) 가중치 기울기가 다양한 방향을 가질 수 있어 지그재그 최적화가 풀린다.
• 기울기 소실의 뿌리는 유계 함수의 포화다. 무계 함수인 ReLU가 양수 구간에서 강한 기울기를 유지해 정보 흐름을 살린다.
• 콘텐츠와 게이트라는 하나의 틀로 ReLU·Swish·GELU·GLU를 통합해 볼 수 있고, 게이트를 부드럽게·학습형으로 만들수록 표현력이 커진다.
• SwiGLU는 값·게이트·출력 세 행렬을 쓰므로, 은닉 차원을 2K/3배(K=4일 때 8/3)로 줄여야 표준 2층 MLP와 파라미터 수가 같아진다.

자주 묻는 질문

관련 AI 소식