활성화 함수 완벽 가이드: 시그모이드에서 ReLU·GELU·SwiGLU까지 딥러닝 60년
퍼셉트론의 계단 함수부터 오늘날 대형 언어 모델을 떠받치는 SwiGLU까지, 트랜스포머 속 활성화 함수 60년의 진화를 정리한다. 시그모이드의 기울기 소실·지그재그 문제, ReLU의 한계, 게이팅 관점의 통합까지 단계별로 설명한다.
핵심 내용 읽기 →
AI TOPIC
SwiGLU 최신 뉴스와 핵심 해설
SwiGLU 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
SwiGLU란? 최신 LLM이 GELU·ReLU 대신 쓰는 게이팅 활성화 함수 원리
팜(PaLM)과 라마(Llama) 같은 최신 LLM은 피드포워드 블록에서 GELU·ReLU 대신 SwiGLU를 쓴다. 게이트와 값 경로로 입력을 나눠 특징을 선택적으로 통과시키고, 너비를 8/3로 줄여 같은 연산량으로 더 낮은 손실을 얻는다. 원리와 구현, 함정을 정리했다.
핵심 내용 읽기 →