LLM 아키텍처 정리: RMS놈·RoPE·SwiGLU가 표준이 된 이유와 학습 안정화 기법

핵심 메시지

• 2017년 바닐라 트랜스포머 이후 모델마다 제각각이던 설계 선택이 라마 공개를 기점으로 거의 하나의 표준으로 수렴했다.
• 정규화는 어텐션 뒤가 아니라 앞에 두는 프리놈이 기본이 되었고, 레이어놈 대신 평균·표준편차 계산을 생략한 RMS놈이 널리 쓰인다.
• 위치 정보는 입력에 더하는 절대 위치 임베딩 대신, 쿼리와 키를 회전시켜 상대 거리를 보존하는 RoPE 방식으로 바뀌었다.
• 활성함수는 ReLU에서 게이트가 붙은 SwiGLU로 옮겨갔지만, 왜 더 잘 되는지는 논문 저자들도 실험 결과로만 설명한다.
• 대규모 학습에서는 성능만큼이나 안정성이 중요해, 소프트맥스 계산을 안전하게 만드는 여러 기법이 사실상 기본 설정으로 들어간다.

쉽게 이해하기

이 강의는 대규모 언어모델의 내부 구조를 다루는 대학 강의의 한 회차로, 메타가 공개한 라마 계열 모델이 채택한 설계 선택을 기준으로 현대 트랜스포머의 모습을 정리한다. 강사는 여러 모델의 설정을 정리한 비교표를 보여주며, 라마 이전에는 정규화 위치나 활성함수 같은 항목이 모델마다 제각각이었지만 라마 아래로는 설정이 눈에 띄게 수렴한다고 설명한다. 뒤이어 등장한 모델들이 라마의 조합을 출발점으로 삼아 일부만 손보는 식으로 만들어졌다는 뜻이다.

첫 번째 수렴 지점은 정규화다. 원래 트랜스포머는 어텐션과 덧셈을 마친 뒤 레이어 정규화를 넣는 포스트놈 구조였지만, 지금은 어텐션과 피드포워드 앞에 정규화를 두는 프리놈이 표준이다. 잔차 연결의 목적이 기울기를 처음부터 끝까지 잘 흐르게 하는 것인데, 포스트놈은 그 경로에 정규화를 끼워 넣어 효과를 희석시키기 때문이다. 실제로 층이 깊어질수록 기울기 기댓값이 커지는 포스트놈과 달리 프리놈은 비슷한 값을 유지하고, 학습 중 기울기가 튀는 현상도 완화된다.

두 번째는 레이어놈을 RMS놈으로 바꾸는 선택이다. RMS놈은 평균과 표준편차를 구하지 않고 제곱평균제곱근으로만 나누기 때문에 연산과 파라미터가 줄어든다. 여기서 강사가 강조하는 점은 계산량만 보면 정규화가 전체 연산의 0.2% 남짓이라 무의미해 보이지만, 메모리 입출력까지 고려하면 실제 실행 시간에서 정규화가 차지하는 비중이 25% 수준까지 올라간다는 것이다. 성능 차이가 크지 않은데 실행 시간을 크게 줄일 수 있으니 바꾸지 않을 이유가 없다는 결론이다.

위치 정보 처리도 크게 달라졌다. 사인·코사인으로 절대 위치를 만들어 입력 임베딩에 더하는 방식 대신, 토큰 사이의 상대 거리를 반영하는 방향이 성능에 유리하지만 상대 위치를 어텐션에 바이어스로 더하는 방식은 추론 시 KV 캐싱과 잘 맞지 않는다. 2021년 제안된 회전 위치 임베딩은 쿼리와 키 벡터를 위치 인덱스만큼 회전시켜, 앞에 어떤 문장이 붙어도 두 토큰 사이의 각도가 그대로 유지되게 만든다. 구현은 벡터를 두 차원씩 묶어 각 묶음마다 다른 각도로 회전행렬을 곱하는 형태다.

강의 후반부는 하이퍼파라미터와 학습 안정성으로 이어진다. 피드포워드 폭은 모델 차원의 4배가 관례이고 게이트 계열 활성함수를 쓰면 파라미터 수를 맞추려 3분의 2로 줄여 약 2.6배가 되며, 이 값들은 스케일링 법칙 논문의 실험에서 성능이 평평한 구간 안에 들어온다. 반대로 드롭아웃 같은 정규화는 잘 쓰지 않는데, 데이터가 워낙 많고 보통 한 번만 학습하기 때문이다. 다만 웨이트 디케이는 과적합 억제보다 최적화 역학을 다듬는 효과 때문에 남아 있다는 해석이 소개된다.

주요 인사이트

• 설계 선택의 근거가 '이론적으로 옳아서'가 아니라 '실험적으로 잘 되어서'인 경우가 많다. SwiGLU를 제안한 논문조차 결론에서 왜 잘 되는지 모르겠다고 농담처럼 적었다는 점을 강사가 직접 인용한다.
• 연산량(FLOPs)만으로 비용을 판단하면 잘못된 결론에 이른다. 어텐션은 계산 밀도가 높은 반면 정규화나 덧셈은 계산은 적어도 메모리와의 통신이 많아 실제 실행 시간을 잡아먹는다.
• 바이어스 항을 빼는 최근 관행도 같은 맥락이다. 층이 아주 많아지면 절편 없이도 표현이 가능하고, 메모리와 최적화 안정성 측면에서 이득이 있다는 설명이다.
• 웨이트 디케이가 잘 작동하는 이유로 강의는 손실 지형을 매끄럽게 만든다는 해석, 낮은 정밀도 학습에서 더 강건해진다는 관찰, 그리고 과적합 이후에 일반화가 뒤늦게 일어나는 '그로킹' 현상과의 연관을 함께 소개한다.
• 수천 대 규모로 학습하는 상황에서는 손실이 발산해 체크포인트로 되돌아가는 것 자체가 큰 낭비다. 그래서 소프트맥스에서 최댓값을 빼는 세이프 소프트맥스, 로그섬익스포넨셜, z-loss, QK 정규화, 로짓 소프트 캡핑 같은 기법이 성능이 아니라 안정성을 위해 들어간다.

자주 묻는 질문

관련 AI 소식