DeepSeek mHC 해설: 잔차 연결·하이퍼커넥션을 넘어 안정적으로 깊은 신경망 훈련하기

핵심 메시지

• 잔차 연결(x+f(x))은 각 층이 '항등 함수'를 쉽게 학습하도록 해, 아주 깊은 신경망도 안정적으로 훈련하게 만든 핵심 장치다.
• 하이퍼커넥션(HC)은 층 사이 정보 통로를 하나가 아니라 여러 개(보통 4배)로 늘려 대역폭을 키우지만, 제약 없는 행렬 때문에 신호가 폭주할 수 있다.
• DeepSeek의 mHC는 직접 통로 행렬 H_res를 버코프 다면체(이중 확률 행렬)에 가두어, 신호 이득이 통제되도록 만든다.
• 행과 열의 합이 1이 되도록 강제하면 출력이 입력 스트림의 가중 평균이 되어, 100개가 넘는 층을 지나도 신호가 무한히 커지지 않는다.
• 270억 파라미터 실험에서 제약 없는 HC는 붕괴했지만 mHC는 표준 트랜스포머만큼 안정적이었고, BBH·DROP 같은 추론 과제에서 표준 모델을 앞섰다.

쉽게 이해하기

이 영상은 DeepSeek의 새 논문 mHC(Manifold-Constrained Hyper-Connections, 다양체 제약 하이퍼커넥션)를 잔차 연결에서부터 차근차근 쌓아 올려 설명한다. 출발점은 트랜스포머 블록의 잔차 연결이다. 블록이 f(x)만 내보내는 대신 입력 x를 다시 더해 x+f(x)를 넘기면, 데이터가 층 사이를 지나가는 '고속도로'가 생기고 기울기도 이 지름길로 안정적으로 흐른다.

왜 이것이 중요한지는 '항등 함수 학습'에서 드러난다. 깊은 신경망에 입력을 그대로 출력하도록 시키면 의외로 학습이 매우 불안정하다. 하지만 잔차 연결이 있으면 각 층이 내부 가중치를 꺼서 0을 만들고 더해진 입력만 통과시키면 되므로, 항등에 가까운 매핑을 쉽게 배울 수 있다. 층의 역할이 '신호를 새로 만드는 것'에서 '더할 정보만 배우는 것'으로 바뀐 것이다.

하이퍼커넥션은 이 고속도로를 여러 차선으로 늘린다. 토큰마다 하나의 스트림 대신 여러(예: 4개) 스트림을 흘려보내고, 학습 가능한 행렬 세 가지로 이들을 오간다. H_pre는 여러 스트림을 하나로 모아 어텐션·피드포워드에 넣고(읽기), H_post는 결과를 다시 여러 스트림으로 되돌리며(쓰기), n×n 행렬 H_res는 잔차 연결을 대신해 입력 스트림을 직접 출력으로 잇는다. 각 행렬에는 입력과 무관한 정적 가중치와 입력에 의존하는 동적 가중치가 함께 쓰인다.

문제는 이 H_res가 아무 값이나 학습할 수 있다는 데 있다. 제약이 없으면 층을 지날 때마다 신호의 크기가 조금씩 커져, 층이 100개면 출력이 처음의 수천 배로 불어난다. 논문은 원본 HC에서 신호 이득이 몇 개 층만 지나도 약 3,000배까지 폭발할 수 있다고 지적한다. 이는 곧 기울기 폭주와 훈련 붕괴로 이어진다.

mHC의 해법은 H_res를 버코프 다면체 위로 제약하는 것이다. 이중 확률 행렬은 모든 원소가 0과 1 사이이고 각 행과 열의 합이 1인 행렬로, 싱크혼-크노프 반복으로 만든다. H_pre·H_post에는 시그모이드를 적용해 값을 음이 아니게 해 스트림끼리 상쇄되는 것을 막고, 입력에는 RMS 정규화를 건다. 그 결과 출력이 입력 스트림의 가중 평균이 되어 신호가 폭주할 수 없으면서도, 고정된 단일 차선인 ResNet과 달리 스트림을 섞는 표현력은 유지된다.

주요 인사이트

• 잔차 연결의 본질은 '지름길'이 아니라, 층이 언제든 스스로를 꺼서 항등에 가까운 매핑을 만들 수 있는 안전장치라는 점이다.
• 하이퍼커넥션은 정보 대역폭을 늘리는 좋은 아이디어지만, '속도 제한'이 없으면 깊은 모델에서 오히려 불안정을 키운다.
• mHC의 핵심은 새로운 연산이 아니라, 기존 하이퍼커넥션에 이중 확률이라는 수학적 제약을 씌워 안정성과 표현력을 동시에 얻은 것이다.
• 행과 열의 합을 1로 묶는 것만으로 신호가 가중 평균이 되어 폭주가 원천 차단된다는 점이 이 제약의 우아함이다.
• 270억 파라미터 규모에서 제약 없는 HC는 붕괴하고 mHC만 살아남아 추론 벤치마크까지 끌어올린 결과는, 안정성 제약이 성능의 전제 조건임을 보여준다.

자주 묻는 질문

관련 AI 소식