신경망 특징 학습 이론 정리: 뉴런이 클래스 중심으로 정렬되는 단계와 적대적 강건성의 관계

핵심 메시지

• 딥러닝이 잘 작동하는 이유를 설명하려던 신경 접선 커널(NTK) 이론은 수학적으로는 깔끔하지만, 가중치가 사실상 움직이지 않는 영역을 가정한다. 즉 아무것도 학습하지 않는 상태여서 실제와 거리가 멀다.
• 발표는 가중치가 실제로 움직이는 '특징 학습 영역'을 다룬다. 두 층짜리 ReLU 신경망에 한정하면, 학습이 정렬 단계와 수렴 단계라는 두 국면으로 뚜렷하게 나뉜다는 것을 증명할 수 있다.
• 첫 단계에서 뉴런의 크기는 거의 변하지 않고 방향만 각 클래스의 평균 쪽으로 모인다. 손실도 이 구간에서는 거의 줄지 않는다. 정렬이 끝난 뒤에야 크기가 커지면서 손실이 1/t 속도로 떨어진다.
• ReLU 신경망은 클래스 평균만 학습하기 때문에 적대적 공격에 약하다. 비선형성을 p제곱 형태로 바꿔 p를 2보다 크게 하면 뉴런이 클러스터 중심마다 하나씩 모이고, 강건성이 크게 개선된다.
• 발표자가 반복해 강조한 결론은 성능의 원천이 알고리즘이나 구조만이 아니라 데이터의 구조에 있다는 것이다. 신경망은 데이터에 이미 있던 구조를 발견해 내는 쪽에 가깝다.

쉽게 이해하기

펜실베이니아대의 AI·과학 세미나 시리즈에서 르네 비달 교수가 '신경망은 도대체 무엇을 학습하는가'라는 오래된 질문을 다뤘다. 그는 존스홉킨스대를 거쳐 2년 전 펜실베이니아대에 합류했고 현재 이 대학의 AI 전략을 이끄는 위치에 있다. 발표는 실제 뇌와의 비교가 아니라 인공 신경망의 활성값만 순수하게 수학적으로 분석하는 연구다.

출발점은 관측된 현상이다. 신경망을 학습시키면 층이 올라갈수록 의미가 비슷한 입력들이 표현 공간에서 서로 가까이 모이는 '붕괴(collapse)' 현상이 나타나는데, 이미지 분류기에서도 언어모델의 잠재 표현에서도 같은 패턴이 관찰된다. 이 질문이 어려운 이유는 큰 신경망에는 손실을 0으로 만드는 해가 하나가 아니라 사실상 무한히 많고, 초기화와 확률성에 따라 서로 다른 해에 도달하는데도 그중 상당수가 실제로 쓸모 있고 구조적이기 때문이다. 비달 교수는 이를 설명하려면 신경망이 무엇으로 수렴하는지가 아니라, 학습된 특징이 데이터 구조와 어떻게 연결되는지를 봐야 한다고 정리했다.

그의 연구팀이 다룬 설정은 의도적으로 단순하다. 두 개의 클래스, 서로 잘 분리된 데이터, 아주 작은 값으로 무작위 초기화된 두 층짜리 ReLU 신경망이다. 여기서 경사 흐름을 돌리면 무작위로 흩어져 있던 뉴런의 방향이 두 개의 클래스 평균 쪽으로 모여든다. 클래스 중심이 일종의 끌개 역할을 하는 셈이다. 한편 어느 쪽과도 양의 내적을 갖지 못한 뉴런은 기울기가 0이 되어 그대로 멈추는데, 이것이 이른바 죽은 뉴런이다.

증명의 핵심 아이디어는 극좌표 변환이다. 뉴런의 크기와 각도를 분리해 미분방정식을 쓰면, 뉴런들을 서로 얽히게 만드는 결합 항이 초기화 규모에 비례한다는 사실이 드러난다. 초기화를 아주 작게 잡으면 이 결합이 무시할 만해져 뉴런들이 서로 독립적으로 움직이고, 그래서 분석이 가능해진다. 정렬이 끝나면 학습 데이터를 유한 시간 안에 완벽히 분류하게 되고, 최종 분류기는 양의 클래스 중심과의 내적에서 음의 클래스 중심과의 내적을 뺀 형태로 단순해진다.

발표 후반부는 이 이론이 적대적 강건성으로 이어지는 대목이다. 정지 표지판 이미지에 사람 눈에 보이지 않는 작은 잡음을 얹었더니 정확도가 95%에서 1% 아래로 떨어지는 현상은 잘 알려져 있다. 비달 교수는 데이터를 클래스마다 여러 개의 가우시안 클러스터로 놓고 보면, ReLU 신경망이 클러스터가 아니라 클래스 전체의 평균만 학습하기 때문에 취약해진다는 것을 보였다. 비선형성을 p제곱 ReLU로 바꾸고 p를 2보다 크게 하면 뉴런이 클러스터 중심마다 따로 모이고, 이때 훨씬 큰 교란에도 정확도가 유지된다.

주요 인사이트

• 정렬과 수렴이라는 두 단계 구분은 학습 곡선을 읽는 방식을 바꾼다. 손실이 한동안 꿈쩍하지 않는 초반 구간은 아무 일도 일어나지 않는 시간이 아니라, 뉴런의 방향이 정리되는 필수 준비 단계라는 뜻이다.
• 무작위 초기화가 필요한 이유도 이 관점에서 설명된다. 클래스 중심이 끌개 역할을 하므로, 초기 방향이 충분히 다양해야 데이터가 놓인 방향을 붙잡는 뉴런이 확보된다. 전부 죽은 뉴런 영역에서 시작하면 정렬 자체가 일어나지 않는다.
• p제곱 ReLU에서 p가 2를 넘어야 하는 이유는 대칭성 때문이다. 지수가 낮으면 두 클러스터 사이에 있던 뉴런이 정확히 중간에 머무르지만, 지수를 키우면 가까운 클러스터 쪽으로 끌려가는 비대칭이 생긴다.
• 일반화 성능만 보면 두 방식의 차이가 드러나지 않는다. 공격이 없는 조건에서는 둘 다 잘 맞히고, 차이는 적대적 상황에서만 나타난다. 강건성을 목표로 삼지 않으면 이 차이를 놓치기 쉽다는 뜻이다.
• 이론이 실무보다 한참 뒤처져 있다는 점을 발표자 스스로 인정했다. 증명은 두 층 신경망과 강한 데이터 가정 위에서만 성립하고, 큰 학습률의 경사하강법에서는 성질이 다른 미분방정식이 나와 결론이 그대로 이어지지 않는다.

자주 묻는 질문

관련 AI 소식