인공신경망 쉬운 설명: 로지스틱 회귀, 은닉층, 경사하강으로 이해하기

핵심 메시지

• 신경망은 입력·은닉층·출력 노드로 구성되며, 영상은 혈액 PSA 수치로 전립선암 여부를 예측하는 예제로 이를 설명한다.
• 은닉층이 없고 시그모이드 활성화 함수를 쓰는 단순 신경망은 로지스틱 회귀와 수학적으로 동일하다.
• 가중치는 비용 함수(최소제곱 또는 최대우도)를 최소화하도록 학습되며, 경사하강으로 오차를 줄여 나간다.
• 경사하강은 초기 추정값에 따라 지역 최소값에 갇힐 수 있어, 여러 초기값을 시도해 전역 최소값을 찾는 것이 중요하다.
• 은닉층은 S자 곡선으로는 불가능한 비선형 패턴까지 분류하게 해 주며, 예제에서는 은닉층 덕분에 100% 정확도를 달성한다.

쉽게 이해하기

영상은 인공신경망을 아주 단순한 예제로 소개한다. 입력 노드, 은닉층, 출력 노드로 이뤄진 신경망을 이용해, 나이와 혈중 PSA(전립선 특이항원) 농도, MRI 점수 같은 측정값으로 전립선암 여부를 예측하는 상황을 가정한다. 설명을 쉽게 하려고 처음에는 입력을 PSA 하나로 두고 은닉층 없이 출력 노드 두 개(암/건강)만 두는 가장 단순한 구조를 쓴다.

이 단순 신경망은 시그모이드(로지스틱) 활성화 함수를 사용한다. 입력값에 가중치를 곱하고 편향을 더한 뒤 시그모이드를 통과시키면 0과 1 사이의 값이 나오고, 이는 암일 확률로 해석된다. 흥미롭게도 이렇게 구성한 신경망은 로지스틱 회귀와 완전히 같은 결과를 낸다. 편향은 회귀의 절편에, 가중치는 회귀 계수에 대응한다.

학습은 가중치를 조정해 곡선이 데이터에 가장 가깝게 맞도록 하는 과정이다. 영상은 이해하기 쉬운 최소제곱법을 예로 든다. 각 관측값과 곡선의 차이(잔차)를 제곱해 모두 더한 값을 최소화하며, 편향을 바꾸면 곡선이 좌우로 움직여 오차 합이 달라진다. 오차 합이 가장 낮아지는 가중치가 최적값이다.

최적값은 경사하강으로 찾는다. 초기 추정값에서 출발해 오차가 가장 가파르게 줄어드는 방향으로 조금씩 내려간다. 다만 복잡한 신경망의 오차 함수에는 여러 지역 최소값이 있어, 초기값을 잘못 잡으면 전역 최소값 대신 지역 최소값에 멈춰 나쁜 적합에 이를 수 있다. 그래서 대부분의 소프트웨어는 가중치를 무작위로 초기화하고 여러 번 학습해 가장 오차가 낮은 결과를 고른다.

은닉층의 진짜 힘은 비선형 데이터에서 드러난다. 예컨대 건강한 사람은 단백질 수치가 중간이고 암 환자는 낮거나 높은 데이터라면, S자 곡선 하나로는 제대로 분류할 수 없다. 은닉층을 하나 더하면 이런 모양의 곡선을 만들어 낼 수 있고, 영상의 예제에서는 은닉층을 넣은 신경망이 모든 사례를 100% 정확도로 분류한다. 영상은 마지막으로 신경망과 로지스틱 회귀의 용어를 대응시키고, R의 neuralnet 패키지 코드로 결과를 재현하는 법을 보여 준다.

주요 인사이트

• 은닉층 없는 시그모이드 신경망이 로지스틱 회귀와 동일하다는 사실은, 신경망을 익숙한 통계 모델의 확장으로 바라보게 해 준다.
• 가중치·편향 학습은 결국 잔차 제곱합(또는 음의 로그우도)을 최소화하는 최적화 문제로, 통계의 모수 추정과 같은 뿌리를 갖는다.
• 경사하강의 지역 최소값 문제 때문에 무작위 초기화와 반복 학습이 필요하며, 그래서 학습할 때마다 결과가 달라질 수 있다.
• 은닉층은 S자 곡선으로 표현할 수 없는 비선형 패턴까지 근사해, 전통 통계 기법이 어려워하는 데이터를 분류하게 해 준다.
• 신경망의 가중치는 회귀 계수와 달리 해석적 의미가 거의 없어, 전역 최소값을 반드시 찾지 않아도 예측만 잘 되면 충분한 경우가 많다.

자주 묻는 질문

관련 AI 소식