스탠퍼드 CS229 신경망 입문: 로지스틱 회귀·소프트맥스·역전파 정리

핵심 메시지

• 로지스틱 회귀는 wx+b에 시그모이드를 씌운 한 개짜리 뉴런으로 볼 수 있고, 여기서 '뉴런 = 선형 부분 + 활성화', '모델 = 구조 + 파라미터'라는 두 정의가 나온다.
• 고양이·사자·이구아나를 각각 판별하려면 서로 통신하지 않는 세 뉴런을 두는데, 이 구조는 한 이미지에 여러 동물이 있어도(다중 레이블) 잘 작동한다.
• 한 이미지에 동물이 하나뿐이라는 제약을 걸면 출력의 합이 1이 되는 소프트맥스를 쓰고, 손실은 크로스 엔트로피로 바꾼다.
• 은닉층은 픽셀에서 edge, edge에서 귀·입, 다시 얼굴로 점점 복잡한 특징을 쌓아 올리며, 완전연결로 두면 사람이 특징을 손으로 설계하지 않아도 신경망이 스스로 찾아낸다.
• 배치 입력을 병렬 처리하기 위해 행렬 형태와 브로드캐스팅을 쓰고, 학습은 순전파로 예측을 낸 뒤 연쇄법칙으로 뒤에서부터 미분하는 역전파로 파라미터를 갱신한다.

쉽게 이해하기

강의는 익숙한 로지스틱 회귀에서 출발한다. 64×64×3 크기의 컬러 이미지를 벡터로 펼친 뒤 wx+b를 계산하고 시그모이드로 0과 1 사이 값을 내 고양이 유무를 판별한다. 이때 가중치 w의 형태는 1×12288, 편향 b는 하나이며, 파라미터 수가 입력 크기에 의존한다는 점이 지적된다. 학습은 파라미터를 초기화하고 로지스틱 손실을 경사하강법으로 최소화한 뒤 예측에 쓰는 과정으로 정리된다.

발표자는 두 가지 정의를 강조한다. 첫째, 뉴런은 선형 부분(wx+b)과 활성화(시그모이드 등)로 이뤄진다. 둘째, 모델은 구조(architecture)와 파라미터(w, b)의 합이며, 업계에서 '모델을 배포했다'는 말은 적절한 구조에 맞는 파라미터를 찾았다는 뜻이라고 설명한다. 이후 구조는 뉴런을 늘려 가며 바뀌고 파라미터는 계속 커진다.

다중 클래스로 넘어가면, 고양이·사자·이구아나를 각각 담당하는 세 뉴런을 두되 서로 통신하지 않게 한다. 이 구조는 한 이미지에 고양이와 사자가 함께 있어도 각 뉴런이 독립적으로 판단하므로 다중 레이블에 견고하다. 반대로 '한 이미지에 동물은 하나'라는 제약을 걸면 출력의 합이 1이 되는 소프트맥스를 쓰는데, 세 확률이 서로 의존하게 되어 크로스 엔트로피 손실이 필요하다. 나이 예측 같은 회귀에서는 시그모이드를 ReLU나 선형으로 바꾸고 손실도 L2로 바꾼다.

본격적인 신경망에서는 입력층·은닉층·출력층을 둔다. 은닉층이라 부르는 이유는 이 층이 입력도 출력도 직접 보지 못하고 이전 층이 넘겨준 것만 보기 때문이다. 고양이 분류를 충분한 데이터로 학습하면 첫 층은 edge 같은 기본 개념을, 다음 층은 그 edge들을 모아 귀나 입을, 출력 뉴런은 이를 종합해 얼굴을 구성한다. 완전연결(fully-connected)로 두면 어떤 특징이 유용한지를 사람이 손으로 설계하지 않아도 신경망이 직접 찾아내며, 그래서 '블랙박스', '엔드투엔드 학습'이라는 표현이 등장한다.

수학적으로는 각 층의 선형부 Z와 활성화 A를 순서대로 계산하며 행렬 형태와 형상(shape)을 맞춘다. 여러 예시를 한꺼번에 처리하려면 입력을 행렬로 묶는데, 이때 3×m 행렬에 3×1 편향을 더하는 형상 불일치는 편향을 m번 복제하는 브로드캐스팅으로 해결하고, numpy가 이를 자동으로 처리한다. 학습은 입력에서 출력으로 가는 순전파로 예측을 낸 뒤, 손실에서 시작해 뒤에서부터 미분하는 역전파로 진행된다. 손실에 가까운 w3의 미분을 먼저 구하고, 연쇄법칙으로 앞 층의 미분을 이어 계산하되 이미 구한 값을 저장해 재사용하는 것이 역전파의 요점이다.

주요 인사이트

• 로지스틱 회귀를 '한 개짜리 뉴런'으로 재해석하면, 신경망은 익숙한 분류기를 뉴런과 층으로 확장한 것이라는 연속성이 분명해진다.
• 세 뉴런이 서로 통신하지 않는다는 사실이 다중 레이블 견고성의 근거다. 반대로 소프트맥스는 출력을 서로 묶어 확률 분포로 만들기 때문에 상호배타적 분류에 적합하다.
• 라벨링 방식이 곧 각 뉴런의 역할을 결정한다. 두 번째 항목을 고양이로 라벨링하면 그 뉴런이 고양이 탐지를 담당하게 되므로, 데이터 설계가 학습 결과를 좌우한다.
• 은닉층의 계층적 특징 학습(픽셀→edge→부위→얼굴)은 왜 층을 깊게 쌓을수록 더 복잡한 정보를 이해하는지에 대한 직관을 준다.
• 브로드캐스팅은 파라미터 수를 늘리지 않으면서 코드를 병렬화하기 위한 장치이며, 역전파의 핵심은 연쇄법칙으로 계산한 중간 미분값을 저장해 앞 층에서 재사용하는 데 있다.

자주 묻는 질문

관련 AI 소식