스탠퍼드 CS229 4강 정리: 지수족과 일반화선형모형, 소프트맥스가 AI의 기초인 이유

핵심 메시지

• 확률분포를 '지수족'이라는 한 가지 형태로 다시 쓰면 평균과 분산 계산, 학습 알고리즘이 모두 같은 방식으로 따라 나온다.
• 동전 던지기(베르누이)와 최소제곱법의 정규분포 오차 모두 이 형태에 들어맞는다는 것이 강의 전반부의 확인 작업이다.
• 데이터 종류에 맞는 오차 분포를 고르고 자연 매개변수를 θᵀx로 두면 일반화선형모형이 되고, 추론과 학습 방법이 자동으로 결정된다.
• 다중 클래스 분류의 소프트맥스는 클래스가 두 개일 때 정확히 로지스틱 회귀로 줄어든다. 즉 로지스틱 회귀의 올바른 일반화다.
• 요즘 AI 모델이 다음 토큰을 고르는 마지막 단계가 바로 이 소프트맥스이고, 트랜스포머의 어텐션 밑에도 같은 구조가 깔려 있다.

쉽게 이해하기

강의는 지수족을 '통계학의 초석'으로 소개한다. 세상에 어떤 형태의 데이터가 있든 — 회귀든 분류든 개수 데이터든 — 그 데이터의 분포에서 학습된 모델로 가는 절차를 동일하게 만들어 준다는 것이다. 강연자는 여러 모델을 하나의 이상하게 생긴 형태로 쓸 수 있다는 것이 요령이고, 그렇게 쓰고 나면 나머지 문제들이 공짜로 풀린다고 말한다.

그 형태에는 이름이 붙은 세 조각이 있다. 우리가 측정하는 값을 담는 충분통계량, 매개변수와 무관한 정규화 항인 기저 측도, 그리고 로그 분할 함수다. 강연자는 실제 움직임이 로그 분할 함수에서 거의 다 일어난다고 강조한다. 확률의 총합이 1이 되어야 하므로 이 항은 y가 취할 수 있는 모든 경우를 더하거나 적분한 값을 담게 되고, 그래서 흥미로운 수학적 성질을 갖는다.

실제로 로그 분할 함수를 한 번 미분하면 정확히 기대값이 나오고, 한 번 더 미분하면 분산이 나온다. 이 성질은 정규분포의 우연이 아니라 지수족 전체에 성립하는 규칙이다. 게다가 1차 미분이 기대값이고 2차 미분이 분산 또는 공분산이라 양의 준정부호가 되므로, 이 함수가 볼록하다는 사실도 여기서 따라 나온다. 볼록하니 경사하강법으로 매개변수를 되찾을 수 있다는 실용적 결론이 붙는다.

후반부는 이 오차 모형을 실제 데이터와 잇는 일반화선형모형이다. y의 자료형에 맞춰 분포를 고르고, 학습되는 가중치 θ와 입력 x의 내적을 자연 매개변수로 삼는다. 그러면 추론은 '기대값을 출력하는 것', 학습은 '로그 가능도를 최대화하는 것'이 되고, 알고리즘은 언제나 예측 오차에 데이터를 곱해 그 방향으로 움직이는 확률적 경사하강법 형태를 띤다. 강연자는 로지스틱 회귀와 최소제곱법에서 따로따로 유도했던 결과들이 실은 이 일반 알고리즘의 사례였다고 정리한다.

마지막 절은 다중 클래스 분류와 소프트맥스다. 고양이·개·자동차·버스 같은 클래스를 원-핫 벡터로 쓰고, 클래스마다 하나씩 있는 θ를 입력에 내적해 점수를 낸 뒤 지수를 취해 정규화하면 확률 분포가 된다. 강연자는 이를 초평면 그림으로 설명하며, 각 선은 점수가 0이 되는 등고선이고 θ는 그 법선 방향이라고 짚는다. 그리고 클래스가 두 개인 경우를 대입하면 항등식 조작만으로 로지스틱 회귀가 그대로 나온다는 것을 보인다.

주요 인사이트

• '오차의 관점에서 생각하라'는 조언이 이 강의의 축이다. 참된 모델이 데이터를 만들고 거기에 측정 오차나 미포착 잡음이 붙는다고 보면, 어떤 모델을 써야 할지 고르는 길이 열린다는 것이다.
• 선형 분리가 저차원에서는 초라해 보이지만 고차원에서는 사정이 달라진다. 강연자는 구의 부피가 거의 표면에 몰리는 현상을 언급하며, 차원이 커지면 군집이 실제로 갈라진다고 설명한다. 그는 자신이 예로 든 768차원이 초기 GPT-2 모델의 토큰 차원이었던 것 같다고 덧붙인다.
• 소프트맥스가 표준이 된 이유는 특별히 옳아서가 아니라 성질이 좋아서다. 0과 1 사이를 매끄럽게 이어 주고, 멀리 떨어진 후보는 지수 때문에 눌리며, 무엇보다 수치적으로 안정적이고 빠르게 돌린 방법이 알려져 있다. 강연자는 다른 걸 쓰려면 오히려 그 이유를 정당화해야 한다고 말한다.
• 레이블 스무딩은 정답 확률 1을 조금 덜어 다른 클래스에 나눠 주는 기법으로, 일종의 정규화 역할을 한다. 데이터 라벨 자체가 틀릴 수 있고 한 예시만 계속 학습하면 모델이 그 한 점 버전으로 끌려가는데, 이를 완화한다는 설명이다.
• 추론의 의미가 상황마다 다르다는 지적도 유용하다. 이 강의에서 추론은 모든 클래스의 확률 벡터를 내놓는 일이지만, 생성에서는 토큰 하나를 고르는 일이 된다. 다만 실제 모델은 최대값만 고르지 않고 확률에서 표본을 뽑기 때문에 같은 질문에도 답이 달라진다.

자주 묻는 질문

관련 AI 소식