스탠퍼드 CS229 강의 정리: 지도학습과 선형회귀, 확률적 경사하강법으로 보는 머신러닝 기초

핵심 메시지

• 지도학습은 입력 집합에서 출력 집합으로 가는 가설 함수를 훈련 데이터로 골라내는 일이며, 핵심 목표는 처음 보는 데이터에도 통하는 일반화다.
• 선형 모델은 단순해 보이지만 오늘날 쓰는 거의 모든 모델의 마지막 단계에 들어 있는 주력 도구다.
• 최소제곱을 쓰는 이유는 통계적 필연이 아니라 미분이 깔끔하고 정확해를 구할 수 있다는 계산상의 이점 때문이다.
• 확률적 경사하강법은 수학적으로 보면 지나치게 단순한 알고리즘이지만, 그 단순함 덕분에 방대한 데이터로 규모를 키울 수 있었다.
• 배치 크기를 정하는 현실적 기준은 이론이 아니라 GPU 메모리이며, 왜 큰 배치가 더 잘 일반화되는지는 아직 완전히 설명되지 않았다.

쉽게 이해하기

강의는 지도학습의 뼈대부터 세운다. 어떤 집합 X에서 다른 집합 Y로 가는 함수, 즉 가설을 찾는 것이 전부다. X가 이미지이고 Y가 고양이·개 같은 라벨이면 분류 문제이고, Y가 집값 같은 실수면 회귀 문제다. 강의자는 이 정의가 일부러 느슨하다고 말한다. 그 느슨함 덕분에 지도학습이 온갖 데이터 유형에 적용될 수 있기 때문이다.

실습 소재는 실제로 내려받아 만져볼 수 있는 에임스 주택 데이터다. 대지 면적으로 가격을 예측하는 직선을 그은 뒤, 침실 수 같은 특성을 더해 가며 가설을 넓혀 간다. 강의자는 여기서 반복해서 강조한다. 아무리 복잡한 AI 시스템을 만들더라도 데이터를 직접 눈으로 보라는 것이다. 사람은 꽤 괜찮은 패턴 인식기이므로 그 능력을 쓰지 않을 이유가 없다.

어떤 선이 좋은 선인지 정하는 기준이 손실 함수다. 예측과 실제 값의 차이를 제곱해 모두 더한 뒤 그것을 가장 작게 만드는 파라미터를 고르는데, 이를 경험적 위험 최소화라고 부른다. 왜 하필 제곱이냐는 수강생 질문에 강의자는 솔직하게 답한다. 절댓값이나 다른 지수를 써도 되지만, 제곱은 미분이 깔끔하게 떨어져 정확해를 구할 수 있고 역사적으로도 가우스 시절부터 그 계산상의 이점 때문에 쓰였다는 것이다.

해를 구하는 방법으로는 경사하강법이 등장한다. 현재 위치에서 기울기를 재고 반대 방향으로 한 걸음 내려가는 것을 반복하는데, 그 걸음 폭이 학습률이다. 너무 작으면 최적점까지 가는 데 시간이 걸리고, 너무 크면 최적점을 지나쳐 양쪽으로 튕겨 다닌다. 여기서 한 걸음 더 나아가 데이터 전체가 아니라 무작위로 뽑은 작은 묶음만 보고 갱신하는 것이 확률적 경사하강법이다. 인터넷 전체를 훑어야 한 번 갱신할 수 있다면 학습은 불가능하기 때문이다.

강의 후반부는 이 단순한 알고리즘을 실제로 굴릴 때 생기는 문제들로 채워진다. 배치를 어떻게 뽑을지, 배치 크기를 어떻게 정할지, 언제 학습을 멈출지 같은 질문에 강의자는 이론적 정답 대신 현장의 관행을 들려준다. 마지막으로 최소제곱의 정확해인 정규방정식을 유도하며 행렬·벡터 표기를 정리하는데, 여기에는 설계 행렬의 곱이 역행렬을 갖는다는 가정이 숨어 있다는 점도 함께 짚는다.

주요 인사이트

• 머신러닝이 통계학과 갈라선 지점이 명확히 드러난다. 통계학은 참 파라미터를 복원했는지를 따지지만, 머신러닝은 그것에 관심이 없고 충분히 가깝기만 하면 된다고 본다.
• 배치를 무작위로 뽑아야 하는 이유는 직관적이다. 고양이 사진을 전부 먼저 보여주면 모델은 모든 것을 고양이라고 답하는 쓸모없는 경계면을 학습하고, 이어서 개를 보면 반대편으로 달려간다.
• 한때는 작은 배치가 더 낫다는 것이 정설이었지만, 큰 배치가 훈련 손실은 나빠도 실제 세계에서 더 잘 일반화된다는 결과가 나오며 뒤집혔다. 강의자는 이를 최적화라는 추상이 새는 지점이라고 표현한다.
• 학습을 언제 멈춰야 하는지에 대한 답은 사실상 없다. 손실이 내려가는 것을 지켜보다가 일정이나 컴퓨팅 예산이 끝나면 멈추는 것이 현실이며, 강의자 본인도 그렇게 한다고 인정한다.
• 모델을 키우고 더 오래 돌리는 것이 배치 크기나 학습률을 미세 조정하는 것보다 성능에 훨씬 크게 기여했다. 다만 강의자는 이런 흐름이 언젠가 포화될 수 있다는 단서를 붙인다.

자주 묻는 질문

관련 AI 소식