스탠퍼드 CS229 2026 첫 강의 정리: 머신러닝 정의부터 지도·비지도·강화학습까지

핵심 메시지

• 수업은 AI 도구 사용을 허용하지만 도구가 만든 결과를 그대로 제출하는 것은 금지한다. 에이전트를 훈련시키는 수업이 아니라 자기 뇌를 훈련시키는 수업이라는 이유다.
• 모델을 훈련하는 방법론은 예전과 크게 다르지 않고 모델을 쓰는 방식이 달라졌기 때문에, 전통적인 커리큘럼이 여전히 유효하다는 입장이 제시됐다.
• 1959년의 정의와 1998년의 정의는 지금도 통하지만, '경험'의 범위가 합성 데이터와 모델이 생성하는 사고 토큰까지 넓어졌다.
• 대규모 언어 모델의 다음 토큰 예측은 5만에서 25만 개 후보 중 하나를 고르는 분류 문제이므로, 강의 초반의 분류 이론이 그대로 이어진다.
• 이미지넷은 100만 쌍으로 당시 2위 데이터셋의 20배 규모였고, 여기서 학습한 알렉스넷이 지금 시대의 출발점이 됐다.

쉽게 이해하기

강사는 첫 강의를 편한 개요 시간으로 규정하며 시작했다. 두 명이 번갈아 강의를 맡는데, 한 사람은 박사 과정에서 딥러닝 이론을 연구하다 지금은 과학과 수학을 위한 AI, 스스로 개선하는 알고리즘 쪽을 다루고 있다고 소개했다. 선수 지식으로는 확률과 선형대수를 요구하며, 정리를 증명하기보다 유도와 수학적 모델링에 무게를 두는 강의라고 못을 박았다. 프로그래밍보다 알고리즘 뒤의 기초를 이해하는 데 초점이 있다는 것이다.

가장 눈에 띄는 대목은 AI 도구 정책이다. 강사 자신도 매일 도구를 쓴다며 사용을 허용하지만, 도구가 만든 결과를 그대로 제출물에 넣는 것은 금지한다고 했다. 사람 협업자, 혹은 사람을 넘어서는 협업자처럼 대하되 코드 생성 결과를 직접 옮기지는 말라는 뜻이다. 이유는 분명하다. 재료를 이해하는 에이전트를 만드는 것이 목적이라면 이 수업을 들을 필요가 없고, 이 수업은 자기 시냅스를 갱신하는 자리라는 것이다.

강사는 예전이라면 데이터를 모으고 파이프라인을 짜고 모델을 조정해야 했지만 이제는 그냥 물어보면 되는 시대라고 인정한다. 그러면서도 모델을 훈련시키는 근본 기술은 크게 바뀌지 않았으니 기존 내용이 대부분 유효하다고 봤다. 실제로 1959년에 나온 '명시적으로 프로그래밍되지 않고 배우는 능력'이라는 정의가 지금도 들어맞고, 1998년의 정의가 짚은 경험, 과제, 성능 척도라는 세 요소도 그대로다. 다만 경험의 범위는 합성 데이터와 모델이 만들어내는 사고 토큰까지 넓어졌고, 과제는 하나씩 풀던 시절을 지나 한 모델이 수백만 가지를 다루는 형태로 바뀌었다.

지도학습은 집값 예측으로 시작한다. 면적을 입력으로 가격을 예측하는 문제에 직선이나 이차 함수를 맞추는 이야기가 2강과 3강으로 이어지고, 입력과 출력, 특징과 라벨 같은 용어가 정리된다. 출력이 연속값이면 회귀, 이산값이면 분류라는 구분도 여기서 나오는데, 강사는 언어 모델의 다음 단어 예측이 5만에서 25만 개 후보 가운데 하나를 고르는 분류 문제라는 점을 강조했다. 이미지 분류 사례에서는 100만 쌍 규모의 이미지넷이 당시 2위 데이터셋의 20배였다는 점, 이 데이터로 학습한 알렉스넷이 지금의 흐름을 열었다는 점, 정확도가 50% 수준에서 95%를 넘어섰다는 점이 언급됐다.

비지도학습에서는 라벨 없이 구조를 찾는 문제들이 이어진다. 군집화, 유전자 발현 표와 문서-단어 표를 적절히 재배열하면 드러나는 패턴, 단어를 벡터로 옮기면 나라에서 수도로 향하는 방향이 생기는 임베딩 이야기가 나온다. 강사는 한때 표준 학습 자료였던 위키백과가 이제 전체 코퍼스의 1% 혹은 0.1% 수준이라는 점도 짚었다. 강화학습은 순차적 결정 문제라는 전통적 관점에 더해, 언어 모델의 생성 과정이 확률적 표본 추출이라 미분이 되지 않기 때문에 필요한 도구라는 관점이 함께 소개됐다. 데이터를 스스로 만들어 검증하고 다시 학습하는 부트스트래핑은 자동 정리 증명과 로봇 학습에서 같은 형태로 나타난다.

마지막으로 강사는 예전 계획에 없던 머신러닝 시스템 강의를 추가했다고 밝혔다. 알고리즘이 20%만 빨라져도 비용에서 큰 차이가 나고, 2배 빠르면 같은 일이 누군가에게는 1년 다른 누군가에게는 2년이 되기 때문에 소프트웨어와 하드웨어를 맞추는 일이 중요해졌다는 설명이다. 여기에 공정성과 사회적 영향을 다룰 초청 강의도 준비하려 한다고 덧붙였다.

주요 인사이트

• 도구 사용을 금지하는 대신 결과 복사만 막은 선택은, 평가 대상이 산출물이 아니라 학습자의 이해라는 점을 분명히 한 설계다.
• 쓰는 방식이 급변해도 훈련 기술의 기초는 남는다는 판단이 커리큘럼을 지탱한다. 60년 넘은 정의가 여전히 들어맞는다는 관찰이 그 근거로 제시됐다.
• 분류라는 틀이 이미지넷 시절과 오늘의 언어 모델을 잇는다. 후보 라벨의 수가 늘어난 차이일 뿐이라는 설명은 초반 이론의 쓸모를 되짚게 한다.
• 강화학습이 언어 모델 훈련에 쓰이는 이유는 보상 설계 이전에 생성 과정이 미분 가능하지 않다는 기술적 제약이다.
• 분야가 너무 빨리 움직여 분류 체계에 합의할 시간조차 없다는 강사의 농담은, 교재의 안정성과 현장의 속도 차이를 그대로 보여준다.

자주 묻는 질문

관련 AI 소식