앤드루 응의 스탠퍼드 CS230 딥러닝 1강 정리: 스케일링 법칙과 AI 시대 커리어 조언

핵심 메시지

• 전통적 머신러닝은 데이터가 늘어도 성능이 정체되지만, 큰 신경망은 데이터를 더 넣을수록 성능이 계속 좋아진다.
• 딥러닝의 성능 향상은 예측 가능한 스케일링 법칙을 따르며, 이 예측 가능성이 데이터센터와 대형 모델 투자를 이끌었다.
• 텍스트 작업은 프롬프트만으로도 멀리 갈 수 있지만, 비용이 치솟으면 작은 모델을 파인튜닝해 비용 곡선을 꺾는 기술이 중요해진다.
• 'AI가 대체하니 코딩을 배우지 말라'는 조언은 최악의 조언이며, 코딩이 쉬워질수록 더 많은 사람이 코딩해야 한다.
• 최고의 개발자는 CS 기초를 깊이 이해하면서 AI 보조 코딩에도 능숙한 사람이다.

쉽게 이해하기

앤드루 응은 CS230 딥러닝 강의를 플립드 러닝(온라인 강의 시청 후 수업에서 토론) 방식으로 소개하며, 지난 10~15년 AI 발전의 상당 부분이 '스케일링'에서 나왔다고 설명한다. 로지스틱 회귀나 의사결정나무 같은 전통적 알고리즘은 데이터를 아무리 많이 줘도 어느 순간 성능이 정체된다. 반면 신경망은 크기를 키우고 데이터를 더 넣을수록 성능이 계속 좋아지는데, 대형 신경망을 훈련하는 '레시피'가 있다는 점이 딥러닝이 AI를 지배해 온 이유라는 것이다.

그는 딥러닝 성능 향상이 예측 가능하다는 점을 강조한다. GPU와 컴퓨팅, 데이터를 얼마나 투입하면 어느 정도 성능이 나올지 예측할 수 있고, 이 아이디어는 스케일링 법칙 논문으로 대중화되면서 데이터센터와 초대형 모델에 대한 투자를 이끌었다. 흥미로운 역사적 일화로, 스탠퍼드 학부생 이언 굿펠로가 기숙사 방에서 만든 첫 GPU 훈련 머신이 CUDA로 대형 신경망을 훈련하는 초기 기반이 됐다는 이야기를 들려준다.

응은 컴퓨터과학 기초 위에 머신러닝이, 그 위에 딥러닝(신경망)이 쌓인다는 지식의 층위를 그린다. 그러면서 텍스트 기반 응용은 프롬프트만으로도 상당히 멀리 갈 수 있지만, 프롬프트를 한 달 다듬어도 성능이 오르지 않거나 이용자가 늘어 AI 청구서가 폭증할 때는 작은 모델을 파인튜닝하는 딥러닝 기술이 비용 곡선을 꺾는 핵심이 된다고 실무 경험을 전한다. 오디오·이미지·영상·정형 데이터를 다룰 때도 딥러닝을 직접 쓰게 된다고 덧붙인다.

강의는 다섯 개 모듈로 구성된다. 파이썬으로 신경망을 밑바닥부터 구현하는 기초, 하이퍼파라미터 튜닝, 머신러닝 프로젝트 전략, 컴퓨터 비전을 위한 합성곱 신경망(CNN), 그리고 트랜스포머를 포함한 시퀀스 모델이다. 특히 응은 복잡한 시스템에서 무엇을 먼저 할지(데이터를 더 모을지, GPU를 살지) 규율 있게 진단하는 개발 프로세스가 개발 속도를 10배 가른다며, 뉴스에서 본 소문에 휘둘려 6개월을 허비하지 말라고 조언한다.

후반부에서 응은 커리어 조언을 내놓는다. 그는 'AI가 자동화하니 코딩을 배우지 말라'는 조언을 역사상 최악의 조언이라 부르며, 천공카드에서 키보드로, 어셈블리에서 현대 언어로 코딩이 쉬워질 때마다 오히려 더 많은 사람이 코딩을 배웠다고 지적한다. 실제로 그는 AI를 잘 다루는 갓 졸업생을 AI를 모르는 10년 차 엔지니어보다 선호한다고 말한다. 다만 최고는 CS 기초를 깊이 이해하면서 AI 보조 코딩에도 능한 사람이며, 미술사를 아는 협업자가 이미지 생성 AI를 훨씬 잘 다뤘던 일화를 들어 'AI의 언어'를 아는 것의 중요성을 설명한다.

주요 인사이트

• 전통적 머신러닝은 데이터 포화점에서 성능이 정체되지만 딥러닝은 규모를 키울수록 성능이 오른다는 점이, 대형 모델 시대를 연 근본 동력이다.
• 스케일링 법칙의 예측 가능성이야말로 기업들이 막대한 데이터센터·GPU 투자를 감행하게 만든 이유다.
• 프롬프트만으로 안 될 때 작은 모델을 파인튜닝해 비용을 낮추는 것은, 서비스가 성장할 때 반드시 마주치는 실무적 전환점이다.
• 응이 제시한 생산성 순위는 (1)경험·AI 둘 다 없음, (2)경험만 있고 AI 모름, (3)신입이지만 AI 능숙, (4)경험도 많고 AI도 능숙 순으로, 경험과 AI 활용력이 모두 중요함을 보여준다.
• RAG, 벡터 데이터베이스, 평가(eval)와 오류 분석, 가드레일, 파인튜닝, 에이전트 워크플로우는 생성형 AI 응용을 만드는 데 필요한 새 도구 상자다.

자주 묻는 질문

관련 AI 소식