MIT 6.S191 딥러닝 입문 2026년판 1강 정리: 퍼셉트론부터 경사하강법과 정규화까지

핵심 메시지

• 강의는 비행기 모드로 완전히 오프라인 상태인 휴대폰에서 언어 모델을 돌려 보이며 시작한다.
• 누구나 내려받아 휴대폰에 올릴 수 있는 20억 파라미터 오픈소스 모델이 사실상 모든 벤치마크에서 초기 GPT-4를 넘어섰다는 점을 이 분야의 속도를 보여주는 사례로 든다.
• 딥러닝의 핵심 한 줄은 뉴런 하나가 하는 일, 즉 내적을 하고 편향을 더하고 비선형 함수를 통과시키는 세 단계다.
• 비선형 활성화 함수가 필요한 이유는 현실 데이터가 직선 하나로 갈라지지 않기 때문이며, 곡선을 그릴 자유를 모델에 주는 장치다.
• 과적합은 드롭아웃과 조기 종료로 다스린다. 조기 종료는 구조를 건드리지 않고 학습과 시험 곡선만 보면 되므로 어떤 모델에도 적용할 수 있다.

쉽게 이해하기

MIT 6.S191은 일주일짜리 딥러닝 집중 강의입니다. 2026년판 첫 시간은 이 분야가 얼마나 빠르게 움직였는지를 눈으로 보여주는 데서 출발합니다. 10년 전인 2015년의 얼굴 이미지 생성 수준을 보여주고, 2018년의 도약, 그리고 시간이라는 차원이 더해진 영상 생성으로 이어집니다. 언어 쪽에서는 GPT-3.5에서 GPT-4로 넘어가던 시점이 기술을 잘 모르는 사람도 체감할 만큼 큰 도약이었다고 짚습니다. 다만 그 뒤에는 수억 달러가 드는 GPU 데이터센터가 있었다는 점도 함께 언급합니다.

그 다음 장면이 이 강의의 진짜 도입부입니다. 강연자는 휴대폰 화면을 띄우고 상단을 쓸어내려 비행기 모드임을 보여준 뒤, 인터넷 연결이 전혀 없는 상태에서 언어 모델에 질문을 던집니다. Z7 공간, 즉 7로 나눈 나머지의 유한 공간에서 영점을 찾으라는 문제까지 바로 맞힙니다. 이어서 음성을 텍스트로 바꾸지 않고 오디오를 그대로 받아 오디오 토큰을 내놓는 모델을 시연합니다. 클라우드를 거치지 않아 반응이 즉각적이고, 텍스트 변환 과정에서 사라지던 감정이 그대로 살아남습니다. Liquid AI가 약 일주일 전 공개한 텍스트와 오디오, 비전을 모두 다루는 멀티모달 모델입니다.

본론은 정의에서 시작합니다. 인공지능은 정보를 처리해 미래의 판단에 쓰는 알고리즘을 만드는 일이고, 기계학습은 그 처리 절차를 사람이 일일이 프로그래밍하지 않고 데이터에서 배우게 하는 부분집합이며, 딥러닝은 그 일을 깊은 신경망으로 하는 다시 그 부분집합입니다. 핵심 알고리즘 상당수는 1950년대에서 1970년대에 이미 나와 있었고, 지금 다시 부상한 이유는 세 가지로 정리됩니다. 데이터가 유례없이 많아졌고, 병렬 연산을 가속하는 GPU가 나왔고, 소프트웨어가 모델을 만들고 배포하는 일을 대중화했다는 것입니다.

가장 기본 단위인 퍼셉트론은 놀랄 만큼 단순합니다. 입력마다 대응하는 가중치를 곱해 모두 더하고, 편향을 더하고, 비선형 활성화 함수를 통과시킵니다. 강연자는 이 강의에서 딱 하나만 기억한다면 이 세 단계여야 한다고 말합니다. 왜 비선형이 필요한지는 예시로 보여줍니다. 2차원짜리 단순한 데이터인데도 초록 점과 빨간 점을 완벽히 가르는 직선이 존재하지 않습니다. 곡선을 그릴 수 있게 허락하는 순간 문제가 쉬워집니다. 가중치가 3과 -2인 뉴런에 입력 -1과 2를 넣으면 결과가 -6이 되어 결정 경계의 왼쪽에 놓이고, 시그모이드를 통과하면 0에 가까운 값이 나온다는 계산까지 함께 따라갑니다.

학습은 손실을 정의하는 데서 시작합니다. 강의에서는 강의 참석 횟수와 최종 프로젝트 투입 시간을 입력으로 받아 이 수업을 통과할지 예측하는 예를 씁니다. 무작위로 초기화된 신경망은 통과 확률을 0.1로 내놓는데, 강연자는 이를 세상을 한 번도 본 적 없는 갓난아기에 비유합니다. 예측과 정답의 차이를 손실로 재고, 데이터셋 전체의 평균 손실을 낮추는 가중치를 찾는 것이 학습입니다. 분류에는 교차 엔트로피, 연속값 예측에는 평균제곱오차나 L1 오차를 씁니다.

주요 인사이트

• 경사하강법은 현재 위치에서 기울기를 구해 그 반대 방향으로 조금씩 내려가는 절차입니다. 어딘가 바닥에는 반드시 도달하지만 그것이 가장 낮은 바닥이라는 보장은 없고, 출발 위치에 좌우됩니다.
• 역전파는 이론적으로는 연쇄법칙의 적용에 지나지 않습니다. 다만 실제 손실 지형은 매우 비볼록해서, 2017년의 시각화 연구가 보여주듯 초기화와 정규화 선택에 크게 좌우됩니다.
• 학습률은 작으면 얕은 골짜기에 갇히고 크면 지나쳐 발산합니다. 그래서 실무에서는 기울기 크기에 따라 보폭을 조절하는 Adam, AdaDelta, AdaGrad, RMSProp 같은 적응형 최적화기를 쓰고 기본 SGD를 그대로 쓰는 일은 드뭅니다.
• 미니배치는 전체 데이터로 기울기를 구하는 정확하지만 느린 방식과 한 점만 보는 빠르지만 시끄러운 방식 사이의 절충입니다. 32 정도가 흔히 쓰이고, 대규모 언어 모델에서는 수백만 규모까지 올라갑니다.
• 드롭아웃은 은닉층 뉴런의 출력을 확률적으로 꺼버려 특정 경로에 의존하지 못하게 만듭니다. 같은 미니배치 안에서는 같은 뉴런이 꺼져 있고, 다음 미니배치에서 새로 뽑힙니다.

자주 묻는 질문

관련 AI 소식