MIT 6.S191 딥러닝 입문 강의 정리: 퍼셉트론과 손실 함수, 역전파와 드롭아웃까지

핵심 메시지

• 딥러닝의 핵심은 사람이 특징을 직접 설계하지 않고, 데이터를 관찰해 선-곡선-눈코입-얼굴처럼 단계적인 특징을 스스로 학습하게 만드는 것이다.
• 오늘날 딥러닝이 폭발한 이유는 기법이 새로워서가 아니라 데이터, 연산 자원, 오픈소스 도구라는 세 가지 조건이 갖춰졌기 때문이다.
• 뉴런 하나의 계산은 입력과 가중치의 내적, 편향 더하기, 비선형 활성화 함수 통과라는 세 단계의 반복일 뿐이다.
• 학습은 손실을 정의하고 경사하강법으로 가중치를 조금씩 옮기는 과정이며, 그 기울기를 구하는 절차가 역전파다.
• 모델이 훈련 데이터를 외워버리는 과적합을 막기 위해 드롭아웃과 조기 종료 같은 정규화 기법을 쓴다.

쉽게 이해하기

강의는 기술 설명 대신 시연으로 문을 연다. 강연자는 2020년에 이 수업 소개용으로 만든 합성 영상 이야기를 꺼낸다. 2분짜리 영상 하나를 만들기 위해 화자의 전문 오디오 두 시간 분량과 고화질 영상 50시간 분량, 그리고 상당한 연산 비용이 들었고, 결과물은 미리 정해진 대본만 읽는 정적인 클립이었다.

그리고 강연 도중 배경에서 자신의 목소리를 녹음해 온 프로그램을 켠다. 녹음을 멈추자 곧바로 목소리가 복제되고, 강연자는 그 목소리와 즉석에서 대화를 나눈다. 복제된 목소리에게 딥러닝의 정의를 대신 설명하게 하고, 말을 중간에 끊고 화제를 거북이 이야기로 바꾸기도 한다. 대본 없이 흘러가는 이 장면이 5년 사이의 변화를 수치보다 선명하게 보여준다.

본론은 왜 지금 딥러닝인가라는 질문에서 시작한다. 전통적인 기계학습은 사람이 규칙과 특징을 정의했지만, 사람이 만든 특징은 좀처럼 튼튼하지 않다. 얼굴을 인식하려면 선을 찾고 곡선을 찾고 눈과 코를 조합해 얼굴 구조로 올라가야 하는데, 딥러닝의 발상은 이 계층적 특징 자체를 데이터에서 학습시키는 것이다. 강연자는 오늘 다루는 내용 대부분이 수십 년 전에 나온 개념이며, 데이터와 연산, 오픈소스 도구가 갖춰지면서 비로소 꽃을 피웠다고 짚는다.

이어지는 설명은 뉴런 하나로 좁혀진다. 입력에 가중치를 곱해 더하고 편향을 더한 뒤 비선형 함수를 통과시키는 것이 전부다. 비선형성이 필요한 이유는 현실 데이터가 직선 하나로 갈라지지 않기 때문이고, 이 세 단계를 옆으로 늘리면 출력이 여러 개인 층이, 위로 쌓으면 깊은 신경망이 된다. 강연자는 이 슬라이드 하나만 가져가도 좋다고 말한다.

학습 이야기는 수업을 통과할지 예측하는 예시로 풀린다. 학습되지 않은 모델은 엉뚱한 답을 내놓고, 그 오차를 수치로 만든 것이 손실이다. 손실을 데이터셋 전체에 대해 평균 낸 뒤 경사하강법으로 가장 낮은 지점을 찾아가는데, 그 기울기를 연쇄법칙으로 출력에서 입력 쪽으로 되짚어 계산하는 절차가 역전파다. 마지막으로 학습률 조절, 미니배치 경사하강법, 드롭아웃과 조기 종료까지 실전에서 부딪히는 문제들을 다룬다.

주요 인사이트

• 강의는 기법의 신규성보다 조건의 변화를 강조한다. 오늘 배우는 개념 대부분은 수십 년 전 것이고, 달라진 것은 데이터의 양과 GPU의 보급, 그리고 누구나 쓸 수 있게 된 오픈소스 프레임워크다.
• 비선형 활성화 함수의 존재 이유가 명쾌하다. 활성화 함수를 빼면 아무리 층을 쌓아도 선형 모델이며, 붉은 점과 초록 점을 직선 하나로 가를 수 없는 상황이 곧 비선형성이 필요한 이유다.
• 확률적 경사하강법의 확률성은 기울기 계산이 아니라 데이터 선택에서 나온다. 질의응답에서 이 점이 명확히 정리되는데, 전체 데이터 대신 무작위로 고른 일부로 기울기를 구하기 때문에 붙은 이름이다.
• 미니배치는 속도와 안정성의 절충이자 하드웨어 활용 전략이다. 32개나 128개 정도의 표본으로 기울기를 평균 내면 잡음이 줄어 학습률을 키울 수 있고, 그 계산을 GPU에서 병렬로 처리할 수 있다.
• 과적합은 모델이 잘못 동작하는 것이 아니라 시킨 대로 하는 것이다. 데이터가 적고 모델이 크면 모델은 훈련 데이터를 완벽히 외우며, 드롭아웃은 매 순간 다른 경로로 신호가 흐르게 해 한 뉴런에 의존하지 못하게 만든다.

자주 묻는 질문

관련 AI 소식