MIT 6.S191 딥러닝 강의 정리: 일반화의 한계, 적대적 예제, 디퓨전 모델과 LLM의 작동 원리

핵심 메시지

• 1989년의 보편 근사 정리는 은닉층 하나짜리 신경망도 어떤 함수든 원하는 정확도로 근사할 수 있다고 말하지만, 뉴런이 몇 개 필요한지도 그 가중치를 어떻게 찾는지도 보장하지 않는다.
• 이미지의 라벨을 주사위를 굴려 무작위로 다시 붙여도 신경망은 학습 데이터에서 100%에 가까운 정확도를 낸다. 신경망은 의미가 없는 함수도 완벽하게 맞출 수 있는 함수 근사기다.
• 학습 데이터가 없는 분포 밖 영역에서는 모델의 동작에 아무 보장이 없다. 자율주행, 의료, 보안처럼 안전이 걸린 분야에서 불확실성 정량화가 중요한 이유다.
• 적대적 공격은 학습의 방향을 뒤집는다. 학습이 입력을 고정하고 가중치를 바꿔 손실을 줄인다면, 공격은 가중치를 고정하고 입력을 미세하게 바꿔 오차를 키운다.
• 디퓨전 모델은 한 번에 만들지 않고 노이즈를 조금씩 걷어내며 반복적으로 다듬는다. 학습 과제가 잘게 쪼개진 덕분에 GAN보다 안정적이고 결과물의 다양성도 크다.

쉽게 이해하기

MIT의 딥러닝 입문 과정 6.S191의 기초 강의 여섯 편 가운데 마지막 회차입니다. 강사인 에이바 아미니는 이 시간의 목적을 딥러닝의 한계를 정직하게 짚고, 그 한계에서 출발한 최전선 연구를 소개하는 것으로 잡았습니다. 출발점은 1989년에 제시된 보편 근사 정리입니다. 은닉층이 하나뿐인 신경망으로도 어떤 함수든 원하는 정밀도로 근사할 수 있다는 결과인데, 겉보기에는 대단히 강력합니다. 하지만 이 정리는 그런 신경망이 존재한다는 것만 증명할 뿐, 뉴런이 몇 개나 필요한지도, 그 가중치를 실제로 어떻게 학습할지도 말해주지 않습니다.

이어 강사가 특히 좋아한다고 소개한 실험이 나옵니다. 일반화를 다시 생각해야 한다는 제목의 논문에서 연구진은 이미지넷의 이미지마다 클래스 수만큼 면이 있는 주사위를 굴려 완전히 무작위인 라벨을 새로 붙였습니다. 이 데이터로 학습시키자 테스트 정확도는 무작위성이 커질수록 예상대로 떨어졌지만, 학습 데이터에 대한 정확도는 라벨을 아무리 섞어도 100%에 가깝게 유지됐습니다. 여기서 두 번째 한계가 따라 나옵니다. 학습 데이터가 놓인 범위를 벗어난 지점에서는 모델의 동작에 아무 보장이 없다는 것입니다. 강의는 몇 해 전 자율 주행 중 사고로 운전자가 사망한 사례를 드는데, 학습 당시에는 존재하지 않던 구조물이 문제였고 차량은 분포 밖 상황을 만난 셈이었습니다.

데이터 품질의 중요성은 훨씬 소박한 예로 설명합니다. 흑백 사진을 컬러로 바꾸는 모델에 개 사진을 넣었더니 턱 아래에 분홍색이 칠해졌습니다. 학습 데이터에 혀를 내민 개 사진이 많았기 때문입니다. 세 번째 한계는 적대적 예제입니다. 신경망을 학습시킬 때 우리는 입력과 라벨을 고정한 채 가중치를 움직여 손실을 줄이는데, 적대적 공격은 이 질문을 뒤집어 가중치를 고정한 채 입력을 어떻게 바꿔야 예측 오차가 커지는지를 학습합니다. 그래서 사람 눈에는 구분되지 않는 미세한 변형만으로 분류기가 전혀 다른 라벨을 높은 확률로 내놓게 만들 수 있습니다. MIT 학생들이 3D 프린팅으로 실제 물체 형태의 적대적 사례를 만들어 컴퓨터 비전 모델을 속인 사례도 소개됩니다.

후반부는 최전선으로 넘어가 디퓨전 모델을 다룹니다. 앞선 강의에서 배운 VAE와 GAN은 압축된 표현이나 무작위 노이즈에서 한 번에 이미지를 만들어내는데, 평균적인 결과만 반복해 내놓는 모드 붕괴가 생기기 쉽고 학습도 불안정합니다. 디퓨전은 먼저 원본 데이터에 노이즈를 조금씩 더해가며 완전한 잡음이 될 때까지의 단계를 만드는데, 이 순방향 과정에는 학습이 필요 없습니다. 신경망이 배우는 것은 반대 방향, 즉 노이즈가 한 단계 더 낀 상태에서 한 단계 덜 낀 상태를 추정하는 일이고, 두 상태의 차이가 곧 더해진 노이즈이므로 평균 제곱 오차 같은 단순한 손실로 학습할 수 있습니다. 학습이 끝나면 완전한 무작위 노이즈에서 시작해 이 과정을 거꾸로 반복하며 새 데이터를 만들어냅니다.

마지막 주제는 대규모 언어 모델입니다. 방대한 텍스트에는 일일이 라벨을 붙일 수 없으므로, 데이터 자체가 과제를 정의하게 만듭니다. 토큰 열이 주어졌을 때 다음 토큰을 맞히는 자기지도 학습입니다. 문장을 토큰으로 쪼개 수치로 임베딩한 뒤, 전체 어휘에 대한 다음 토큰 확률 분포를 계산하고 실제 다음 토큰과의 교차 엔트로피 손실로 학습합니다. 사실상 분류 문제인 셈입니다. 다만 이렇게 학습한 모델이 곧바로 대화형 서비스가 되는 것은 아니고, 그 사이에 사후 학습 단계가 필요합니다.

주요 인사이트

• 강의는 신경망을 '함수 근사기'라는 한 가지 관점으로 일관되게 설명한다. 보편 근사 정리도, 무작위 라벨을 외워버리는 현상도, 분포 밖에서 예측이 무너지는 것도 모두 같은 성질의 다른 얼굴이다.
• 디퓨전 모델의 핵심 아이디어는 어려운 문제를 쉬운 문제 여러 개로 쪼갠 데 있다. 노이즈에서 이미지로 한 번에 가는 대신, 한 단계 분량의 노이즈만 추정하게 만들어 학습을 안정시켰다.
• 언어 모델의 능력이 모델 크기와 학습량에 따라 계단식으로 뛰어오른다는 신경망 스케일링 법칙 관찰이, 오늘날 모델들이 보여주는 창발적 능력의 배경이 됐다.
• 강사가 꼽은 언어 모델의 남은 과제는 두 가지다. 그럴듯하지만 사실에 근거하지 않은 생성을 걸러낼 수 있도록 확신도를 정량화하는 일, 그리고 언어를 넘어 복잡한 추론과 장기 계획으로 일반화하는 일이다.
• 강의는 한계를 비관이 아니라 연구의 기회로 제시한다. 편향과 불확실성은 모두 아직 풀리지 않은 문제이고, 그 목록 자체가 다음 세대가 손댈 지점이라는 것이다.

자주 묻는 질문

관련 AI 소식