자기회귀 생성 모델 입문: 코넬대 CS 6785 강의로 보는 체인 룰, NADE, WaveNet의 원리
코넬대 CS 6785 딥 제너레이티브 모델 강의 3강 정리. 확률의 체인 룰을 신경망으로 근사해 다음 변수를 예측하는 자기회귀 모델의 원리와, 마스킹된 오토인코더·NADE·RNN·WaveNet으로 이어지는 계보를 정리했다.
핵심 내용 읽기 →
AI TOPIC
딥러닝 강의 최신 뉴스와 핵심 해설
딥러닝 강의 관련 핵심 뉴스와 활용 인사이트 16편을 최신순으로 모았습니다.
정규화 흐름 심화: NICE·RealNVP부터 병렬 웨이브넷까지 코넬대 강의 정리
코넬대 심층 생성 모델 강의가 정규화 흐름의 핵심 난제인 야코비안 행렬식 계산을 어떻게 우회하는지, NICE와 RealNVP의 결합 층 설계부터 음성 생성 속도를 천 배 끌어올린 증류 기법까지 짚었다.
핵심 내용 읽기 →
트랜스포머 교차 어텐션 원리 정리: 디코더가 인코더 출력을 받아들이는 구조와 마스킹이 없는 이유
트랜스포머 디코더의 두 번째 어텐션 층인 인코더-디코더 어텐션이 두 개의 행렬을 어떻게 받아 번역 정보를 옮기는지, 쿼리와 키·값의 출처가 갈리는 이유와 마스킹이 필요 없는 까닭까지 차근차근 짚었다.
핵심 내용 읽기 →
VAE 유도 과정 정리 — ELBO와 REINFORCE, 재매개변수화 트릭, 상각 추론으로 잠재변수 모델 학습하기
코넬대 심층 생성모델 강의가 잠재변수 모델 학습을 다룬다. 주변 로그가능도를 직접 계산할 수 없는 이유에서 출발해 ELBO, REINFORCE의 높은 분산, 재매개변수화 트릭, 상각 추론을 차례로 거쳐 변분 오토인코더가 조립되는 과정을 정리했다.
핵심 내용 읽기 →
트랜스포머 마스크드 셀프 어텐션 정리 — 디코더가 미래 단어를 보지 못하게 막고 학습을 병렬화하는 원리
트랜스포머 디코더의 첫 어텐션 층인 마스크드 셀프 어텐션을 강의 내용으로 정리했다. 학습할 때 정답 문장을 한 번에 넣어 병렬 계산하면서도 각 위치가 뒤에 올 단어를 보지 못하게 가중치를 0으로 만드는 방식과 그 행렬 표현을 설명한다.
핵심 내용 읽기 →
GAN 원리 정리 — 우도 없는 학습, 두 표본 검정과 젠슨-섀넌 발산이 만든 생성 모델
코넬대 심층 생성 모델 강의가 GAN을 처음 다룬 회차다. 우도 최대화의 한계에서 출발해 두 표본 검정, 판별자가 학습하는 밀도비, 젠슨-섀넌 발산과 모드 붕괴까지 GAN의 이론적 뼈대를 차례로 정리했다.
핵심 내용 읽기 →
생성 모델 평가 지표 총정리: 로그가능도와 ELBO부터 FID·KID, 잠재표현 평가 방법까지
코넬대 딥 제너러티브 모델 강의가 생성 모델 평가를 밀도 추정, 샘플 품질, 잠재표현 세 갈래로 나눠 설명했다. 로그가능도와 ELBO, 커널 밀도 추정, 인셉션 스코어와 FID·KID, 군집 지표까지 각 방법의 쓰임새와 한계를 정리한다.
핵심 내용 읽기 →
MIT 6.S191 시퀀스 모델링 강의 정리: 순환 신경망(RNN)의 원리와 한계, 그리고 어텐션과 트랜스포머가 등장한 이유
MIT 딥러닝 입문 강의가 퍼셉트론에서 출발해 순환 신경망과 시간에 따른 역전파, 단어 임베딩, 자기 어텐션까지 이어지는 흐름을 단계별로 설명한다. 기울기 소실이라는 한계에서 트랜스포머가 왜 필요했는지 기초부터 짚어준다.
핵심 내용 읽기 →
비전 트랜스포머(ViT) 강의 정리: 이미지를 패치 토큰으로 자르는 이유와 CNN의 귀납 편향을 포기해 얻는 것
버클리 컴퓨터 비전 강의가 픽셀을 그대로 토큰으로 쓰던 초기 시도부터 이미지를 16x16 패치로 자르는 방식까지 설명한다. 합성곱 신경망의 귀납 편향을 버린 대가로 훨씬 많은 데이터가 필요해지는 맞바꿈을 짚는다.
핵심 내용 읽기 →
트랜스포머 구조 정리: 토크나이저·위치 인코딩·어텐션까지 CMU 딥러닝 강의 요약
카네기멜런대 딥러닝 강의가 RNN의 정보 병목과 병렬화 한계에서 출발해 토크나이저 선택, 사인·코사인 위치 인코딩, 멀티헤드 어텐션, 플래시 어텐션과 KV 캐시까지 트랜스포머 설계의 이유를 차례로 풀어낸다.
핵심 내용 읽기 →
생성 모델 기초 정리: 오토인코더·VAE·GAN은 어떻게 새로운 데이터를 만들어내는가 (MIT 6.S191 강의)
MIT 6.S191 강의가 다룬 생성 모델의 뼈대를 정리했다. 오토인코더가 라벨 없이 특징을 찾아내는 방식, VAE가 잠재 공간을 정규화하는 이유, GAN의 생성자·판별자 경쟁 구조, 그리고 데이터 편향 탐지 같은 실제 쓰임새까지 짚는다.
핵심 내용 읽기 →
어텐션 메커니즘과 트랜스포머 원리 정리: 쿼리·키·값의 역할과 셀프 어텐션 이해하기
대학 강의로 따라가는 어텐션의 출발점과 셀프 어텐션의 철학을 정리했다. 순환신경망이 남긴 한계는 무엇이었는지, 쿼리와 키와 값이 각각 어떤 역할을 맡는지, 트랜스포머가 기존 신경망과 어떻게 다른지 짚는다.
핵심 내용 읽기 →
뉴럴 스타일 트랜스퍼부터 CycleGAN까지, 이미지 변환 모델 계보를 강의로 정리했다
UC 버클리 CS 198-126 강의가 다룬 이미지 대 이미지 변환 정리. 스타일 트랜스퍼의 그람 행렬 손실부터 pix2pix, CycleGAN, StarGAN, BicycleGAN까지 각 모델이 푼 문제를 짚는다.
핵심 내용 읽기 →
디퓨전 모델 원리 정리: 노이즈 예측 학습부터 가이던스와 잠재 디퓨전까지
버클리 딥러닝 강의가 디퓨전 모델의 작동 원리를 정리했다. 노이즈를 더하고 되돌리는 두 과정, 노이즈를 예측하는 학습 목표, 코사인 스케줄과 가이던스, 스테이블 디퓨전의 잠재 디퓨전까지 다룬다.
핵심 내용 읽기 →
스탠퍼드 CS224N 강의 정리: 자기어텐션과 트랜스포머는 RNN의 어떤 한계를 어떻게 풀었나
순환신경망의 두 가지 한계에서 출발해 질의·키·값 자기어텐션, 위치 인코딩과 마스킹, 멀티헤드와 잔차 연결까지 스탠퍼드 CS224N 강의가 설명한 트랜스포머의 구성 요소를 정리했다. 남은 약점인 제곱 계산량도 함께 짚는다.
핵심 내용 읽기 →
트랜스포머 구조 완전 분해: 멀티헤드 어텐션과 위치 인코딩부터 BERT와 ViT까지
대학 머신러닝 강좌의 마지막 강의 정리. 트랜스포머를 직접 구현할 수 있는 수준까지 분해해 CLS 토큰과 멀티헤드 어텐션, 위치 인코딩, 디코더 마스킹과 빔 서치, BERT와 ViT를 차례로 다룬다.
핵심 내용 읽기 →