자기회귀 생성 모델 입문: 코넬대 CS 6785 강의로 보는 체인 룰, NADE, WaveNet의 원리
코넬대 CS 6785 딥 제너레이티브 모델 강의 3강 정리. 확률의 체인 룰을 신경망으로 근사해 다음 변수를 예측하는 자기회귀 모델의 원리와, 마스킹된 오토인코더·NADE·RNN·WaveNet으로 이어지는 계보를 정리했다.
핵심 내용 읽기 →
AI TOPIC
머신러닝 기초 최신 뉴스와 핵심 해설
머신러닝 기초 관련 핵심 뉴스와 활용 인사이트 30편을 최신순으로 모았습니다.
어텐션 메커니즘 원리 정리: 쿼리·키·밸류 세 행렬과 소프트맥스로 이해하는 트랜스포머의 핵심 계산 과정
트랜스포머의 어텐션이 실제로 무엇을 계산하는지 쿼리·키·밸류 세 가중치 행렬과 소프트맥스 가중치를 중심으로 단계별로 풀어 설명하고, 문장 속 단어들이 서로를 얼마나 참조하며 임베딩을 갱신하는지, 그리고 내적을 차원의 제곱근으로 나누는 이유까지 짚었다.
핵심 내용 읽기 →
중요도 샘플링 쉽게 이해하기: 몬테카를로 추정의 분산을 줄이는 확률분포 바꾸기 기법
기댓값을 표본 평균으로 근사하는 몬테카를로 추정이 드문 사건 때문에 심하게 흔들릴 때, 표본을 뽑는 분포를 바꾸고 두 밀도의 비율로 보정해 분산을 줄이는 중요도 샘플링의 원리와 실전에서의 한계를 정리했다.
핵심 내용 읽기 →
LLM 온도(temperature) 파라미터 완전 이해: 소프트맥스 샘플링과 창의성 조절 원리
대형언어모델이 같은 질문에도 매번 다른 문장을 만드는 이유는 확률에 따라 단어를 뽑기 때문이다. 로짓과 소프트맥스가 확률을 만드는 과정, 온도 파라미터가 그 분포를 어떻게 뾰족하거나 평평하게 바꾸는지, 물리학에서 유래한 이름의 뜻까지 정리했다.
핵심 내용 읽기 →
심층 강화학습 기초 정리: 스탠퍼드 CS224R 1강이 설명하는 상태·행동·보상과 정책
스탠퍼드 CS224R 첫 강의에서 첼시 핀 교수가 강화학습이 지도학습과 갈라지는 지점, 상태와 관측의 차이, 궤적과 보상 함수, 확률적 정책과 가치 함수까지 로봇과 대화 모델 예시를 들어 차근차근 정리했다.
핵심 내용 읽기 →
강화학습 기초 정리: 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 Q값까지 한 번에
AI 안전 교육 프로그램 ARENA의 강화학습 입문 강의를 정리했다. 지도학습과 무엇이 다른지부터 밴딧 문제의 탐색과 활용, 마르코프 결정 과정, 벨만 방정식과 정책 반복, Q값의 쓸모까지 차례로 짚는다.
핵심 내용 읽기 →
트랜스포머 인코더 구조 해설 - 셀프 어텐션의 다단계 추론과 이차 복잡도라는 한계
트랜스포머 인코더의 성질을 정리한 강의다. 셀프 어텐션과 피드포워드 신경망의 역할 분담, 층을 여러 개 쌓아 얻는 다단계 추론, 그리고 긴 문장에서 드러나는 이차 복잡도 한계와 학습의 어려움을 함께 다룬다.
핵심 내용 읽기 →
합성곱 신경망(CNN) 원리 완전 정리: MIT 6.S191 컴퓨터 비전 강의 핵심 해설
MIT 딥러닝 입문 강의가 이미지를 숫자 배열로 보는 것부터 합성곱, 풀링, 물체 검출과 분할까지 CNN의 뼈대를 정리했다. 특징을 사람이 정의하지 않고 데이터에서 학습한다는 발상의 전환이 핵심이다.
핵심 내용 읽기 →
딥러닝 손실 함수 총정리: MSE·Huber·크로스 엔트로피부터 센터 로스·트리플렛 로스까지
카네기멜런대 딥러닝 수업 자료를 바탕으로 회귀·분류·임베딩 학습에 쓰이는 손실 함수를 네 갈래로 정리했다. 각 손실이 어떤 오차에 더 큰 기울기를 주는지, 파이토치에서 흔한 실수는 무엇인지 살핀다.
핵심 내용 읽기 →
PPO 클리핑 원리 쉽게 이해하기: 강화학습에서 큰 정책 업데이트가 위험한 이유와 해법
지도학습과 달리 강화학습은 정책이 자기 학습 데이터를 직접 모은다. 한 번의 과도한 업데이트가 왜 학습 전체를 무너뜨리는지, PPO가 확률 비율 클리핑과 최소값 연산으로 이를 막는 원리를 정리했다.
핵심 내용 읽기 →
MIT 6.S191 딥러닝 입문 강의 정리: 퍼셉트론과 손실 함수, 역전파와 드롭아웃까지
MIT 딥러닝 입문 강의의 첫 시간을 정리했다. 즉석 목소리 복제 시연으로 지난 5년의 변화를 보여준 뒤, 퍼셉트론과 활성화 함수에서 손실과 경사하강법, 역전파, 그리고 드롭아웃과 조기 종료 같은 과적합 대응까지 신경망의 기본기를 차례로 훑는다.
핵심 내용 읽기 →
벨만 방정식과 동적 계획법, 일반화 정책 반복까지: 강화학습 기초 이론 한 번에 정리
강화학습 강의 시리즈 2편을 정리했다. 벨만 방정식이 상태값을 어떻게 연결하는지, 정책 평가와 정책 개선이 왜 번갈아 돌아가며 최적 정책에 도달하는지, 그리고 그 틀이 왜 대부분의 강화학습 알고리즘을 설명하는지 짚는다.
핵심 내용 읽기 →
강화학습 정책 경사법 원리 정리: REINFORCE 갱신 규칙과 베이스라인, 정책 경사 정리까지
강화학습의 정책 경사법은 가치 추정을 거치지 않고 각 상태의 행동 확률을 직접 학습한다. REINFORCE의 갱신 규칙이 어디서 어긋나는지, 베이스라인이 왜 필요한지, 정책 경사 정리가 무엇을 알려 주는지 정리했다.
핵심 내용 읽기 →
소프트맥스 원리 정리: 신경망이 지수함수를 쓰는 진짜 이유와 교차 엔트로피 기울기 계산
소프트맥스는 단순히 점수를 확률로 바꾸는 함수가 아니다. 지수함수와 음의 로그가능도를 짝지었을 때 기울기가 '예측 확률에서 정답 벡터를 뺀 값'이라는 한 줄로 정리되는 이유를, 신경망 학습 과정을 따라가며 차근차근 풀어본다.
핵심 내용 읽기 →
이중 하강 곡선 정리: 파라미터를 더 늘릴수록 과적합이 사라지는 이유와 보간 임계점
머신러닝 교과서의 편향-분산 곡선은 전체의 왼쪽 절반일 뿐이다. 파라미터가 데이터 수와 같아지는 보간 임계점에서 오차가 최악이 되고, 그 지점을 지나면 오차가 다시 내려가는 이중 하강 현상을 정리했다.
핵심 내용 읽기 →
L3 정규화란 무엇인가 — 라쏘·릿지 너머의 제약 모양과 계수 크기를 맞추는 규제
라쏘와 릿지 사이가 아니라 그 바깥을 보면 무엇이 있을까. L3 정규화의 제약 영역이 어떤 모양이고 그것이 어떤 해를 선호하는지, 그리고 왜 교과서와 라이브러리에서 거의 보이지 않는지를 짚어 정리했다.
핵심 내용 읽기 →
안드레이 카파시 makemore 강의 정리 — 바이그램 문자 언어모델을 카운트와 경사하강 두 방법으로 만들기
안드레이 카파시가 이름 3만 2천 개로 문자 단위 바이그램 언어모델을 밑바닥부터 만든다. 빈도를 세어 표를 만드는 방법과 신경망을 경사하강으로 학습시키는 방법이 왜 똑같은 결과에 도달하는지, 그리고 트랜스포머로 이어지는 뼈대가 무엇인지 짚어본다.
핵심 내용 읽기 →
셀프 어텐션 파이토치 구현 해설, 쿼리·키·값 행렬과 소프트맥스로 이해하는 어텐션 층
트랜스포머의 핵심인 셀프 어텐션을 파이토치로 처음부터 구현하는 과정을 따라가며, 쿼리·키·값 선형 레이어와 배치 행렬 곱, 제곱근 스케일링과 소프트맥스가 실제 텐서 위에서 어떻게 맞물려 돌아가는지 단계별로 정리했다.
핵심 내용 읽기 →
강화학습 기초 정리: MDP와 보상 설계, 정책 경사(REINFORCE)까지 스탠퍼드 CS229 강의
스탠퍼드 CS229 강의가 강화학습의 기본기를 정리했다. 상태·행동·전이·보상으로 세계를 기술하는 MDP와 할인 계수, 보상 설계에 숨은 함정, 그리고 대형 언어 모델 학습의 출발점이 되는 정책 경사 알고리즘까지 짚는다.
핵심 내용 읽기 →
KL 발산이 대칭이 아닌 이유: 샐러드와 동전 예시로 이해하는 확률분포 사이의 거리
KL 발산은 두 확률분포 사이의 거리처럼 쓰이지만 P와 Q의 순서를 바꾸면 값이 달라진다. 샐러드와 토마토, 조작된 동전 예시를 통해 방향에 따라 놀라움의 크기가 왜 달라지는지 직관적으로 풀어봤다.
핵심 내용 읽기 →
가우시안 판별분석(GDA)과 나이브 베이즈 정리: 스탠퍼드 CS229 2026년 5강 생성모델 입문
스탠퍼드 CS229 2026년 봄학기 5강은 생성모델의 가장 단순한 형태인 가우시안 판별분석과 나이브 베이즈를 다루며, 데이터 분포 자체를 모형화하는 접근이 왜 지난 10년 AI 진보의 축이 됐는지를 짚었다.
핵심 내용 읽기 →
스탠퍼드 CS229 강의 정리: 지도학습과 선형회귀, 확률적 경사하강법으로 보는 머신러닝 기초
스탠퍼드 CS229 지도학습 강의는 집값에 선을 하나 긋는 문제에서 출발해 오늘날 거대 모델을 굴리는 확률적 경사하강법까지 이어진다. 지나치게 단순해 보이는 알고리즘이 어떻게 규모를 감당하게 됐는지 짚는다.
핵심 내용 읽기 →
파운데이션 모델이란 무엇인가, BERT·CLIP·DINOv2·SAM·스테이블 디퓨전으로 보는 조건
파운데이션 모델에는 엄밀한 정의가 없지만 공통된 특징은 있다. 거대한 규모, 라벨 없는 대량 학습 데이터, 그리고 무엇보다 재사용성이다. 대표 모델 다섯 가지로 그 기준을 풀어본다.
핵심 내용 읽기 →
강화학습 정책 경사법 수학 풀이, 신경망 파라미터가 보상으로 갱신되는 과정 단계별 정리
스탯퀘스트가 정책 경사법으로 신경망을 학습시키는 계산 과정을 한 단계씩 보여준다. 정답 레이블이 없을 때 교차 엔트로피 미분에 보상을 곱해 갱신 방향을 바로잡는 원리를 감자튀김 예제로 차근차근 따라간다.
핵심 내용 읽기 →
강화학습이란? 상태·행동·보상과 탐험-활용 딜레마로 이해하는 기계학습 기초 개념 정리
정답 예시가 아니라 경험으로 배우는 강화학습의 기본기를 짧게 정리했다. 상태와 행동, 보상이라는 세 요소와 정책의 개념, 탐험-활용 딜레마, 그리고 강화학습이 잘 맞는 문제와 그렇지 않은 문제를 함께 짚는다.
핵심 내용 읽기 →
Adam 옵티마이저 원리 쉽게 이해하기: 모멘텀과 RMSProp을 하나로 합친 이유와 편향 보정
딥러닝의 기본 옵티마이저인 Adam은 사실 기울기의 이동평균과 기울기 제곱의 이동평균을 붙여 놓은 것이다. 좁은 골짜기 비유를 따라가며 모멘텀과 RMSProp이 각각 무엇을 고치는지, 편향 보정은 왜 필요한지 살펴본다.
핵심 내용 읽기 →
세상에서 가장 작은 트랜스포머 모델로 배우는 임베딩과 다음 단어 예측의 작동 원리
루이스 세라노가 단어 네 개와 문장 두 개짜리 초소형 트랜스포머로 임베딩과 다음 단어 예측을 설명한다. '이해자'와 '화자' 비유로 신경망의 첫 단계인 임베딩이 어떻게 만들어지는지 직관적으로 풀어낸다.
핵심 내용 읽기 →
신경망 원리 쉽게 이해하기: 공간을 접어 분류하는 방식과 시그모이드
루이스 세라노가 신경망을 '공간을 접는 이해자'와 '방향을 보는 화자' 두 역할로 나눠 설명한다. 비선형 경계, 시그모이드 스펙트럼, 트랜스포머의 다음 단어 예측까지 직관적으로 풀어낸다.
핵심 내용 읽기 →
표준편차와 표준오차의 차이: 데이터의 흩어짐과 평균 추정의 정밀도, 그리고 루트 n 관계
표준편차와 표준오차는 같은 데이터·같은 단위인데도 값이 열 배까지 차이 난다. 데이터의 흩어짐과 평균 추정의 정밀도라는 서로 다른 질문에 답하는 두 개념을, 시그마와 루트 n 관계로 키 측정 예시와 함께 명쾌하게 정리한다.
핵심 내용 읽기 →
거대언어모델(LLM) 작동 원리 쉬운 설명 — 자동완성·신경망·역전파까지
휴대폰 자동완성이 어떻게 거대언어모델로 발전했을까. 빈도 기반 언어 모델의 한계부터 신경망이 언어를 근사하는 방식, 경사하강법과 역전파까지 LLM의 기초를 풀어 설명한다.
핵심 내용 읽기 →