셀프 어텐션 수식 완전 해설: 값 벡터와 루트 d 스케일링, 순서 불변성과 행렬 표기
트랜스포머 강의가 셀프 어텐션의 완전한 방정식을 채워 넣는다. 가중 평균의 대상이 되는 값 벡터, 차원의 제곱근으로 나누는 스케일링, 단어 순서를 바꿔도 출력이 같은 순서 불변성, 그리고 간결한 행렬 표기까지 정리했다.
핵심 내용 읽기 →
AI TOPIC
강의정리 최신 뉴스와 핵심 해설
강의정리 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
디퓨전 모델 원리 정리: 스코어 기반 생성모델과 노이즈 예측 학습법, 코넬대 강의 요약
코넬대 심층 생성모델 강의가 디퓨전 모델을 해부한다. 노이즈를 조금씩 더하는 정방향 과정과 그것을 되돌리는 역방향 학습, 그리고 스코어 기반 생성모델·변분 오토인코더와 맞닿는 연결고리를 한 흐름으로 정리했다.
핵심 내용 읽기 →
트랜스포머 강의 정리: 어텐션·토크나이저·포지셔널 인코딩부터 마스킹과 잔차 연결까지
대학 LLM 강의의 트랜스포머 회차 정리. 어텐션을 확률로 값을 섞는 룩업 테이블에 비유하고, 셀프·크로스 어텐션과 스케일드 닷 프로덕트, BPE 토크나이저, 위치 인코딩, 마스킹, 잔차 연결과 피드포워드까지 차례로 짚는다.
핵심 내용 읽기 →