GPT 모델 직접 구현: 레이어 정규화·GELU·숏컷 연결로 트랜스포머 블록 쌓기
GPT 구조를 코드로 조립하는 스터디 발표 정리. 설정 딕셔너리로 뼈대를 잡고 레이어 정규화, GELU, 피드포워드, 숏컷 연결을 붙여 트랜스포머 블록을 12번 쌓는 과정과 파라미터가 몰리는 지점을 짚는다.
핵심 내용 읽기 →
AI TOPIC
딥러닝 구현 최신 뉴스와 핵심 해설
딥러닝 구현 관련 핵심 뉴스와 활용 인사이트 4편을 최신순으로 모았습니다.
확산 모델(DDPM) 구현: U-Net 설계와 타임스텝 포지셔널 인코딩, 역과정 샘플링까지
확산 모델을 코드로 직접 구현하는 스터디 발표 정리. 노이즈를 예측하는 학습 방식과 U-Net 스킵 커넥션, 타임스텝을 포지셔널 인코딩으로 주입하는 방법, 역과정 샘플링의 원리까지 코드 흐름을 따라간다.
핵심 내용 읽기 →
파이토치로 디코더 전용 트랜스포머 직접 구현하기: 위치 인코딩부터 마스크 어텐션까지
스탯퀘스트가 챗GPT의 기반인 디코더 전용 트랜스포머를 파이토치로 처음부터 구현하는 과정을 짚었다. 토큰 사전 만들기, 사인·코사인 위치 인코딩, 마스크 셀프 어텐션, 학습과 응답 생성까지 코드 흐름을 따라간다.
핵심 내용 읽기 →
셀프 어텐션 파이토치 구현 해설, 쿼리·키·값 행렬과 소프트맥스로 이해하는 어텐션 층
트랜스포머의 핵심인 셀프 어텐션을 파이토치로 처음부터 구현하는 과정을 따라가며, 쿼리·키·값 선형 레이어와 배치 행렬 곱, 제곱근 스케일링과 소프트맥스가 실제 텐서 위에서 어떻게 맞물려 돌아가는지 단계별로 정리했다.
핵심 내용 읽기 →