트랜스포머 인코더 구조 정리: 위치 인코딩, 멀티헤드 어텐션, Add & Norm과 피드포워드
트랜스포머 인코더를 구성 요소별로 뜯어본 강의 정리. 어순 정보를 실어 주는 위치 인코딩, 여러 헤드를 병렬로 돌리는 멀티헤드 어텐션, 잔차 연결과 정규화, 피드포워드 층의 역할을 차례로 설명한다.
핵심 내용 읽기 →
AI TOPIC
멀티헤드어텐션 최신 뉴스와 핵심 해설
멀티헤드어텐션 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
어텐션 메커니즘의 키·쿼리 행렬이 필요한 이유: 3차원 장난감 모델로 본 멀티헤드 어텐션
루이스 세라노가 단어 몇 개짜리 초소형 모델로 어텐션을 뜯어본다. 단어 사이 영향력이 한쪽으로 기운다는 사실에서 출발해, 왜 임베딩 하나로는 부족하고 키와 쿼리 행렬을 따로 두어야 하는지를 3차원 공간에서 손으로 계산해 보여준다.
핵심 내용 읽기 →
어텐션 키·쿼리·값 행렬 쉽게 이해하기: 중력에 비유해 배우는 트랜스포머 어텐션의 원리
챗GPT를 말하게 만든 어텐션을 중력에 빗대 설명한다. 단어가 서로를 끌어당기는 힘이 왜 비대칭인지, 키·쿼리·값 세 행렬이 각각 무슨 일을 하는지, 멀티헤드 어텐션은 왜 필요한지 차근차근 풀어본다.
핵심 내용 읽기 →
트랜스포머 멀티헤드 어텐션 텐서 모양: 쿼리·키·값과 512차원을 8개 헤드로 나누는 원리
트랜스포머 멀티헤드 어텐션을 텐서 모양의 흐름으로 설명한다. 입력과 출력이 왜 같은 4×512인지, 512차원이 어떻게 64차원 8개 헤드로 나뉘어 병렬로 처리되는지, 쿼리·키·값 분해와 배치 행렬곱까지 직관적으로 짚는다.
핵심 내용 읽기 →
트랜스포머 원리 강의 - 셀프 어텐션·Q/K/V·멀티헤드 어텐션 정리
모든 현대 AI의 기반이 된 트랜스포머를, 어텐션과 셀프 어텐션의 차이부터 Q/K/V, 멀티헤드, 포지셔널 인코딩, 인코더·디코더 구조까지 단계별로 풀어 설명한다.
핵심 내용 읽기 →
어텐션(Attention) 작동 원리: 쿼리·키·밸류와 멀티헤드까지 쉽게 이해하기
ChatGPT를 만든 트랜스포머의 핵심인 어텐션 메커니즘을 쿼리·키·밸류, 소프트맥스, 마스킹, 멀티헤드 어텐션까지 직관적인 예시로 풀어 설명합니다.
핵심 내용 읽기 →