트랜스포머 인코더 구조 정리: 위치 인코딩, 멀티헤드 어텐션, Add & Norm과 피드포워드
트랜스포머 인코더를 구성 요소별로 뜯어본 강의 정리. 어순 정보를 실어 주는 위치 인코딩, 여러 헤드를 병렬로 돌리는 멀티헤드 어텐션, 잔차 연결과 정규화, 피드포워드 층의 역할을 차례로 설명한다.
핵심 내용 읽기 →
AI TOPIC
위치 인코딩 최신 뉴스와 핵심 해설
위치 인코딩 관련 핵심 뉴스와 활용 인사이트 8편을 최신순으로 모았습니다.
파이토치로 디코더 전용 트랜스포머 직접 구현하기: 위치 인코딩부터 마스크 어텐션까지
스탯퀘스트가 챗GPT의 기반인 디코더 전용 트랜스포머를 파이토치로 처음부터 구현하는 과정을 짚었다. 토큰 사전 만들기, 사인·코사인 위치 인코딩, 마스크 셀프 어텐션, 학습과 응답 생성까지 코드 흐름을 따라간다.
핵심 내용 읽기 →
MIT 딥러닝 강의로 보는 트랜스포머 구조: 토큰과 어텐션, 위치 인코딩의 역할 정리
MIT 6.7960 딥러닝 강의는 트랜스포머를 토큰·어텐션·위치 인코딩 세 조각으로 나눠, 합성곱과 완전연결 신경망 사이에서 어텐션이 무엇을 다르게 하는지 설명한다. 순서를 모르는 구조에 왜 위치 정보가 필요한지도 짚는다.
핵심 내용 읽기 →
그래프 언어모델 원리 정리: 지식 그래프를 언어모델에 그대로 읽히는 상대 위치 인코딩
지식 그래프를 문장처럼 한 줄로 펼치면 구조가 흐려지고, 그래프 신경망을 쓰면 언어 이해력이 사라진다. 사전학습된 언어모델 가중치를 그래프 트랜스포머에 옮겨 담아 두 문제를 함께 푸는 연구 발표를 정리했다.
핵심 내용 읽기 →
트랜스포머 위치 인코딩 원리 쉽게 정리 — 사인·코사인 함수를 쓰는 이유와 컨텍스트 길이의 관계
트랜스포머가 단어의 순서를 이해하게 해주는 장치인 위치 인코딩을 표와 수식으로 따라간다. 사인과 코사인을 번갈아 쓰는 이유, 벡터 자리마다 주기가 달라지는 까닭, 그리고 컨텍스트 길이가 여기서 정해지는 이유를 설명한다.
핵심 내용 읽기 →
RoPE 위치 인코딩 원리: 트랜스포머가 단어 순서를 회전으로 담는 법
셀프 어텐션은 문장을 순서 없는 단어 묶음으로 읽는다. 사인파 위치 인코딩의 한계와, 최신 언어 모델이 RoPE로 상대 위치를 회전으로 담는 원리를 쉽게 설명한다.
핵심 내용 읽기 →
셀프 어텐션 시각적으로 이해하기: 쿼리·키·값 벡터와 위치 인코딩으로 보는 트랜스포머 원리
트랜스포머의 핵심인 셀프 어텐션을 애니메이션 관점에서 풀어냈다. 쿼리·키·값 벡터가 단어 사이의 관계를 학습하는 방식과, 단어 순서를 담기 위한 위치 인코딩이 왜 필요한지, 그리고 여러 사인파를 쓰는 이유까지 단계별로 정리했다.
핵심 내용 읽기 →
RoPE 회전 위치 임베딩이란 — 트랜스포머가 단어 순서와 긴 문맥을 처리하는 원리
같은 단어를 섞으면 뜻이 달라지는데, 트랜스포머의 어텐션은 순서를 보지 못한다. 절대 위치 인코딩의 한계와, RoPE가 상대 위치를 회전으로 담아 라마·젬마 같은 모델의 긴 문맥을 떠받치는 원리를 차근차근 풀어봤다.
핵심 내용 읽기 →