트랜스포머 구조 진화 2017~2026: 프리노름·RoPE·GQA·MoE로 본 LLM 내부
원조 트랜스포머의 잔차 하이웨이는 그대로 둔 채, 정규화 위치·위치 인코딩·어텐션·피드포워드 슬롯이 안정성·문맥·추론·확장이라는 네 압력 아래 어떻게 교체돼 왔는지 한 편으로 정리했다.
핵심 내용 읽기 →
AI TOPIC
RoPE 최신 뉴스와 핵심 해설
RoPE 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
RoPE 회전 위치 임베딩이란 — 트랜스포머가 단어 순서와 긴 문맥을 처리하는 원리
같은 단어를 섞으면 뜻이 달라지는데, 트랜스포머의 어텐션은 순서를 보지 못한다. 절대 위치 인코딩의 한계와, RoPE가 상대 위치를 회전으로 담아 라마·젬마 같은 모델의 긴 문맥을 떠받치는 원리를 차근차근 풀어봤다.
핵심 내용 읽기 →