트랜스포머 vs CNN·RNN 비교: 지역성과 순차성의 한계, 자기어텐션이 푸는 문제
트랜스포머 인코더가 CNN의 지역 필터, RNN의 순차 처리와 무엇이 다른지 정리했다. 어순에 얽매이지 않는 구조와 먼 단어를 직접 잇는 자기어텐션이 장기 기억 문제와 기울기 소실을 어떻게 비껴가는지 살펴본다.
핵심 내용 읽기 →
AI TOPIC
자기어텐션 최신 뉴스와 핵심 해설
자기어텐션 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
스탠퍼드 CS224N 강의 정리: 자기어텐션과 트랜스포머는 RNN의 어떤 한계를 어떻게 풀었나
순환신경망의 두 가지 한계에서 출발해 질의·키·값 자기어텐션, 위치 인코딩과 마스킹, 멀티헤드와 잔차 연결까지 스탠퍼드 CS224N 강의가 설명한 트랜스포머의 구성 요소를 정리했다. 남은 약점인 제곱 계산량도 함께 짚는다.
핵심 내용 읽기 →