확산 LLM과 트랜스포머의 관계 정리: 인코더·디코더에서 BERT와 LLaDA까지
잡음에서 문장을 만들어내는 확산 기반 언어모델은 트랜스포머와 대립하지 않는다. 기계번역에서 출발한 트랜스포머가 GPT와 BERT로 갈라지고, 그 BERT가 다시 확산 LLM으로 이어지는 계보를 차근히 짚었다.
핵심 내용 읽기 →
AI TOPIC
확산 LLM 최신 뉴스와 핵심 해설
확산 LLM 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
D2F 논문 리뷰: 확산 LLM이 자기회귀 모델보다 빠른 추론을 처음으로 달성한 방식
확산 기반 LLM은 여러 토큰을 한 번에 만들 수 있는데도 KV 캐시를 쓸 수 없어 실제로는 느렸다. 시퀀스를 블록으로 나눠 두 장점을 함께 취한 D2F 방식과 자기회귀 모델을 처음 앞지른 실험 결과를 정리했다.
핵심 내용 읽기 →