확산 LLM과 트랜스포머의 관계 정리: 인코더·디코더에서 BERT와 LLaDA까지
잡음에서 문장을 만들어내는 확산 기반 언어모델은 트랜스포머와 대립하지 않는다. 기계번역에서 출발한 트랜스포머가 GPT와 BERT로 갈라지고, 그 BERT가 다시 확산 LLM으로 이어지는 계보를 차근히 짚었다.
핵심 내용 읽기 →
AI TOPIC
LLaDA 최신 뉴스와 핵심 해설
LLaDA 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
확산 언어모델(Diffusion LLM)이란? 자기회귀 한계를 넘는 텍스트 생성
대부분의 LLM은 토큰을 한 개씩 예측하는 자기회귀 방식이다. 확산 언어모델은 마스킹을 점진적으로 되돌려 텍스트를 생성하며, 병렬성·제어성·데이터 효율에서 강점을 보인다.
핵심 내용 읽기 →