확산 LLM과 트랜스포머의 관계 정리: 인코더·디코더에서 BERT와 LLaDA까지
잡음에서 문장을 만들어내는 확산 기반 언어모델은 트랜스포머와 대립하지 않는다. 기계번역에서 출발한 트랜스포머가 GPT와 BERT로 갈라지고, 그 BERT가 다시 확산 LLM으로 이어지는 계보를 차근히 짚었다.
핵심 내용 읽기 →
AI TOPIC
언어모델 학습 최신 뉴스와 핵심 해설
언어모델 학습 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
마이크로소프트 MAI-Thinking-1 보고서 분석: 증류 없이 학습한 추론 모델의 대가
다른 모델의 출력을 베껴 쓰는 증류를 사전학습에서 거부하고 사람이 만든 데이터만으로 추론 모델을 만들었다는 마이크로소프트 기술 보고서를, 데이터 선별 기준과 실제로 치른 학습 비용, 그리고 성적표까지 함께 짚어 본다.
핵심 내용 읽기 →