트랜스포머 MLP 구조 해설: LLM이 사실을 저장하는 위치와 중첩 가설, GPT-3 파라미터 분포까지
3Blue1Brown이 트랜스포머의 다층 퍼셉트론(MLP)을 분해해 대규모 언어모델이 지식을 담는 방식을 설명한다. 두 번의 행렬 곱과 ReLU가 만드는 AND 게이트, GPT-3 파라미터의 3분의 2, 그리고 중첩 가설까지 정리했다.
핵심 내용 읽기 →
AI TOPIC
다층 퍼셉트론 최신 뉴스와 핵심 해설
다층 퍼셉트론 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
카파시 makemore 2편 정리: 다층 퍼셉트론 언어 모델과 임베딩·학습률 튜닝
안드레이 카파시가 벤지오의 2003년 논문을 따라 다층 퍼셉트론 언어 모델을 직접 구현한다. 임베딩 테이블부터 미니배치, 학습률 탐색, 학습·검증·테스트 분할까지 딥러닝의 기본기를 코드로 하나씩 짚어간다.
핵심 내용 읽기 →