LLM 명령어 파인튜닝 직접 구현: 알파카 템플릿, 패딩 마스킹, Ollama 평가
세바스찬 라슈카가 사전학습된 GPT-2를 명령어를 따르는 비서 모델로 파인튜닝하는 과정을, 데이터셋 준비와 패딩 마스킹부터 학습, 그리고 Ollama를 이용한 자동 평가까지 코드로 차근차근 보여 줍니다.
핵심 내용 읽기 →
AI TOPIC
GPT-2 최신 뉴스와 핵심 해설
GPT-2 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
GPT-2 재현 따라하기 — 카파시의 PyTorch·nanoGPT 학습 전 과정
안드레이 카파시가 GPT-2(124M)를 PyTorch로 바닥부터 재현한다. 모델 구조와 GPT-3 하이퍼파라미터, torch.compile·플래시 어텐션 최적화, 약 1시간·10달러 학습까지 다룬다.
핵심 내용 읽기 →