안드레이 카파시 makemore 3강 정리 — 신경망 초기화, tanh 포화, 배치 정규화와 활성값 진단법
안드레이 카파시가 makemore 세 번째 강의에서 초기 손실값 27이 왜 잘못된 신호인지, tanh 포화가 어떻게 기울기를 죽이는지, 배치 정규화가 무엇을 해결하고 무엇을 대가로 치르는지 짚는다.
핵심 내용 읽기 →
AI TOPIC
카파시 최신 뉴스와 핵심 해설
카파시 관련 핵심 뉴스와 활용 인사이트 8편을 최신순으로 모았습니다.
안드레이 카파시 makemore 강의 정리 — 바이그램 문자 언어모델을 카운트와 경사하강 두 방법으로 만들기
안드레이 카파시가 이름 3만 2천 개로 문자 단위 바이그램 언어모델을 밑바닥부터 만든다. 빈도를 세어 표를 만드는 방법과 신경망을 경사하강으로 학습시키는 방법이 왜 똑같은 결과에 도달하는지, 그리고 트랜스포머로 이어지는 뼈대가 무엇인지 짚어본다.
핵심 내용 읽기 →
트랜스포머가 AI 최고의 아이디어인 이유: 카파시가 말하는 범용 미분 컴퓨터 아키텍처
안드레이 카파시가 렉스 프리드먼과의 대화에서 트랜스포머를 표현력과 최적화, 하드웨어 효율을 동시에 갖춘 범용 미분 컴퓨터라 부른 이유와, 잔차 연결이 학습에 주는 이점, 놀랍도록 견고한 구조를 정리했다.
핵심 내용 읽기 →
바이그램 언어 모델 쉽게 이해하기 - 카파시 GPT 강의 핵심 정리
안드레이 카파시의 GPT 직접 만들기 강의 전반부에 나오는 바이그램 언어 모델을 셰익스피어 데이터 예제로 풀어, 토큰·임베딩 표·손실·소프트맥스 개념을 정리한다.
핵심 내용 읽기 →
자기개선 AI 지식베이스 만들기: 클로드 코워크·옵시디언·매일 자동 정리
카파시가 말한 'LLM 위키' 개념을 빌려, 매일 밤 스스로 연결을 만들고 똑똑해지는 AI 지식베이스를 클로드 코워크와 옵시디언으로 구축하는 법. 인덱스 지도, Zapier MCP, 예약 작업까지 단계별로 소개한다.
핵심 내용 읽기 →
카파시의 LLM 위키 만들기: RAG 한계를 넘는 AI 지식 베이스 구축 실전 가이드 완전 정리
질문할 때마다 문서를 처음부터 다시 뒤지는 RAG의 한계를, AI가 자료를 읽고 정리·연결해 누적하는 위키 방식으로 푸는 안드레이 카파시의 아이디어와 옵시디언·클로드 코드 실전 구축 단계를 정리했습니다.
핵심 내용 읽기 →
GPT 밑바닥부터 만들기: 카파시가 코드로 설명하는 트랜스포머·셀프어텐션 원리
안드레이 카파시가 작은 셰익스피어 데이터로 GPT를 처음부터 구현하며 트랜스포머의 핵심인 셀프 어텐션, 멀티헤드, 잔차연결, 그리고 챗GPT의 사전학습·파인튜닝 단계까지 풀어낸다.
핵심 내용 읽기 →
LLM 작동 원리 완전 정리: 두 개의 파일부터 학습·파인튜닝·보안까지
안드레이 카파시의 LLM 입문 강연 요약. 모델이 사실은 두 개의 파일이라는 비유부터 사전학습과 파인튜닝, 스케일링 법칙, 도구 사용, LLM 운영체제 비유, 보안 위협까지 핵심을 정리한다.
핵심 내용 읽기 →