GPT 토크나이저와 BPE 토큰화 완전 해설 — LLM이 글자를 다루는 방법
안드레이 카파시가 GPT 토크나이저를 바닥부터 구현하며 바이트 페어 인코딩(BPE)과 UTF-8, 어휘 크기 절충, 비영어·코드 처리 문제까지 토큰화의 원리를 설명한다.
핵심 내용 읽기 →AI TOPIC
LLM 관련 핵심 뉴스와 활용 인사이트 5편을 최신순으로 모았습니다.

안드레이 카파시가 GPT 토크나이저를 바닥부터 구현하며 바이트 페어 인코딩(BPE)과 UTF-8, 어휘 크기 절충, 비영어·코드 처리 문제까지 토큰화의 원리를 설명한다.
핵심 내용 읽기 →
카파시가 일상과 업무에서 ChatGPT를 비롯한 LLM을 어떻게 쓰는지 정리했다. 토큰·사고 모델·검색·딥리서치·코드 실행·음성·메모리까지 실전 기능을 한눈에 짚는다.
핵심 내용 읽기 →
생성형 AI는 프롬프트에 반응해 콘텐츠를 만드는 반응형 시스템이고, 에이전트형 AI는 목표를 향해 스스로 행동을 이어가는 능동형 시스템이다. 두 방식의 차이와 공통 기반인 LLM을 정리한다.
핵심 내용 읽기 →
안드레이 카파시의 LLM 입문 강연 요약. 모델이 사실은 두 개의 파일이라는 비유부터 사전학습과 파인튜닝, 스케일링 법칙, 도구 사용, LLM 운영체제 비유, 보안 위협까지 핵심을 정리한다.
핵심 내용 읽기 →
대규모 언어 모델은 입력된 문장 다음에 올 단어를 확률로 예측하는 거대한 함수입니다. 수천억 개의 매개변수, 사전 훈련과 인간 피드백 강화학습(RLHF), 트랜스포머와 어텐션까지 LLM의 핵심 작동 원리를 일반 독자 눈높이로 정리했습니다.
핵심 내용 읽기 →