토큰화 벡터화 임베딩 차이: NLP와 LLM이 텍스트를 숫자로 바꾸는 3단계
컴퓨터가 텍스트를 처리하려면 숫자로 바꿔야 합니다. 토큰화·벡터화·임베딩이 각각 무엇이고 어떻게 다른지, TF-IDF와 밀집 벡터, 코사인 유사도까지 실습 관점에서 정리했습니다.
핵심 내용 읽기 →
AI TOPIC
NLP 최신 뉴스와 핵심 해설
NLP 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
허깅페이스 Pipeline — 감성분석·요약·QA·제로샷 분류 10줄로 구현
API 비용도 벤더 종속도 없이, 허깅페이스 pipeline 함수 한 줄로 감성분석·요약·질의응답·제로샷 분류를 구현하는 방법. 로컬에서 돌리는 무료 AI 입문 가이드.
핵심 내용 읽기 →