워드투벡(Word2Vec) 단어 임베딩 원리: 원-핫 인코딩의 한계와 의미의 방향성
신경망은 숫자만 다루는데 언어의 재료는 기호다. 원-핫 인코딩이 왜 단어의 의미를 모두 버리는지, 워드투벡이 문맥을 맞히는 단순한 예측 게임만으로 어떻게 의미가 방향이 되는 벡터 공간을 만들어내는지 살펴본다.
핵심 내용 읽기 →
AI TOPIC
단어임베딩 최신 뉴스와 핵심 해설
단어임베딩 관련 핵심 뉴스와 활용 인사이트 2편을 최신순으로 모았습니다.
트랜스포머 작동 원리: 단어 임베딩·소프트맥스로 보는 ChatGPT 내부
GPT의 G·P·T가 무엇인지부터 단어 임베딩, 내적 유사도, 소프트맥스와 온도까지. 트랜스포머가 다음 단어를 예측하는 과정을 시각적으로 설명한다.
핵심 내용 읽기 →