动手学深度学习 22.嵌入向量，词嵌入，子词嵌入，全局向量的词嵌入 中文教材：zh.d2a 英文教材：w.d2Lai 教学视频：https://courses.d2l.ai/berkeley.-stat-157/units/.word2yec.html D2L.ai
动手学深度学习 22.嵌入向量, 词嵌入, 子词嵌入, 全局向量的词嵌入 中文教材：zh.d2l.ai 英文教材：www.d2l.ai 教学视频：https://courses.d2l.ai/berkeley-stat-157/units/word2vec.html
概要 。1 嵌入向量（Embeddings) ·词嵌入(Word2vec) ·Skip-gram ·CBOW ·子词嵌入（fastText) 全局向量的词嵌入(GloVe) D2L.ai
概要 • 嵌入向量（Embeddings） • 词嵌入（Word2vec） • Skip-Gram • CBOW • 子词嵌入（fastText） • 全局向量的词嵌入（GloVe）
GAME OF HRONESIN WORDS This viz shows the most unique words by character for each chapter in the 5 Game of Thrones books Legend Daenerys 2edUy以alfreouer 词嵌入 The motscemmon word actoss all 3 charattars are king,hlooe dead Word2vec e指中wodm0 Cerser'stin4aot国 Cersei viz by godamemccann at DuelingData.com data from "A Song of Fir ice" Jon Snow provideit by fedMebata
词嵌入 （Word2vec）
动机 。上 单热向量法将目标对象/单词 X Z 映射到固定长度向量 R 0 ·这些向量仅包含身份信息，而 1 0 不包含语义含义，例如： (xy〉=(z,y〉=0 00 1 D2L.ai
动机• 单热向量法将目标对象 /单词 映射到固定长度向量 • 这些向量仅包含身份信息，而 不包含语义含义 ，例如 ： ⟨ 𝐱 , 𝐲 ⟩ = ⟨ 𝐳 , 𝐲 ⟩ = 0 100… x 010… 001… y z
词嵌入(Word2vec) 。9 学习每个单词的嵌入向量 ·用于(x,y〉衡量相似性 1 0 (xy〉>(z,y〉 微 1 0 ·建立概率模型 ·最大化似然函数优化 1 D2L.ai
词嵌入（Word2vec ） • 学习每个单词的嵌入向量 • 用于 ⟨𝐱, 𝐲⟩ 衡量相似性 • 建立概率模型 • 最大化似然函数优化 100… x 010… 001… y z ⟨ 𝐱 , 𝐲 ⟩ > ⟨ 𝐳 , 𝐲 ⟩