紧需滚款学 HIT-SCIR 社会计算与信息检索研究中心 再探深度学习词向量表示 Advanced word vector representations 主讲人:李泽魁
再探深度学习词向量表示 Advanced word vector representations 主讲人：李泽魁
(R HIT-SCIR 目录 Lecture1知识点回顾 神经概率语言模型( Bengio2003) Word2vec( Mikolov 2013 (CBOW Skip-gram)*(HS NEG 词向量的评价方法 Softmax分类模型(原PPT乱入) 词向量的应用场景
目录 • Lecture 1 知识点回顾 • 神经概率语言模型(Bengio 2003) • Word2vec (Mikolov 2013) • (CBOW & Skip-gram) * (HS & NEG) • 词向量的评价方法 • Softmax分类模型(原PPT乱入) • 词向量的应用场景
R 目录对比 cS224 d Lecture3目录 Le cture1知识点回顾( Refresher ·词向量梯度下降&随机梯度下降(GD&SGD) 如何评测词向量 evaluate) ·SomX分类( softmax classification 若干习题集( oblem set) 本次目录 ecture1知识点回顾 神经概率语言模型( Bengio2003) Word2vec(Mikolo 2013 (CBOW& Skip-gram)*(HS NEG) 词向量的评价方法 Softmax分类模型(原PPT乱入) 词向量的应用场景
目录对比 cs224d Lecture 3 目录 • Lecture 1 知识点回顾 (Refresher) • 词向量梯度下降&随机梯度下降(GD & SGD) • 如何评测词向量(evaluate) • Softmax分类 (softmax classification) • 若干习题集 (problem set) • Lecture 1 知识点回顾 • 神经概率语言模型(Bengio 2003) • Word2vec (Mikolov 2013) • (CBOW & Skip-gram) * (HS & NEG) • 词向量的评价方法 • Softmax分类模型(原PPT乱入) • 词向量的应用场景 本次目录
知识点回顾:词向量 词向量表示 One-hot Representation “黑板”表示为[0001000000000000…] Distributional Representation “黑板”表示为[0.792,-0.177,-0.107,0.109,-0.542,…] 词向量降维 SVD. LSA, LDA Based on lexical co-occurrence Learning representations Predict surrounding words of every word 塔款大学⌒ Eg. word2vec 社会计算与信息检索研究中心
知识点回顾：词向量 • 词向量表示 – One-hot Representation • “黑板”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...] – Distributional Representation • “黑板”表示为 [0.792, −0.177, −0.107, 0.109, −0.542, ...] • 词向量降维 – SVD，LSA，LDA • Based on lexical co-occurrence – Learning representations • Predict surrounding words of every word • Eg. word2vec
R 知识点回顾 input& output vector 所以每个词w都有两个向量表示 input vecter:窗口内的中心向量( center vector)V output vector:非中心词向量( external vectors)v exp vwo Uwr Wow w 1 exp WI 例如 window size=1,句子 I like learning -like为 v like I、 learning为 vI v_learning
知识点回顾: input & output vector • 所以每个词w都有两个向量表示 – input vecter：窗口内的中心向量(center vector) v – output vector：非中心词向量(external vectors) v’ • 例如window size = 1，句子 I like learning – like为v_like – I、learning为v’_I v’_learning