R fnlm相对于 ngram模型的优点 词语之问的相似性可以通过词向量计算 下面例子中ca和 mouse在fnnm中词向量相近,而 在 ngram中ca的概率要大很多 a cat is walking on the street 10000 A mouse is walking on the street 1 -th output=P(,=/cowen 计算过程自带平滑效果 most computation here 计算的是p( w context Table latex c index for w-e+ snakey enas horometer index for ws-I
ffnnlm相对于 ngram模型的优点 • 词语之间的相似性可以通过词向量计算 – 下面例子中 cat 和 mouse 在ffnnlm中词向量相近，而 在ngram中cat的概率要大很多 • A cat is walking on the street * 10000 • A mouse is walking on the street * 1 • 计算过程自带平滑效果 – 计算的是p(w|context)
R fnlm中词向量的角色 M-th output=P(w=/covex) safina 输入与训练的参数 mosi computatin here 语言模型训练结束 后的副产品 -2)C(w1-1 Table Matrx look-up in c shared parameters across words index for h-nI index far l-: index for i). 社会计算与信息检索研究中心
ffnnlm中词向量的角色 • 输入与训练的参数 • 语言模型训练结束 后的副产品
R 词向量的历史 词向量表示最先于1986年 Hinton提出 In: Proceedings of the Eighth Annual Conference o: the Cognitive Science Sociery. Amherst, Mass. 1986, pages 1-12. ErlbRMm NE LEARNING DISTRIBUTED REPRESENTATIONS OF CONCEPTS Geoffrey E. Hinton Computer Science Departme Carnegie-Mellon University 2003年 Bengio发扬光大fnnm 野宁 Feed-forward Neural Net Language Model".E · SENNA、HLBL、Word2vec、SSWE、 GloVe
词向量的历史 • 词向量表示最先于1986年Hinton提出 • 2003年Bengio发扬光大ffnnlm – Feed-forward Neural Net Language Model • SENNA、HLBL、Word2vec 、SSWE、 GloVe