Skip-Gram模型 ·一个单词可用于生成它周围的单词 ·给定中心词，每个上下文词是独立生成的 the man his son P("the","man","his","son"|"loves") -P("the"l "loves").P("man"I "loves") P("his"I "Toves").P("son"I "loves") loves D2L.ai
Skip-Gram 模型 • 一个单词可用于生成它周围的单词 • 给定中心词，每个上下文词是独立生成的 ℙ("the","man","his","son" ∣ "loves") = ℙ("the" ∣ "loves") ⋅ ℙ("man" ∣ "loves") ⋅ ℙ("his" ∣ "loves") ⋅ ℙ("son" ∣ "loves")
似然函数 全部概率求和非常昂贵 词 嵌入 P(Wo I Wc)= exp(uovc) 中心词 Wc Vc∈Rd ∑iev exp(uVc) 上下文 Wo uo∈Rd V:所有上下文 ·给定长度为T的序列，上下文窗口长度为，似然函数： T Π，P(w(+DIw) t=1-m≤j≤m,j≠0 D2L.ai
似然函数 • 给定长度为 T 的序列，上下文窗口长度为 m，似然函数： 𝑤𝑜 𝐯𝑐 ∈ ℝ 𝑤 𝑑 𝑐 𝐮𝑜 ∈ ℝ 𝑑 中心词 上下文 词 嵌入 ℙ(𝑤𝑜 ∣ 𝑤𝑐 ) = exp(𝐮𝑜 ⊤𝐯𝑐 ) ∑𝑖∈𝒱exp(𝐮𝑖 ⊤𝐯𝑐 ) 𝒱: 所有上下文 ∏ 𝑡=1 𝑇 ∏ −𝑚≤𝑗≤𝑚,𝑗≠0 ℙ(𝑤 (𝑡+𝑗) ∣ 𝑤 (𝑡) ) 全部概率求和非常昂贵