文本学习与自然语言理解 文本学习中的概率图模型、矩阵 方法与变量求解 徐悦甡 ysxu@xidian.edu.cn 计算机科学与技术学院 西安电子科技大学
文本学习中的概率图模型、矩阵 方法与变量求解 文本学习与自然语言理解 徐悦甡 ysxu@xidian.edu.cn 计算机科学与技术学院 西安电子科技大学
目录 历些毛子代枚大多 XIDIAN UNIVERSITY 口应用与背景 口语言模型 口主题模型-隐语义分析与矩阵分解 Latent Semantic Indexing (LSA),SVD and MF ▣主题模型-概率隐语义分析 Probabilistic Latent Semantic Indexing(pLSA) 口多项式分布、狄利克雷分布与共轭 Conjugate Prior,Dirichlet Distribution and Conjugate ▣主题模型-隐狄利克雷分布 Latent Dirichlet Allocation (LDA) 3/15/2020 2 计算机科学与技术学院
目录 应用与背景 语言模型 主题模型-隐语义分析与矩阵分解 Latent Semantic Indexing (LSA), SVD and MF 主题模型-概率隐语义分析 Probabilistic Latent Semantic Indexing (pLSA) 多项式分布、狄利克雷分布与共轭 Conjugate Prior, Dirichlet Distribution and Conjugate 主题模型-隐狄利克雷分布 Latent Dirichlet Allocation (LDA) 3/15/2020 2 计算机科学与技术学院
Outline 历些毛子科枝大学 XIDIAN UNIVERSITY ▣马尔可夫链-蒙特卡罗 Markov Chain Monte Carlo (MCMC) Metropolis-Hastings Sampling (MH) 口吉布斯采样 ■Gibbs Sampling 口变分分布与变分推断 Variational Distribution and Variational Inference (VD &VI) ▣最大期望与最大似然估计 ■ Expectation-Maximization Algorithm (EM)&Maximum-Likelihood Estimation(MLE) ▣非参数贝叶斯学习与狄利克雷过程 3/15/2020 计算机科学与技术学院
Outline 马尔可夫链-蒙特卡罗 Markov Chain Monte Carlo (MCMC) Metropolis-Hastings Sampling (MH) 吉布斯采样 Gibbs Sampling 变分分布与变分推断 Variational Distribution and Variational Inference (VD &VI) 最大期望与最大似然估计 Expectation-Maximization Algorithm (EM) & Maximum-Likelihood Estimation (MLE) 非参数贝叶斯学习与狄利克雷过程 3/15/2020 3 计算机科学与技术学院
应用与背景 历些毛子科枚大多 XIDIAN UNIVERSITY ▣分词Segmentation ■我是一名大学老师→我/是/一名/大学/老师 ▣词性标注Part of speech(POS): I am a teacher>I(pronoun)am (copula)a (article)teacher(noun) ▣依赖解析Dependency parsing: root tmod punct punct nsubj advmod det advmod aux advmad -Root- This time around,they re moving even faster 3/15/2020 计算机科学与技术学院
应用与背景 分词 Segmentation 我是一名大学老师 我 / 是 / 一名 / 大学 / 老师 词性标注 Part of speech (POS)： I am a teacher I (pronoun) am (copula) a (article) teacher (noun) 依赖解析 Dependency parsing: 3/15/2020 4 计算机科学与技术学院
应用与背景 历些毛子种枝大等 XIDIAN UNIVERSITY 口语义消歧 Text:Steven Jobs had left us for about two years.....the apple's price will fall down.... ▣共指指代Coreference ■小明和小江去吃饭，他说饭很好吃→他？ ▣命名实体识别 口摘要生成 ▣关系抽取 口文本聚类 3/15/2020 计算机科学与技术学院
应用与背景 语义消歧 Text: Steven Jobs had left us for about two years…..the apple’s price will fall down…. 共指指代 Coreference 小明和小江去吃饭，他说饭很好吃 他？ 命名实体识别 摘要生成 关系抽取 文本聚类 3/15/2020 5 计算机科学与技术学院