数暖科学导论 ☒ ⊕ 纽 的 鱼 自然语言处理 Natural Language Processing 主讲：郭凤英
自然语言处理 主讲：郭凤英 Natural Language Processing
■目录 自然语言处理概述 自然语言处理的应用 自然语言处理的挑战 自然语言处理实战 B,期英英 NLP
By 郭凤英 目录 自然语言处理概述 自然语言处理的挑战 自然语言处理的应用 自然语言处理实战
■什么是自然语言处理？ 自然语言处理研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。 自然语言处理技术发展经历了基于规则的方法、基于统计学习的方法和基于深度学习的方法 三个阶段。自然语言处理由浅入深的四个层面分别是形式、语义、推理和语用，当前正处于 由语义向推理的发展阶段。 无中 弦外 表示 2012年- 本来 生有 之音 数据驱动 基于深度学习的方法 理解 面貌 语用 推理 语义 弦外之音 1990年-2012年 规则驱动 uage 基于统计的方法 ● 形式 ● 请查询一下 你怎么能这·言外之意 我的余额 么和我说话？ 1990年以前 直接检索 我的余额还●情感： 基于规则的方法 负向 ,●词性标注 有多少？ NLP
By 郭凤英 什么是自然语言处理? 自然语言处理研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。 自然语言处理技术发展经历了基于规则的方法、基于统计学习的方法和基于深度学习的方法 三个阶段。自然语言处理由浅入深的四个层面分别是形式、语义、推理和语用，当前正处于 由语义向推理的发展阶段。 1990年以前 基于规则的方法 1990年~2012年 基于统计的方法 2012年~ 基于深度学习的方法 规则驱动 数据驱动 本来 面貌 表示 理解 无中 生有 弦外 之音 形式 语义 推理 语用 直接检索 词性标注 请查询一下 我的余额 我的余额还 有多少？ 你怎么能这 么和我说话？ 情感：负向 弦外之音 言外之意
■什么是自然语言处理？ 萌芽期 合计算机的 1946年： 快速发展 宾夕法形亚大学研制成功的TDAP系统 基于贝叶斯方法的统计学研究方法 低速的发 展期(1971 -1993 复苏融合 骤 期(1994年 人工智能诞生 至今) 图哭 机的概念提出 1936年： Shannon把离 1948年 散马尔可夫概 率模型用来橘透 语离的自动机 Chomsky又提 1956年： 关语法 形式语畜理论和 形式逻辑系统的 2001年-神经 语离模型 多任 生成句法的研究 2008年 务学习 2013年 Word嵌入 NLP 2013年 2014年序列 的神经网络 到序列模 注意 2015年 力机制 出了上下文 记忆的神经网 预 2015年 练语畜模型 2018年 B,英英 NLP
By 郭凤英 什么是自然语言处理? 人工智能诞生
■如何做语言分析？ 中文分词(Word Segmentation,WS)指的是将汉字序列切分成词序列。因为在汉语中 ■分词 词是承载语义的最基本的单元。分词是信息检索、文本分类、情感分析等多项中文自然 语言处理任务的基础。 例：国务院总理李克强调研上海外高桥时提出，支持上海积极探索新机制。 正确分词的结果是 国务院/总理/李克强/调研/上海/外高桥/时/提出/，/支持/上海/积极/探索/新/机制/。 如果分词系统给出的切分结果是 国务院/总理/李克/强调/研/上海一 切分歧义是分词任务中的主要难题。 B,明英英 NLP
By 郭凤英 如何做语言分析？ 分词 中文分词 (Word Segmentation, WS) 指的是将汉字序列切分成词序列。 因为在汉语中， 词是承载语义的最基本的单元。分词是信息检索、文本分类、情感分析等多项中文自然 语言处理任务的基础。 例：国务院总理李克强调研上海外高桥时提出，支持上海积极探索新机制。 切分歧义是分词任务中的主要难题