Motivation 口自然语言理解差 词性标注：I saw a saw. 翻译：寻寻觅觅，冷冷清清，凄凄惨惨戚戚 Search.Search.Seek.Seek.Cold.Cold.Clear.Clear.Sorrow.Sorrow.Pain.Pain. So dim,so dark,So dense,so dull,So damp,so dank,So dead! I look for what I miss,I know not what it is,I feel so sad,so drear,so lonely,without cheer. 情感：春风得意马蹄疾，一日看尽长安花一孟郊《登科后》 问答：我出生在中国，成长在红旗下，我的母语是？ 语义槽：周三上午8点提醒到立人楼上课 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 o 自然语言理解差 11 词性标注：I saw a saw. 翻译：寻寻觅觅，冷冷清清，凄凄惨惨戚戚 情感：春风得意马蹄疾，一日看尽长安花——孟郊《登科后》 Search. Search. Seek. Seek. Cold. Cold. Clear. Clear. Sorrow. Sorrow. Pain. Pain. So dim，so dark，So dense，so dull，So damp，so dank，So dead! I look for what I miss，I know not what it is，I feel so sad，so drear，so lonely，without cheer. 问答：我出生在中国，成长在红旗下，我的母语是？ Motivation 语义槽：周三上午8点提醒到立人楼上课
问题 口与历史无关 口一次观察，一个结果 output layer input layer hidden layer 1 hidden layer 2 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 o 与历史无关 o 一次观察，一个结果 问题
例 2 RNN 电子科技大学研究生《模式识别》
电子科技大学研究生《模式识别》 2 RNN
RNN 递归神经网络模型 递归神经网络 ●递归神经网络（RNN),是两种 人工神经网络的总称： Output Layer ●一种是时间递归神经网络( recurrent neural network); Hidden Layer 。一种是结构递归神经网络( Input Layer recursive neural network): 吸收了HMM模型的有限序列关联的思想。 ● 神经网络的隐藏层结构能够更好的表达有限的观察值背后的复杂 分布。 电子科技大学研究生《机学习》
电子科技大学研究生《机器学习》 递归神经网络模型 RNN 14 递归神经网络 l 吸收了HMM模型的有限序列关联的思想。 l 神经网络的隐藏层结构能够更好的表达有限的观察值背后的复杂 分布。 l 递归神经网络（RNN），是两种 人工神经网络的总称： l 一种是时间递归神经网络（ recurrent neural network）； l 一种是结构递归神经网络（ recursive neural network）；
RNN 递归神经网络模型 时序扩展 12 1t*1 Wnz Whh W hz unfold Whh W.n N W xh Xt X Xt+1 ht tanh(WxhXt+Whhht-1+bh) zt softmax(Whzht+bz) 电子科技大学研究生《机器学习》
电子科技大学研究生《机器学习》 递归神经网络模型 RNN 时序扩展