机器翻译方法对比 ■ Phrase-based SMT■ Syntax- based SmT■ Neural MT 25 15 5 0 2013 2014 2015 2016 英国爱丁堡大学在WM英德评测数据上的BLEU值。NMT2015年结果来自蒙特 利尔大学。来源: Rico Sennrich报告和斯坦福ACL2016 Tutorial
机器翻译方法对比 11 英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT 2015年结果来自蒙特 利尔大学。来源：Rico Sennrich报告和斯坦福ACL 2016 Tutorial
神经机器翻译 ·利用神经网络实现自然语言的映射 X布什 与 沙龙举行 会谈 P(ylx;0)=I P(ynIx,y<n; 0) (Sutskever et al, 2014 y Bush held a talk with Sharon
神经机器翻译 • 利用神经网络实现自然语言的映射 12 布什 与 沙龙 举行 了 会谈 Bush held a talk with Sharon (Sutskever et al, 2014)
编码器-解码器框架 利用递归神经网络实现源语言的编码和目标语言的解码 布什与沙龙举行了会谈</S> Bush held talk h Sharon /s> Sutskever et al., 2014)13
编码器-解码器框架 • 利用递归神经网络实现源语言的编码和目标语言的解码 13 布什 与 沙龙 举行 了 会谈 </s> Bush held a talk with Sharon </s> (Sutskever et al., 2014)
递归神经网络的优缺点 ·优点 适合处理变长线性序列 理论上能够利用无限长的历史信息 缺点 “梯度消失”或“梯度爆炸” x Xi-I Xi+l oA+l oxt-1 (Pascanu et al., 2013)14
递归神经网络的优缺点 • 优点 • 适合处理变长线性序列 • 理论上能够利用无限长的历史信息 • 缺点 • “梯度消失”或“梯度爆炸” (Pascanu et al., 2013) 14