RNN RN是一类扩展的人工神经网络，它是为了对序列数据进行 建模而产生的。 针对对象：序列数据。例如文本，是字母和词汇的序列； 语音，是音节的序列；视频，是图像的序列；气象观测数 据，股票交易数据等等，也都是序列数据。 。核心思想：样本间存在顺序关系，每个样本和它之前的样 本存在关联。通过神经网络在时序上的展开，我们能够找 到样本之间的序列相关性。 ht =H(Winct +Whhht-1+bh) 电子科技大学研究生《机悬学习》
电子科技大学研究生《机器学习》 RNN 16 l针对对象：序列数据。例如文本，是字母和词汇的序列； 语音，是音节的序列；视频，是图像的序列；气象观测数 据，股票交易数据等等，也都是序列数据。 l核心思想：样本间存在顺序关系，每个样本和它之前的样 本存在关联。通过神经网络在时序上的展开，我们能够找 到样本之间的序列相关性。 RNN是一类扩展的人工神经网络，它是为了对序列数据进行 建模而产生的
RNN RNN基本框架 e.g.Sentiment e.g.Video classification Classification on frame level sequence of words - sentiment one to one one to many many to one many to many many to many Vanilla Neural Network e.g.Image Captioning e.g.Machine Translation image -sequence of seq of words -seg of words words 电子科技大学研究生《机学习》
电子科技大学研究生《机器学习》 RNN 17 RNN基本框架 e.g. Image Captioning image -> sequence of words e.g. Sentiment Classification sequence of words -> sentiment e.g. Machine Translation seq of words -> seq of words e.g. Video classification on frame level Vanilla Neural Network
RNN发展历史 J.Hopfield ter huber Cho,et al Joulin Mikolov Hopfield GRU Stack RNN networks 19821986 2014 2015 个 139707181 个 Jordan BPTT BRNN Neural turing machine Network M.Jordan P.Werbo:s Schuster Paliwal A.Graves 开源工具包： 早期(80、90年 中期(90-2010) 当前(2010-) Theano 代) 除LSTM以外，RNN 应用广泛： Torch 主要思想：重新 基本从主流研究 自然语言应用 视频建模，手写 PyBrain 使用参数和计算 中消失了。 识别，用户意图 TensorFlow 预测 MindSpore 电子科技大学研究生 《机学习》
电子科技大学研究生《机器学习》 RNN发展历史 18 Hopfield networks 1982 1986 Jordan Network Elman Network 1990 BPTT LSTM 1997 BRNN Neural turing machine 2014 GRU 早期（80、90年 代） 主要思想：重新 使用参数和计算 中期（90-2010） 除LSTM以外，RNN 基本从主流研究 中消失了。 当前（2010 - ） 应用广泛： 自然语言应用 视频建模，手写 识别，用户意图 预测 Stack RNN 2015 开源工具包： Theano Torch PyBrain TensorFlow MindSpore
Simple recurrent networks OUTPUT HIDDEN HIDDEN UNITS INPUT STATE INPUT UNITS CONTEXT UNITS Flgure 2.A simple recurrent network in which activations are copied from hidden layer to m0.ight of10.otdin划乎用户 able connections. rlgure1.Architecture Jordan09e6L.omnits5别乎用户 one-for-one,with a fixed weight of 1.0 Not all connections are shown. 电子科技大学研究生《机器学》
电子科技大学研究生《机器学习》 Simple recurrent networks 19
https://towardsdatascience.com/illustrated- guide-to-lstms-and-gru-s-a-step-by-step- explanation-44e9eb85bf21 https://wenku.baidu.com/view/2b708aba59fafa b069dc5022aaea998fcd224013.html?fr=search&fixf r=tSKL4%2B32UhW6%2Br3PBiAjmg%3D%3D 电子科技大学研究生《机器学)
电子科技大学研究生《机器学习》 o https://towardsdatascience.com/illustrated- guide-to-lstms-and-gru-s-a-step-by-step- explanation-44e9eb85bf21 o https://wenku.baidu.com/view/2b708aba59fafa b069dc5022aaea998fcd224013.html?fr=search&fixf r=tSKL4%2B32UhW6%2Br3PBiAjmg%3D%3D 20