·当隐层神经元足够多时，Sigmoid?结构原 则上可以以任意精度逼近的多元非线性函 数 MLP的适用范围大大超过单程网络 ·为了提高神经网络的分类能力，必须采用 MLP，但当要精确逼近复杂问题时，隐层 神经元和连接突触可能会达到“爆炸”量。 2023/7/9 6
2023/7/9 6 ⚫ 当隐层神经元足够多时，Sigmoid结构原 则上可以以任意精度逼近的多元非线性函 数 ⚫ MLP的适用范围大大超过单程网络 ⚫ 为了提高神经网络的分类能力，必须采用 MLP，但当要精确逼近复杂问题时，隐层 神经元和连接突触可能会达到“爆炸”量
Backpropagation Algorithm 它之所以是一种学习方法，就是因为用它可以对组成 前店 断修 改 Why a Backpropagation 成所 皇 learning method? 而网 络中 那 么这种学习算法就是要求得这些参数。 之所以将其称作为反向学习算法，是因为在修改各人工 神经元的连接权值时，所依据的是该网络的实际输出与期 望的输出之差。将这一差值反向一层一层的向回传播，来 决定连接权值的修改。 2023/7/9 7
2023/7/9 7 Backpropagation Algorithm ⚫ Late 1980’s - NN re-emerge with Rumelhart and McClelland (Rumelhart, D., McClelland, J., Parallel and Distributed Processing, MIT Press, Cambridge, 1986.） Why BP is a learning method？ 它之所以是一种学习方法，就是因为用它可以对组成 前向多层网络的各人工神经元之间的连接权值进行不断修 改，从而使该前向多层网络能够将输入它的信息变换成所 期望的输出信息。如果将该多层网络看成一个变换，而网 络中各人工神经元之间的连接权值看成变换中的参数，那 么这种学习算法就是要求得这些参数。 Why a Backpropagation learning method？ 之所以将其称作为反向学习算法，是因为在修改各人工 神经元的连接权值时，所依据的是该网络的实际输出与期 望的输出之差。将这一差值反向一层一层的向回传播，来 决定连接权值的修改