Backpropagation Algorithm 郝红侠 2006.11.13 2023/7/9
2023/7/9 1 Backpropagation Algorithm 郝红侠 2006.11.13
Perceptron Single Layer Feed- forward Rosenblatt's Perceptron:a network of processing elements (PE): Input layer of Output layer source nodes of neurons 2023/7/9 2
2023/7/9 2 Perceptron : Single Layer Feedforward Input layer of source nodes Output layer of neurons Rosenblatt’s Perceptron: a network of processing elements (PE):
XOR问题 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门(universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 异或问题的二层感知器 2023/7/9 3
2023/7/9 3 XOR问题 ⚫ 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门 (universal logic gate) ⚫ 感知器不能解决XOR问题 ⚫ 两层感知器可以解决XOR问题 异或问题的二层感知器
Perceptron Multi Layer Feed- forward Input Output layer layer Hidden Layer 2023/7/9 4
2023/7/9 4 Perceptron : Multi Layer Feedforward Input layer Output layer Hidden Layer •••• •••• •••• ••••
MLP的特性 。除了输入输出，MLP含有一层或多层隐单元，隐单元 从输入模式中提取更多有用的信息，使网络完成更复 杂的任务。 。MLP神经元的激励函数一般采用Sigmoid函数，即 1 a121 +exp(-n,) 式中n:是第i个神经元的输入信号，a:是该神经元 的输出信号。 2023/7/9 5
2023/7/9 5 MLP的特性 ⚫ 除了输入输出，MLP含有一层或多层隐单元，隐单元 从输入模式中提取更多有用的信息，使网络完成更复 杂的任务。 ⚫ MLP神经元的激励函数一般采用Sigmoid函数，即 1 1 exp( ) i i a n = + − 式中ni是第i个神经元的输入信号，ai是该神经元 的输出信号