1.2感知机将感知机的运行原理以数学形式表现为：0(WiX) + W2X2 ≤ 0)V=1(wiX + W2X2 > 0)感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。给定N个样本的训练集：((x(n)，J(n))N=l，其中y(n)E(-1，+1)，感知器学习算法试图找到一组参数w*，使得对于每个样本(x(n)，J(n)有y(n)w*Tx(n)>0, VnE(1, .., N)
1.2 感知机 将感知机的运行原理以数学形式表现为: 0(w1 x1 + w2 x2 ≤ θ) 1(w1 x1 + w2 x2 > θ) y = 感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的 重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。 给定N个样本的训练集: {(x (n) ，y (n) )}N=1，其中y (n)∈{-1，+1}，感 知器学习算法试图找到一组参数w *，使得对于每个样本(x (n) ，y (n) )有 y (n)w *Tx (n) >0， n∈{1，.，N} Α n
感知机训练先初始化一个权重向量W←一0（通常是全零向量），然后每次分错一个样本(x，y)时，即ywTx<0，就用这个样本来更新权重。W1根据以上感知机的学习策略，可以反推出感知机的损失函数为：L(w; x, y)=max(O, -ywx)采用随机梯度下降，其每次更新的梯度为：aL (w;x,y)0if ywTx > 0,awif ywTx> 0。-yx
感知机训练 先初始化一个权重向量w←0（通常是全零 向量），然后每次分错一个样本(x，y)时， 即ywTx<0，就用这个样本来更新权重。 根据以上感知机的学习策略，可以反推出 感知机的损失函数为： L(w；x，y)= max(0，−ywTx) 采用随机梯度下降，其每次更新的梯度为： 𝜕L（𝐰; 𝐱, y） 𝜕𝐰 = ቊ 0 𝑖𝑓 y𝐰T𝐱 > 0, −y𝐱 𝑖𝑓 y𝐰T𝐱 > 0
MLP多层感知机神经元模型XWf(WX+b)
MLP 多层感知机
2.3反向传播每个神经元的输入信号z，由参数w、b，和前一层的输出信号a决定（假设第1层神经网络有k个神经元），则向量化后为=(w())Ta(1-1) +b(llOutnutLavee1986年,DavidE.Rumelhart,GeoffreyE.Hinton和Ronald J.Williams发表文章《Learningrepresentations byback-propagatingerrors》
2.3 反向传播 每个神经元的输入信号z，由参数w、b，和前一层的输出信号a决定（假设 第1层神经网络有k个神经元），则向量化后为: 每个神经元的输入信号 z，由参数 w、b，和前一层的输出信号 a 决定（假设 第 l 层神经网络有 k 个神经元），则向量化后为： ( ) ( ) ( 1) ( ) ( ) · l l T l l z = w a +b − 1986年，David E. Rumelhart, Geoffrey E. Hinton和 Ronald J. Williams 发表文章《Learning representations by back-propagating errors》
反向传播为了能够得到一个优质的神经网络模型，我们需要求模型的两类参数w和h的最优值，以达到令损失函数值最小的目标。反向传播算法首先利用损失函数求得模型的最终误差。接着再将误差自后向前层层传递，获取每个神经元的误差。最后将每层每个神经元的误差对w和b求偏导，迭代获取的w和b的最优解，从而构建损失函数最小的最优神经网络模型。当然，和梯度下降法类似，神经网络也需要经过多次迭代，才能够逼近并获得最优模型
反向传播 首先利用损失函数求得模型的最终误差。 为了能够得到一个优质的神经网络模型，我们需要求模型的两类参数w和b的 最优值，以达到令损失函数值最小的目标。 反向传播算法 接着再将误差自后向前层层传递，获取每个神经元的误差。 最后将每层每个神经元的误差对w和b求偏导，迭代获取的w和b的最优解， 从而构建损失函数最小的最优神经网络模型。 当然，和梯度下降法类似，神经网络也需要经过多次迭代，才能够逼近并 获得最优模型