生物神经元 video:structure of brain Cell body Axon Telodendria Nucleus Axon hillock Synaptic terminals Golgi apparatus Endoplasmic reticulum Mitochondrion Dendrite 单个神经细胞只有两种状 Dendritic branches 态：兴奋和抑制 《神经网络与深度学习》 6
《神经⽹络与深度学习》 6 生物神经元 单个神经细胞只有两种状 态：兴奋和抑制 video: structure of brain
人工神经元 Wixi +b =wTx+b, a f(z) 6 W1 W2 Wd 激活函数 权重 一个筒单的线性模型！ 《神经网络与深度学习》 7
《神经⽹络与深度学习》 7 人工神经元 ⼀个简单的线性模型！
激活函数的性质 连续并可导（允许少数，点上不可导）的非线性函数。 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 激活函数及其导函数要尽可能的简单 有利于提高网络计算效率。 激活函数的导函数的值域要在一个合适的区间内 不能太大也不能太小，否则会影响训练的效率和稳定性。 单调递增 ??2 《神经网络与深度学习》
《神经⽹络与深度学习》 8 激活函数的性质 }连续并可导（允许少数点上不可导）的非线性函数。 }可导的激活函数可以直接利用数值优化的⽅法来学习⽹络参数。 }激活函数及其导函数要尽可能的简单 }有利于提⾼⽹络计算效率。 }激活函数的导函数的值域要在⼀个合适的区间内 }不能太⼤也不能太小，否则会影响训练的效率和稳定性。 }单调递增 }???
常见激活函数 ………… 1 o(x)= 1+exp(-x) 0. 一L0gsto函取 -=--Tnh雨圆 tanh(x)= exp(z)-exp(-z) exp(x)+exp(-2) 非零中心化的输出会使得其后一层的神经元的输 入发生偏置偏移(bias shift),并进一步使得梯 度下降的收敛速度变慢。 性质： 饱和函数 Tanh函数是零中心化的，而logistic函数的输出恒大于0 《神经网络与深度学习》 9
《神经⽹络与深度学习》 9 常见激活函数 非零中⼼化的输出会使得其后⼀层的神经元的输 ⼊发⽣偏置偏移（bias shift），并进⼀步使得梯 度下降的收敛速度变慢。 }性质： }饱和函数 }Tanh函数是零中⼼化的，⽽logistic函数的输出恒⼤于0
常见激活函数 x≥0 ReLU(z) ，计算上更加高效 0 x<0 4 ，生物学合理性 ，单侧抑制、宽兴奋边界 =max(0,x). 3 ，在一定程度上缓解梯度消失 Leaky ReLU if x>0 ELU 问题 LeakyReLU(z)= 2 (Y2 ifx≤0 if x>0 PReLU:(x) ifx≤0 -4 if x>0 ELU(z) Y(exp(e)-1)ifx≤0 =max(0,x)+min(0,y(exp(r)-1)) 死亡ReL.U问题(Dying ReLU Problem) softplus()=log(1+exp(x)) 《神经网络与深度学习》 10
《神经⽹络与深度学习》 10 常见激活函数 } 计算上更加⾼效 } ⽣物学合理性 } 单侧抑制、宽兴奋边界 } 在⼀定程度上缓解梯度消失 问题 死亡ReLU问题（Dying ReLU Problem）