神经元(Neuron) Neuron 2=a1W+…+akM+…+axwx+b W A simple function ak a Activation function weights b bias 4口卡404三·1怎生00
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 神经元（Neuron）
神经元(Neuron) Neuron Sigmoid Function a(z)'t 1 05 o(z)= 0.98 Activation function weights 1 bias 口卡B·三4色进分双0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 神经元（Neuron）
激活函数 a(x)=1+exp(-) 0.5 一La场南有 ---·Tans黄 tanh()= exp(r)-exp(-r) cxp(x)+exp(-x】 4口◆4⊙t1三1=，￥9QC
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 激活函数
激活函数 ReLU(r)= 20 o <0 r>0 LeukyReLU(r) afr≤0 =ax(0,x）+ymin(0,r] t起 if r>0 PReLU,(z) ifrs0 max(0,)min(0.r) ifz>0 4 ELU(z)= (wpr}=1)fg≤0 =0,r)+mlm,1(exp)-1切 softplus(r)=log(1 exp()) 口卡B·三4色进分双0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 激活函数
激活函数 激活函数 函数 导数 Logistic函数 f(x)=1+xp-可 1 f(x)=fx)(1-f(x) Tanh函数 f(x)= exp(x）-exp(-x exp()+exp(-) f'(x)=1-fx2 ReLU fa）=max(0,x) f'(x)=I(x>0) ELU f(x) =max(0,x)+ f'(x)=I(x>0)+I(x≤ min(0,y(exp(a）-1)）】 0)·Yexp(x) SoftPlusi函数 f(r)=log(1+exp()) f()=() 4口◆4⊙t1三1=，￥9QC
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 激活函数