因此，利用贝叶斯公式我们得到回归函数E(yx）=P(y=1/x）Logistic的logistic回归的一般形式：回归exp(a+b(x))(一般)logistic回归：P(y=1|x)=1+exp(a+b(x)(f1(x))其中 b(x) = log((),a = log(),p = P(y = 1).如果两类分布是等方差正态：fi=Np(μ1,Z),fo=Np(μo,Z)，则特例1：线性判别fi(x)b(x) = log=()T-1x-(-μ-) ,0(x)是x的线性函数，此时得到通常的（线性）logistic回归模型：exp(α+βTx)(线性)logistic回归：P(y=1风)=1+exp(α+βTx)其=()-, =(--)6
6 (一般)logistic回归：𝑃 𝑦 = 1 𝐱 = exp 𝑎+𝑏 𝐱 1+exp 𝑎+𝑏 𝐱 , 其中 𝑏 𝐱 = log 𝑓1 𝐱 𝑓0 𝐱 , 𝑎 = log 𝑝 1−𝑝 , 𝑝 = 𝑃 𝑦 = 1 . Logistic 回归 因此，利用贝叶斯公式我们得到回归函数 E 𝑦 𝐱 = 𝑃 𝑦 = 1 𝐱 的logistic回归的一般形式： 特例1： 线性判别 如果两类分布是等方差正态：𝑓1 = 𝑁𝑝 𝛍1, Σ , 𝑓0 = 𝑁𝑝 𝛍0, Σ ， 则 𝑏 𝐱 = log 𝑓1 𝐱 𝑓0 𝐱 = (𝛍1 − 𝛍0) ⊤Σ −1𝐱 − 1 2 𝛍1 ⊤Σ −1𝛍1 − 𝛍0 ⊤Σ −1𝛍0 ， 是𝐱的线性函数，此时得到通常的（线性）logistic回归模型： (线性)logistic回归：𝑃 𝑦 = 1 𝐱 = exp 𝛼+𝛃 ⊤𝐱 1+exp 𝛼+𝛃⊤𝐱 其中 𝛃 ⊤ = (𝛍1 − 𝛍0) ⊤Σ −1𝐱, 𝛼 = 𝑎 − 1 2 𝛍1 ⊤Σ −1𝛍1 − 𝛍0 ⊤Σ −1𝛍0
此时，贝叶斯判别或logistic回归判别是经典的Fisher线性判别（LDA：lineardiscriminantanalysis)：如果P(y=1|x)>c,等价地若f1fo(μ - μo) T-1 (x - i+μ)>C,Ho2μi.则预测y=1。LDA经典的Fisher投影求法参见下页。线性分类特例2：若fi = Np(μ1,Z1), fo= Np(μo,Zo),Z1 ± Zo,则二次判别()=βTx+xTQx=x的二次函数，此时b(x) = logfyfiP(y = 1|x) = _exp(a+β*x+xTox)1+exp(α+βTx+xTQx)Hi.·o判别准则：如果P(y=1|x）>c,fo等价地若βTx+TQ>，则预测=1。二次分类神经网络方法容许b(x)具有一般的非线性形式，即非线性分类或判别
7 特例2： 二次判别 若𝑓1 = 𝑁𝑝 𝛍1, Σ1 , 𝑓0 = 𝑁𝑝 𝛍0, Σ0 ，Σ1 ≠ Σ0，则 𝑏 𝐱 = log 𝑓1 𝐱 𝑓0 𝐱 = 𝛃 ⊤ 𝐱 + 𝐱 ⊤𝑄𝐱 = 𝐱的二次函数，此时 𝑃 𝑦 = 1 𝐱 = exp 𝛼+𝛃 ⊤𝐱+𝐱 ⊤𝑄𝐱 1+exp 𝛼+𝛃⊤𝐱+𝐱⊤𝑄𝐱 判别准则：如果 𝑃 𝑦 = 1 𝐱 > 𝑐, 等价地若𝛃 ⊤𝐱 + 𝜸 ⊤𝑄𝜸 > 𝑐, 则预测 𝑦 = 1。 𝑓1 𝑓0 𝛍1 𝛍0 此时， 贝叶斯判别或logistic回归判别是经典的 Fisher线性判别（LDA：linear discriminant analysis)： 如果𝑃 𝑦 = 1 𝐱 > 𝑐 , 等价地若 (𝛍1 − 𝛍0) ⊤Σ −1 𝐱 − 𝛍1+𝛍0 2 > 𝑐， 则预测 𝑦 = 1。 𝑓1 𝑓0 𝛍1 𝛍0 LDA经典的Fisher投影求法参见下页。 神经网络方法容许𝑏 𝐱 具有一般的非线性形式，即非 线性分类或判别。 线性分类 二次分类