D若假设p1(x)和p2(x)的各分量相互独立，所得判别法 则也称为Naive Bayes分类器， 两个多元正态总体场合：X|G=g~Np(g,),9=1,2. TExample ↓Example 此时， Pmx)/p(x)=ep[-号x-4rΣ-(x-)+号x-)/空-(x-)】 =epl[1-2)/-'（(x-m)+1-2)/-1(-) =[m-a空x-4) 因此第一个类的决策域为 R1: (>c(12)2 p2(x)2c(2I1)π →m-m空(x-4专)≥常数=lg2品器 c(12）2 2 Previous Next First Last Back Forward 15
◃ 若假设 p1(x) 和 p2(x) 的各分量相互独立，所得判别法 则也称为Naïve Bayes 分类器. ↑Example 两个多元正态总体场合:X|G = g ∼ Np(µg, Σ), g = 1, 2. ↓Example 此时, p1(x)/p2(x) = exp[ − 1 2 (x − µ1) ′Σ −1 (x − µ1) + 1 2 (x − µ2) ′Σ −1 (x − µ2) ] = exp[ (µ1 − µ2) ′Σ −1 (x − µ1) + 1 2 (µ1 − µ2) ′Σ −1 (µ1 − µ2) ] = exp[ (µ1 − µ2) ′Σ −1 (x − µ1 + µ2 2 ) ] 因此第一个类的决策域为 R1 : p1(x) p2(x) ≥ c(1|2) c(2|1) π2 π1 ⇐⇒ (µ1 − µ2) ′Σ −1 (x − µ1 + µ2 2 ) ≥ 常数 = log c(1|2) c(2|1) π2 π1 Previous Next First Last Back Forward 15
由此，对新的观测点x0,可以得到分类法则.实际中，4g,∑往往未知， 在观测到（训练）样本（第一个总体中得到1个观测，第二个总体中 有2个观测)后，得到它们的估计 ig=元g(g=1,2): S=Spool n1+2-2m1-1S+(m2-1)S] 1 记W(x)=(-2)/公-1(x-色产)，从而经过训练后的分类器为 w={ W(x)≥常数 2,W(x)<常数 ·当=1时候，上述分类器中的常数=0（线性判别器） c(21)T1 Previous Next First Last Back Forward 16
由此, 对新的观测点 x0, 可以得到分类法则. 实际中, µg, Σ 往往未知, 在观测到 (训练) 样本 (第一个总体中得到 n1 个观测, 第二个总体中 有 n2 个观测) 后, 得到它们的估计 µˆg = x¯g(g = 1, 2); Σ =ˆ Spool = 1 n1 + n2 − 2 [(n1 − 1)S1 + (n2 − 1)S2] 记 W(x) = (ˆµ1 − µˆ2) ′Σˆ −1 (x − µˆ1+ˆµ2 2 ), 从而经过训练后的分类器为 δ ∗ (X) = { 1, W(x) ≥ 常数 2, W(x) < 常数 • 当 c(1|2) c(2|1) π2 π1 = 1 时候, 上述分类器中的 常数 = 0 (线性判别器) Previous Next First Last Back Forward 16
·当=1时候， c21】 P(G=1x) log P(G=2x) logPi(x) p2(x) +log T2 =4-2)/公-1(x-1十)+log 2 =log-41-2)/-1(41+)/2+a1-)'-1x 从而Bayes分类器为Bayes处理下的线性判别器. 两个多元正态总体场合：X|G=gNn(μg,∑g),9=1,2.其中 TExample D1≠D2 ↓Example 容易得到， pm(x)/p(x)=ep[-5x(②1-5x+(2-625x-d Previous Next First Last Back Forward 17
• 当 c(1|2) c(2|1) = 1 时候, log P(G = 1|x) P(G = 2|x) = log p1(x) p2(x) + log π1 π2 = (µ1 − µ2) ′Σ −1 (x − µ1 + µ2 2 ) + log π1 π2 = log π1 π2 − (µ1 − µ2) ′Σ −1 (µ1 + µ2)/2 + (µ1 − µ2) ′Σ −1 x 从而Bayes 分类器为 Bayes 处理下的线性判别器. ↑Example 两个多元正态总体场合:X|G = g ∼ Np(µg, Σg), g = 1, 2. 其中 Σ1 ̸= Σ2. ↓Example 容易得到, p1(x)/p2(x) = exp[ − 1 2 x ′ (Σ−1 1 − Σ −1 2 )x + (µ ′ 1Σ −1 1 − µ ′ 2Σ −1 2 )x − d ] Previous Next First Last Back Forward 17
其中d=log()+(41-22)因此第一个总体的分 类域为 R:-x(1-5'x+(4-65x-4≥1og2g c(21)T1 当4g,∑g未知时候，使用训练样本得到其估计g=元g,g=Sg代 入，得到训练后的分类器 R:-2x(含1-5x+(81-2x-d之1og2元 c(12)T2 ·当器子=1时候，则上述分类法则为二次判别法则，QDA ·当㗊=1时候，则为Bayes处理下的QDA。 Previous Next First Last Back Forward 18
其中 d = 1 2 log( |Σ1| |Σ2| ) + 1 2 (µ ′ 1Σ −1 1 µ1 − µ ′ 2Σ −1 2 µ2) 因此第一个总体的分 类域为 R1 : − 1 2 x ′ (Σ−1 1 − Σ −1 2 )x + (µ ′ 1Σ −1 1 − µ ′ 2Σ −1 2 )x − d ≥ log c(1|2) c(2|1) π2 π1 当 µg, Σg 未知时候, 使用训练样本得到其估计 µˆg = x¯g, Σˆ g = Sg 代 入, 得到训练后的分类器. R1 : − 1 2 x ′ (Σˆ −1 1 − Σˆ −1 2 )x + (ˆµ ′ 1Σˆ −1 1 − µˆ ′ 2Σˆ −1 2 )x − dˆ≥ log c(1|2) c(2|1) π2 π1 • 当 c(1|2) c(2|1) π2 π1 = 1 时候，则上述分类法则为二次判别法则, QDA • 当 c(1|2) c(2|1) = 1 时候，则为 Bayes 处理下的 QDA。 Previous Next First Last Back Forward 18
多个类场合 ·假设有G=1,,k个类，观测X来自第G=g个类时有概 率函数，即XIG=g~Pg(x,先验概率为P(G=g=πg, 9=1,.,k ·决策函数为6(x)=元，当x∈R:时(i=1,k).其中 R1,·,R为2的划分. ·分类的损失函数为L(6(x),G)=c(g)>0,当6(x)=i,G=g 时候，其中c()=0. ·平均损失为 ECM=EL(6x,G=∑，∑Glg)PGio) Previous Next First Last Back Forward 19
多个类场合 • 假设有 G = 1, . . . , k 个类, 观测 X 来自第 G = g 个类时有概 率函数, 即 X|G = g ∼ pg(x), 先验概率为 P(G = g) = πg, g = 1, . . . , k. • 决策函数为 δ(x) = i, 当x ∈ Ri 时 (i = 1, . . . , k.). 其中 R1, . . . , Rk 为 Ω 的划分. • 分类的损失函数为 L(δ(x), G) = c(i|g) > 0, 当 δ(x) = i, G = g 时候, 其中 c(i|i) = 0. • 平均损失为 ECM = EL(δ(x), G) = ∑k g=1 πg ∑k j=1 c(j|g)P(j|g) Previous Next First Last Back Forward 19