最近邻法 直观想法：对于一个新样本，逐一与已知样 本比较，找出距离新样本最近的已知样本， 以该样本的类别作为新样本的类别
最近邻法 直观想法：对于一个新样本，逐一与已知样 本比较，找出距离新样本最近的已知样本， 以该样本的类别作为新样本的类别
最近邻法 最近邻分类器(nearest neighborhood classifier,.nnc):最 小距离分类器的一种极端的情况，以全部训练样 本作为代表点，计算测试样本写所有样本的距离 并以最近邻者的类别作为决策 最初的近邻法是由Cover和Hart于1968年提出的，随 后得到理论上深入的分析与研究，是菲参数法中 最重要的方法之一。 12
12 最近邻法
最近邻法 如何用数学语言来描述？ 最近邻法 样本集Sx={(x1,0),(x2,02),…,(xw,0x)} x:样本，日：类别标号，日，=1,2，…，c} 样本与，之间的距离x,x):比如欧氏距离，-x引 对未知样本x,求S×中与之距离最近的样本x,(类别为) 6(x,x）=min.δ(x,x,) j=1.....N 则将x分到日类，即(x)=日'（或记作ò(x)) 最近邻决策（一近邻决策）
最近邻法 如何用数学语言来描述？
(1)已知N个已知 (2)输入未知类别样 类别样本X 本x (3)计算x到 x∈X,(i=1: 2,..,N)的距 离d(x) (6)判x∈02 (4)找出最小距离 dm(x)=min{d (x) (5)看xm属于哪 一类：Xm∈02 14
14 (1)已知N个已知 类别样本X (2)输入未知类别样 本x (3)计算x到 xiX，(i=1, 2,…,N)的距 离di(x) (4)找出最小距离 dm(x)=min{di(x)} (5)看xm属于哪 一类：xmω2 (6) 判xω2
最近邻法的渐进错误率 最近邻法的错误率高于贝叶斯错误率，可以证明以下 关系式成立： Pspspe-) 由于一般情况下印*很小，因 P*≤P≤2P 此又可粗略表示成： 可粗略说最近邻法的渐近平 均错误率在贝叶斯错误率的 两倍之内。 g-1
最近邻法的渐进错误率 * * * (2 ) 1 C P P P P C * * P P 2P