武汉理工大学：《模式识别》课程授课教案（讲义）第1章绪论.pdf

第1章绪论模式识别是上世纪六十年代初迅速发展起来的一门学科。其研究的成果在很多科学和技术领域中得到了广泛的应用，推动了人工智能技术、图像处理、信号处理、计算机视觉、多媒体技术等多种学科的融合与发展，扩大了计算机应用的领域。了解与熟悉模式识别的一些基本概念与基本处理方法对从事该领域相关工作的研究人员具有十分重要的意义。从学科分类来看模式识别属于人工智能的范畴，旨在实现用机器完成以往只能由人类方能胜任的智能活动。1.1模式识别的基本概念1.1.1生物的识别能力人类一般都可以通过面部特征、声音、甚至步态等信息识别出自已熟知的人。人们通过特殊的信息处理方式去感知事物的类别，判断事物的能力被称为“模式识别”。在客观世界中，生物也普遍存在模式识别的能力，许多我们熟知的生物都具有模式识别的能力。例如蝙蝠的雷达系统、螳螂的视觉系统都是灵敏度非常高的模式识别系统。这些动植物通过功能强大的系统来感知周围环境并赖以生存。警犬能通过嗅觉判断疑犯的行踪：小猫会通过味觉判断一个物体是否是食物：向日葵总是自动感知太阳的方向：微生物会根据化学物质的浓度来判断应当繁殖还是逃离。只有具备了模式识别的能力，生物体才能有效感知外界环境，并对外界刺激采取适当的反应，也才能在客观世界中生存。当生物感知到某事物或现象时，会对该事物或现象的信息进行加工和处理，进而形成一种模式，然后将其与自身存储的模式相比较，如果找到一个与之匹配的模式，就可以将该事物或现象识别出来。生物之所以具有这种识别能力，是因为经过长期的训练学习，在它们体内已经建立了抽象的标准模式，当接收一个新模式后马上就能够判断其与标准模式的相似度，从而把它与最相近的标准模式划为一类。1.1.2模式识别的概念本书所说的模式识别可以定义为识别一个模式，其英文为PatternRecogniton。“Patterm”的本意是图案、式样，但在模式识别学科中，它是指从事物中抽象出来的特征，代表的不是一个具体的事物，而是事物所包含的信息特点。虽然世界上没有完全相同的两幅书法作品，但我们仍然可以识别出两幅书法作品是否出自同一书法家之手。所以模式（Pattern）在模式识别系统中所指的是从具体事物中抽象出来，用于识别事物类别的特征信息。识别是“Recognition”，直译成汉语可以是“再认知”，就是对已经具有一定先验知识的事

第 1 章绪论模式识别是上世纪六十年代初迅速发展起来的一门学科。其研究的成果在很多科学和技术领域中得到了广泛的应用，推动了人工智能技术、图像处理、信号处理、计算机视觉、多媒体技术等多种学科的融合与发展，扩大了计算机应用的领域。了解与熟悉模式识别的一些基本概念与基本处理方法对从事该领域相关工作的研究人员具有十分重要的意义。从学科分类来看，模式识别属于人工智能的范畴，旨在实现用机器完成以往只能由人类方能胜任的智能活动。 1.1 模式识别的基本概念 1.1.1 生物的识别能力人类一般都可以通过面部特征、声音、甚至步态等信息识别出自己熟知的人。人们通过特殊的信息处理方式去感知事物的类别，判断事物的能力被称为“模式识别”。在客观世界中，生物也普遍存在模式识别的能力，许多我们熟知的生物都具有模式识别的能力。例如蝙蝠的雷达系统、螳螂的视觉系统都是灵敏度非常高的模式识别系统。这些动植物通过功能强大的系统来感知周围环境并赖以生存。警犬能通过嗅觉判断疑犯的行踪；小猫会通过味觉判断一个物体是否是食物；向日葵总是自动感知太阳的方向；微生物会根据化学物质的浓度来判断应当繁殖还是逃离。只有具备了模式识别的能力，生物体才能有效感知外界环境，并对外界刺激采取适当的反应，也才能在客观世界中生存。当生物感知到某事物或现象时，会对该事物或现象的信息进行加工和处理，进而形成一种模式，然后将其与自身存储的模式相比较，如果找到一个与之匹配的模式，就可以将该事物或现象识别出来。生物之所以具有这种识别能力，是因为经过长期的训练学习，在它们体内已经建立了抽象的标准模式，当接收一个新模式后马上就能够判断其与标准模式的相似度，从而把它与最相近的标准模式划为一类。 1.1.2 模式识别的概念本书所说的模式识别可以定义为识别一个模式，其英文为 Pattern Recogniton。“Pattern” 的本意是图案、式样，但在模式识别学科中，它是指从事物中抽象出来的特征，代表的不是一个具体的事物，而是事物所包含的信息特点。虽然世界上没有完全相同的两幅书法作品，但我们仍然可以识别出两幅书法作品是否出自同一书法家之手。所以模式（Pattern）在模式识别系统中所指的是从具体事物中抽象出来，用于识别事物类别的特征信息。识别是 “Recognition”，直译成汉语可以是“再认知”，就是对已经具有一定先验知识的事

物去判断它是什么。由于模式是从具体事物中抽象出来的特征，因此它需要在长期的“学习”或“训练”过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看某个人的多幅不同姿态、光照、表情的照片，就可以利用这些照片的信息抽象归纳出这个人的面部特征。当我们拿到一张新的照片时，就能依据这些特征来判断该幅照片是否是属于这个人，也就是说是否能将这幅照片归到“某人”这一类别中去。书中讨论的“模式识别”是指利用计算机自动地把待识别模式划分到模式所属的类别中去。一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中某个具体的模式称为样本。模式识别就是研究通过计算机自动的将待识别的模式分配到各个模式类中的技术。模式识别的本质是对事物的分类。学习或训练的过程是建立类别标签和类别模式之间的关联规则，识别则是将新的、未知的事物根据已建立的规则划归到已知的类别中去。1.1.3模式识别的特点“模式识别学科”就是通过计算机用数学技术方法来研究模式的自动处理和判读的学科。生物模式识别的研究属生物学、神经生理学和脑科学的范畴，作为信息学科中重要分支的模式识别学科，是研究如何让计算机具有判别模式的能力，将未知类别的事物划归到已知的类别中去的学科。理想的模式识别系统是达到生物模式识别的性能，但目前机器识别的效能还远远达不到生物识别的水平。为了学习的方便，我们先给出模式识别相关术语的描述：1.学习和分类学习在人类的日常生活中伴演的重要的角色，在人类的模式识别活动中，就是通过学习形成类别的模式特征。人类从出生起就开始学习活动，并随着年龄的增长不断增强这种能力。孩子们通过学习知道应该称呼什么样的人为爷爷、什么样的人为奶奶，这种识别能力就是通过日常大量的爷爷和奶奶的样本学习得到。人类在出生或年龄很小时并不知道爷爷、奶奶应有什么样的特征，但后天的学习过程使他们逐渐掌握这样分辨能力。给学习下个定义就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准的过程；分类就是依据特征对待识别的事物进行归类，从而确定该事物的类别属性。2.有监督学习和无监警学习学习依据有无导师，可分为有监督学习和无监督学习。有监督学习方法预先把模式样本分为训练集和测试集，训练集用于学习出识别模型，测试集用于测试识别模型的性能。在学习的过程中已知训练样本的类别信息，识别的结果是给待识别样本加上了类别标号，因此训练样本集必须由带标号的样本组成。而无监督学习方法不去区分训练集和测试集，只有要分析的数据集本身，所有样本并没有类别标号。如果数据集皇现某种聚集性，则可按自然的聚集性分类但不以与某种预先的分类标号相匹配为目的。3.模式的紧致性

物去判断它是什么。由于模式是从具体事物中抽象出来的特征，因此它需要在长期的“学习” 或“训练”过程中，从大量属于同一种类的事物中归纳总结出来。例如我们看某个人的多幅不同姿态、光照、表情的照片，就可以利用这些照片的信息抽象归纳出这个人的面部特征。当我们拿到一张新的照片时，就能依据这些特征来判断该幅照片是否是属于这个人，也就是说是否能将这幅照片归到“某人”这一类别中去。书中讨论的“模式识别”是指利用计算机自动地把待识别模式划分到模式所属的类别中去。一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中的模式的总体称为模式类，其中某个具体的模式称为样本。模式识别就是研究通过计算机自动的将待识别的模式分配到各个模式类中的技术。模式识别的本质是对事物的分类。学习或训练的过程是建立类别标签和类别模式之间的关联规则，识别则是将新的、未知的事物根据已建立的规则划归到已知的类别中去。 1.1.3 模式识别的特点 “模式识别学科”就是通过计算机用数学技术方法来研究模式的自动处理和判读的学科。生物模式识别的研究属生物学、神经生理学和脑科学的范畴，作为信息学科中重要分支的模式识别学科，是研究如何让计算机具有判别模式的能力，将未知类别的事物划归到已知的类别中去的学科。理想的模式识别系统是达到生物模式识别的性能，但目前机器识别的效能还远远达不到生物识别的水平。为了学习的方便，我们先给出模式识别相关术语的描述： 1.学习和分类学习在人类的日常生活中伴演的重要的角色，在人类的模式识别活动中，就是通过学习形成类别的模式特征。人类从出生起就开始学习活动，并随着年龄的增长不断增强这种能力。孩子们通过学习知道应该称呼什么样的人为爷爷、什么样的人为奶奶，这种识别能力就是通过日常大量的爷爷和奶奶的样本学习得到。人类在出生或年龄很小时并不知道爷爷、奶奶应有什么样的特征，但后天的学习过程使他们逐渐掌握这样分辨能力。给学习下个定义就是从大量的样本中发现属于同一类别的事物的共同特征，建立类别判定的特征标准的过程；分类就是依据特征对待识别的事物进行归类，从而确定该事物的类别属性。 2.有监督学习和无监督学习学习依据有无导师，可分为有监督学习和无监督学习。有监督学习方法预先把模式样本分为训练集和测试集，训练集用于学习出识别模型，测试集用于测试识别模型的性能。在学习的过程中已知训练样本的类别信息，识别的结果是给待识别样本加上了类别标号，因此训练样本集必须由带标号的样本组成。而无监督学习方法不去区分训练集和测试集，只有要分析的数据集本身，所有样本并没有类别标号。如果数据集呈现某种聚集性，则可按自然的聚集性分类，但不以与某种预先的分类标号相匹配为目的。 3.模式的紧致性

模式识别中分类器设计与模式在特征空间的分布方式有密切关系，例如图1-1(a)、(b)与(c)分别表示了两类模式在空间分布的三种状况。其中(a)中两类样本有各自明确的区域，它们之间的分界线具有简单的形式，因而也较易区分。（b)中两类虽有各自不同的区域，但分界面的形式比较复杂，因而设计分类器的难度要大得多。如果遇到(c)类的情况则几乎无法将其正确分类。注：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。XXXXXxXXXO?X(a)(b)(c)图1-1模式在特征空间的分布根据以上讨论可以定义一个紧致集，它具有下列性质：（1)临界点的数量与总的点数相比很少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。（3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。然而很多实际问题在原始的量测空间表示时往往不满足紧致性，但它们可以通过变换，将数据从原始的量测的空间转换到特征空间，在相应的特征空间中满足紧致性，从而也达到模式可分。模式识别的一个关键步骤就是要寻找这样一种变换，即选择一种特征空间，当数据投影到这个特征空间后，使不同类别的样本能正确地分开。因此在讨论模式识别的问题时，通常假设同一类的各个模式在该空间中构成一个紧致集。至于如何找到这种变换仍是当前模式识别领域研究的热点。4.相似性判断相似性被用来衡量两个模式之间的相似程度。两个模式属于同一类是由于它们具有某些相似的属性，因此可选择适当的方法去度量它们之间的相似性。在模式识别系统中，计算机也正是依据模式之间的相似程度进行分类的。例如在特征空间中可以用特征向量表示样本的属性，则可用向量的空间距离来度量模式的相似性。在找到合适的特征空间情况下，同类样本应具有较大的相似性，而不同类别样本则相似性较小。模式识别是利用同一类别的模式具有相似的属性来完成分类，因此相似性是度量模式识别理论的基础。事实上，生物体能够识别出未见过的某个事物，也是一种存在形变和其他失真的相似性识别。5.识别结果的正确性模式识别的原理是“根据经验判断”，而经验数据总是有限的，无法包括所有可能的分类情况。因此，识别是在认知基础上的“识别”，而不是“确认”，识别的结果只能在一定的概率和置信度上表达事物所属的真实类别。模式识别中的学习或训练是从训练样本集中找出某种数学表达式的最优解，这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。例如图1-2

模式识别中分类器设计与模式在特征空间的分布方式有密切关系，例如图 1-1(a)、(b)与(c) 分别表示了两类模式在空间分布的三种状况。其中(a)中两类样本有各自明确的区域，它们之间的分界线具有简单的形式，因而也较易区分。(b)中两类虽有各自不同的区域，但分界面的形式比较复杂，因而设计分类器的难度要大得多。如果遇到(c)类的情况则几乎无法将其正确分类。注：在多类样本中，某些样本的值有微小变化时就变成另一类样本称为临界样本（点）。（a） (b) (c) 图 1-1 模式在特征空间的分布根据以上讨论可以定义一个紧致集，它具有下列性质：(1)临界点的数量与总的点数相比很少。(2)集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。(3)每个内点都有一个足够大的邻域，在该领域中只包含同一集合中的点。然而很多实际问题在原始的量测空间表示时往往不满足紧致性，但它们可以通过变换，将数据从原始的量测的空间转换到特征空间，在相应的特征空间中满足紧致性，从而也达到模式可分。模式识别的一个关键步骤就是要寻找这样一种变换，即选择一种特征空间，当数据投影到这个特征空间后，使不同类别的样本能正确地分开。因此在讨论模式识别的问题时，通常假设同一类的各个模式在该空间中构成一个紧致集。至于如何找到这种变换仍是当前模式识别领域研究的热点。 4.相似性判断相似性被用来衡量两个模式之间的相似程度。两个模式属于同一类是由于它们具有某些相似的属性，因此可选择适当的方法去度量它们之间的相似性。在模式识别系统中，计算机也正是依据模式之间的相似程度进行分类的。例如在特征空间中可以用特征向量表示样本的属性，则可用向量的空间距离来度量模式的相似性。在找到合适的特征空间情况下，同类样本应具有较大的相似性，而不同类别样本则相似性较小。模式识别是利用同一类别的模式具有相似的属性来完成分类，因此相似性是度量模式识别理论的基础。事实上，生物体能够识别出未见过的某个事物，也是一种存在形变和其他失真的相似性识别。 5.识别结果的正确性模式识别的原理是“根据经验判断”，而经验数据总是有限的，无法包括所有可能的分类情况。因此，识别是在认知基础上的“识别”，而不是“确认”，识别的结果只能在一定的概率和置信度上表达事物所属的真实类别。模式识别中的学习或训练是从训练样本集中找出某种数学表达式的最优解，这个最优解使分类器得到一组参数，按这种参数设计的分类器使人们设计的某种准则达到极值。例如图 1-2

为分布在二维特征空间的两类样本，分别用“×”与“△”表示。从图中可见这两类样本在二维特征空间中有重叠区域，很难找到一个简单的分界线将其完全分开。如果我们用直线作为分界线，对图 1-2 中所示的样本分布情况，无论直线参数如何设计，总会有错分类发生。如果我们以分类数错误最小为原则分类，则图中直线 A 可能是最佳的分界线，它使错分类的样本数量为最小。但是如果将 “×”样本错分成“△”类所造成的损失要比将“△”分成“×”类严重，则偏向使对“×”类样本的错分类进一步减少，可以使总的损失为最小，那么直线 B 就比直线 A 更优。可见分类器参数的选择结果取决于准则函数。设计者选择不同准则函数，获得最优解对应不同的学习结果，得到性能不同的分类器。图 1-2 线性分类器对样本的分类 1.1.4 模式的描述方法及特征空间在模式识别中，被观测的每一个对象称为样本（举例：病人；产品；目标等），本书中用大写英文字母 X，Y 或者 Z 表示样本。如果一批样品共有 N 个，则分别记为 X1，X2，., XN 。如果一批样本分别来自 m 个不同的类，来自第一类的样本有 N1 个，来自第二类的样本有 N2 个，来自第 m 类的样本有 Nm 个，则可以表示为： 1 2 (1) (1) (1) (2) (2) (2) ( ) ( ) ( ) 1 2 1 2 1 2 , , , , , , ,., , , , m m m m X X X X X X X X X N N N 其中记号 ( )j Xi 表示第 j 类的第 i 个样本。对每个样本必须确定一些与识别有关的属性，每个属性称为一个特征，如人脸识别中双目之间的距离、嘴的宽度和下颌的弧度等。对特征用小写英文字母 x，y 或 z 表示。假设一个待识别的样本有 n 个特征，该样本的模式可用向量、矩阵或几何等方式表示，样本的 n 维待征所张成的空间称为样本的 n 维的特征空间，如图 1-3 所示

武汉理工大学：《模式识别》课程授课教案（讲义）第1章 绪论

武汉理工大学：《模式识别》课程授课教案（讲义）第1章绪论