第一章绪论 模式识别的概念 在人类科学技术的发展历史中,人们总是力图使用某种机器来扩展人类自身的能力,例 如:蒸汽机和电动机—体力,火车和飞机一行走,望远镜和显微镜—视力。那么计算机则是 部分的扩展了人类的职能 “机器智能”,机器智能系统应该包括三个部分: 1、感知部分:相当于人的眼、耳、触觉、嗅觉等等; 模式识别 2、学习部分:模仿人在自己的行动中总结经验,改善自身能力的功能:-机器学习 3、思维部分:相当于人的逻辑推理和计算能力 人工智能 从语义上讲,模式是识别的对象,我们日常生活中的各种事物都可以称为是模式。模式 识别活动对我们人来说几乎每时每刻都要发生 模式:泛指一切客观事物的存在形式。从工程角度讲是指客观事物存在形式的数学表达,这 种表达方式可以是多种多样的,依据具体对象,具体问题,需要我们人来确定的。 识别:人的识别过程是一个非常复杂的心理和生理过程,我们的识别过程不可能模拟人的功 能实现,例如飞机并不是模仿鸟类用翅膀拍打空气。从工程的角度讲,识别可以看作是一个 分类问题:已知有M个类别Ω21Ω2,…ΩM,问输入模式(待识模式)X属于哪一类? 二模式识别的应用 随着计算机技术的发展,应用的普及以及向各个领域的渗透,模式识别技术的应用越来 越广泛。 1、工业用途:产品质量检验,设备故障检测,智能机器人的感知系统; 2、商业用途:钱币的自动识伪,信函的自动分拣,电话信息查询,声控拨号 3、医学用途:对心电、脑电、CT等信号进行处理和识别,自动进行疾病的诊断 4、安全领域的应用:生理特征鉴别 Biometrics,指纹识别,掌纹识别,视网膜识别, 虹膜识别,笔迹鉴别,人面像识别,声纹识别等等,可以用于安全门,关键设备的 启动和停止,以及网上电子商务的身份确认。对公安对象的刑侦和鉴别: 5、军事领域:巡航导弹的景物识别,战斗单元的敌我识别; 6、办公自动化:文字识别技术和声音识别技术 7、数据挖掘:数据分析; 8、网络应用:文本分类
1 第一章 绪论 一.模式识别的概念 在人类科学技术的发展历史中，人们总是力图使用某种机器来扩展人类自身的能力，例 如：蒸汽机和电动机—体力，火车和飞机—行走，望远镜和显微镜—视力。那么计算机则是 部分的扩展了人类的职能。 “机器智能”，机器智能系统应该包括三个部分： 1、 感知部分：相当于人的眼、耳、触觉、嗅觉等等； -- 模式识别 2、 学习部分：模仿人在自己的行动中总结经验，改善自身能力的功能；-- 机器学习 3、 思维部分：相当于人的逻辑推理和计算能力； -- 人工智能 从语义上讲，模式是识别的对象，我们日常生活中的各种事物都可以称为是模式。模式 识别活动对我们人来说几乎每时每刻都要发生。 模式：泛指一切客观事物的存在形式。从工程角度讲是指客观事物存在形式的数学表达，这 种表达方式可以是多种多样的，依据具体对象，具体问题，需要我们人来确定的。 识别：人的识别过程是一个非常复杂的心理和生理过程，我们的识别过程不可能模拟人的功 能实现，例如飞机并不是模仿鸟类用翅膀拍打空气。从工程的角度讲，识别可以看作是一个 分类问题：已知有 M 个类别 1 2 , , , M ，问输入模式（待识模式） X 属于哪一类？ 二.模式识别的应用 随着计算机技术的发展，应用的普及以及向各个领域的渗透，模式识别技术的应用越来 越广泛。 1、 工业用途：产品质量检验，设备故障检测，智能机器人的感知系统； 2、 商业用途：钱币的自动识伪，信函的自动分拣，电话信息查询，声控拨号； 3、 医学用途：对心电、脑电、CT 等信号进行处理和识别，自动进行疾病的诊断； 4、 安全领域的应用：生理特征鉴别 Biometrics，指纹识别，掌纹识别，视网膜识别， 虹膜识别，笔迹鉴别，人面像识别，声纹识别等等，可以用于安全门，关键设备的 启动和停止，以及网上电子商务的身份确认。对公安对象的刑侦和鉴别； 5、 军事领域：巡航导弹的景物识别，战斗单元的敌我识别； 6、 办公自动化：文字识别技术和声音识别技术； 7、 数据挖掘：数据分析； 8、 网络应用：文本分类
计算机应用学科 模式识别 图像处理 自然语言处 语音识别 汉字识别 图像识别 生理特征鉴 别 信息检索 语言理解 机器翻译 三模式识别的研究方法 模式识别从方法上来分,可以分为两大类: 1、统计模式识别:是一种数学方法,将模式看作为空间中的一个点的集合,采用解析 几何和概率论、数理统计的方法,判别输入模式的类别属性: 2、结构模式识别:也称为句法模式识别,将模式看成是有结构、有层次的,是由一些 基本元素有组织的构成,一般采用字符串的形式对模式进行描述,利用形式语言和 自动机理论对模式的结构进行分析和判别。(可以以汉字为例进行说明) 四模式识别的发展历史 作为模式识别方法来说,最早形成的是统计识别方法。在60年代初,在数理统计学中 已经形成了完整的统计决策理论,随着计算机的发展,统计决策理论逐渐得到应用,形成了 统计模式识别方法 在70年代中期,美籍华人傅京孙教授建立了句法模式识别理论,在他的大力推动下, 模式识别理论和技术受到了给各学科的重视 到了80年代,在傅京孙教授的指导下,我国的一批专家学者在美国进修,回国后开展 了我国的模式识别研究。现在我国的模式识别研究水平在多个领域已经达到了世界先进水 #HF: IEEE Transaction on Pattern Analysis and Machine Intelligence Pattern Recognition Pattern Recognition letter 模式识别与人工智能 教材:《模式识别》,清华大学出版社,边肇祺,张学工 《模式识别及其应用》,科学出版社,傅京孙 《现代模式识别》,国防科技大学出版社,孙即祥 2
2 计算机应用学科 语音识别 图像处理 生理特征鉴 别 信息检索 模式识别 自然语言处 理 汉字识别 图像识别 语言理解 机器翻译 三.模式识别的研究方法 模式识别从方法上来分，可以分为两大类： 1、 统计模式识别：是一种数学方法，将模式看作为空间中的一个点的集合，采用解析 几何和概率论、数理统计的方法，判别输入模式的类别属性； 2、 结构模式识别：也称为句法模式识别，将模式看成是有结构、有层次的，是由一些 基本元素有组织的构成，一般采用字符串的形式对模式进行描述，利用形式语言和 自动机理论对模式的结构进行分析和判别。（可以以汉字为例进行说明） 四.模式识别的发展历史 作为模式识别方法来说，最早形成的是统计识别方法。在 60 年代初，在数理统计学中 已经形成了完整的统计决策理论，随着计算机的发展，统计决策理论逐渐得到应用，形成了 统计模式识别方法。 在 70 年代中期，美籍华人傅京孙教授建立了句法模式识别理论，在他的大力推动下， 模式识别理论和技术受到了给各学科的重视。 到了 80 年代，在傅京孙教授的指导下，我国的一批专家学者在美国进修，回国后开展 了我国的模式识别研究。现在我国的模式识别研究水平在多个领域已经达到了世界先进水 平。 期刊：IEEE Transaction on Pattern Analysis and Machine Intelligence Pattern Recognition Pattern Recognition Letter 模式识别与人工智能 教材：《模式识别》，清华大学出版社，边肇祺，张学工 《模式识别及其应用》，科学出版社，傅京孙 《现代模式识别》，国防科技大学出版社，孙即祥
五.统计模式识别系统 待识模式数据采集及预 特征提取与选 识别结果 模式分类 分类 训练模式 数据采集及预 特征提取与选 分类器设计 统计模式识别系统包括两个部分:训练和识别 l、模式的采集和预处理 就是根据具体问题,使用相应的设备或传感器对要识别的对象进行信息采集,并将这些 信息转化为数字量输入计算机,每个模式的这种数字量表示可以称为一个“样本”。例如, 汽车车型的识别,需要通过摄像机或照相机拍摄汽车的照片,然后转化为数字图像输入到计 算机中;语音信号需要通过麦克风转化为电信号,然后再通过AD采样形成一定的数字波 形输入到计算机中 2、特征提取与选择 1)为什么要进行特征提取? 通常来说通过数据采集输入到计算机中的原始样本数据量比较大,例如一幅图像或一个 波形的数据量要有几十K或上百K,这样处理起来非常困难;同时在原始样本中还存在着 很多无用数据,例如在汽车车型识别中,图像中的道路和行人,以及其它建筑物都属于无用 信息,对于识别任务来说没有任何意义,应该去除掉,否则在识别时会产生不利的影响 2)什么是特征? 特征是从模式得到的对分类有用的度量、属性。所谓特征应该能够反映不同类别之间的 本质差别。例如下面的一组图形,是几个两类分类问题,位于同一列上的三个样本属于一类。 因國四图 △ 囟囚囚 在统计模式识别中,模式的特征一般表示为一组数字,这组数字构成一个矢量,称为是 特征矢量。 3)如何抽取和表示特征? 特征抽取的方法不是模式识别研究的内容,这需要由其它知识来完成,比如说图像处理 信号处理等等,对于一个特定的模式识别问题,到底要抽取那些特则来作为识别特征,也没 有一个具体统一的方法可以指导我们来进行,都需要根据具体问题来具体分析,选择出一组
3 五.统计模式识别系统 数据采集及预 处理 特征提取与选 择 模式分类 数据采集及预 处理 特征提取与选 择 分类器设计 待识模式 训练模式 识别结果 分类 训练 统计模式识别系统包括两个部分：训练和识别。 1、 模式的采集和预处理 就是根据具体问题，使用相应的设备或传感器对要识别的对象进行信息采集，并将这些 信息转化为数字量输入计算机，每个模式的这种数字量表示可以称为一个“样本”。例如， 汽车车型的识别，需要通过摄像机或照相机拍摄汽车的照片，然后转化为数字图像输入到计 算机中；语音信号需要通过麦克风转化为电信号，然后再通过 A/D 采样形成一定的数字波 形输入到计算机中。 2、 特征提取与选择 1) 为什么要进行特征提取？ 通常来说通过数据采集输入到计算机中的原始样本数据量比较大，例如一幅图像或一个 波形的数据量要有几十 K 或上百 K，这样处理起来非常困难；同时在原始样本中还存在着 很多无用数据，例如在汽车车型识别中，图像中的道路和行人，以及其它建筑物都属于无用 信息，对于识别任务来说没有任何意义，应该去除掉，否则在识别时会产生不利的影响。 2) 什么是特征？ 特征是从模式得到的对分类有用的度量、属性。所谓特征应该能够反映不同类别之间的 本质差别。例如下面的一组图形，是几个两类分类问题，位于同一列上的三个样本属于一类。 在统计模式识别中，模式的特征一般表示为一组数字，这组数字构成一个矢量，称为是 特征矢量。 3) 如何抽取和表示特征？ 特征抽取的方法不是模式识别研究的内容，这需要由其它知识来完成，比如说图像处理， 信号处理等等，对于一个特定的模式识别问题，到底要抽取那些特则来作为识别特征，也没 有一个具体统一的方法可以指导我们来进行，都需要根据具体问题来具体分析，选择出一组
既能反映模式的本质,又容易抽取的特征。下面举一个实际例子来说明以下特征抽取的过程 例一:苹果和橙子的自动分拣机 苹果和橙子通过摄像机以数字图像的形式输入计算,下一步对两种图像进行分类。我们 不可能直接对原始图形进行分类,即使是256*256的图像,数据量也要达到65536*3。因此 需要对图像进行处理,抽取出特征。 从我们人的角度来观察,苹果和橙子的主要差别在于颜色和形状 颜色特征:数字图像上每一点的颜色可以分为三个分量:红,绿,蓝,每个分量可以用 个8位数来度量。其中蓝色分量对我们这个问题来说是没有用处的,我们只需关注红色和 绿色分量 抽取颜色特征之前,首先需要对图像进行分割,确定出前景和背景,也就是要寻找到我 们要识别的苹果或橙子图像边缘,从而确定哪些点是我们下一步要抽取特征的前景点,哪些 点是我们不需要关心的背景点 然后我们需要解决的问题是在图像中前景点的数量很多,而且每一点的颜色值都不同, 我们是要选择哪一点的颜色值作为特征。这里有多种办法,首先在图像的前景中规定一个中 心区域,下一步只考虑这个中心区域的点。一种办法是将中心区域中的每一点的颜色值取平 均,以平均的红色分量值和平均的绿色分量值作为特征;另一种办法是在中心区域中做出红 色分量的直方图和绿色分量的直方图,从直方图中寻找最大值点,此点所对应的颜色值为取 此颜色值点最多的颜色值。红色分量的颜色值用r表示,绿色分量的颜色值用g表示 我们需要解决的另一个问题是如何将两个颜色值转化为特征值,一种最简单的方式是直 接以两个颜色值作为特征值,(,g):另外一种方式是取两种颜色的比值作为特征值 形状特征:抽取形状特征时,首先也需要对图像进行分割,寻找到图像的边缘。为了使
4 既能反映模式的本质，又容易抽取的特征。下面举一个实际例子来说明以下特征抽取的过程。 例一：苹果和橙子的自动分拣机。 苹果和橙子通过摄像机以数字图像的形式输入计算，下一步对两种图像进行分类。我们 不可能直接对原始图形进行分类，即使是 256*256 的图像，数据量也要达到 65536*3。因此 需要对图像进行处理，抽取出特征。 从我们人的角度来观察，苹果和橙子的主要差别在于颜色和形状。 颜色特征：数字图像上每一点的颜色可以分为三个分量：红，绿，蓝，每个分量可以用 一个 8 位数来度量。其中蓝色分量对我们这个问题来说是没有用处的，我们只需关注红色和 绿色分量。 抽取颜色特征之前，首先需要对图像进行分割，确定出前景和背景，也就是要寻找到我 们要识别的苹果或橙子图像边缘，从而确定哪些点是我们下一步要抽取特征的前景点，哪些 点是我们不需要关心的背景点。 然后我们需要解决的问题是在图像中前景点的数量很多，而且每一点的颜色值都不同， 我们是要选择哪一点的颜色值作为特征。这里有多种办法，首先在图像的前景中规定一个中 心区域，下一步只考虑这个中心区域的点。一种办法是将中心区域中的每一点的颜色值取平 均，以平均的红色分量值和平均的绿色分量值作为特征；另一种办法是在中心区域中做出红 色分量的直方图和绿色分量的直方图，从直方图中寻找最大值点，此点所对应的颜色值为取 此颜色值点最多的颜色值。红色分量的颜色值用 r 表示，绿色分量的颜色值用 g 表示。 我们需要解决的另一个问题是如何将两个颜色值转化为特征值，一种最简单的方式是直 接以两个颜色值作为特征值， (r g, ) ；另外一种方式是取两种颜色的比值作为特征值: r c g = 形状特征：抽取形状特征时，首先也需要对图像进行分割，寻找到图像的边缘。为了使
问题简单,我们假设物体都是处于标准的直立位置。 我们要想完全描述一个苹果或橙子的形状是非常困难的,因为一个实际的苹果或橙子的 形状不可能是一个规则图形,这里我们的主要任务是要对苹果和橙子进行分类,因此可以采 用一种简单的办法来对形状进行一个粗略的描述 首先我们可以寻找到图像边缘的顶部,底部和最宽处,从而可以测量出顶部到最宽处的 垂直距离x,和顶部到底部距离h。这两个数值我们不应该直接作为特征使用,因为每个苹 果和橙子的大小是不同,因此高度h的变化范围会比较大,而且不能直接反映两类之间的差 别。我们可以想象对于苹果或橙子来说,这两个值之比应该能够反映出两类之间的差异,对 同一类来说相差不大,对不同类来说相差比较大。因此可以取s h 综合两种特征,颜色我们也选择比值c作为特征,就可以构成一个二维的特征矢量: 颜色 形状 「1.241 例如某个红苹果图像的特征矢量经过计算之后为:x1=037° 4)模式的特征空间表示 特征是以矢量的形式表示的,矢量可以看作欧式空间中的一个点,这个空间称为是特征 空间。从广义上来看,欧式空间只是空间的一种形式,所谓空间,从数学意义上讲就是一个 集合,整个模式识别问题可以看作是多个空间之间的转换问题。 实物空间 模式空间 特征空间 类别空间 首先,待识别的对象存在于一个实物空间中,这个空间由世界上所有可能出现的物体组 成:然后,真实的物体通过摄像机等传感器变成数字量传入到计算机中,称为一个模式,所 有可能的模式构成了一个模式空间,由实物空间到模式空间的转换(映射)是由数据采集环 节来完成的;我们从输入的模式或样本中提取出识别特征,构成一个特征矢量,这样就完成 了一个由模式空间到特征空间的映射,为了处理方便,在统计模式识别中一般将特征空间视 为欧式空间;最后,由分类环节完成从特征空间到类别空间的映射,类别空间中包含我们所 有解决的问题中的所有类别。 所有的空间映射过程都是一对多的映射。而且这种映射往往是非线性的复杂映射 )特征选择的作用 特征选择的过程并不是每一个识别系统都必须的环节,如果我们从模式中抽取出的特征 合适的话,直接可以用这个特征矢量来进行识别。然而在大多数情况下,我们无法直观的找
5 问题简单，我们假设物体都是处于标准的直立位置。 我们要想完全描述一个苹果或橙子的形状是非常困难的，因为一个实际的苹果或橙子的 形状不可能是一个规则图形，这里我们的主要任务是要对苹果和橙子进行分类，因此可以采 用一种简单的办法来对形状进行一个粗略的描述。 首先我们可以寻找到图像边缘的顶部，底部和最宽处，从而可以测量出顶部到最宽处的 垂直距离 x ，和顶部到底部距离 h 。这两个数值我们不应该直接作为特征使用，因为每个苹 果和橙子的大小是不同，因此高度 h 的变化范围会比较大，而且不能直接反映两类之间的差 别。我们可以想象对于苹果或橙子来说，这两个值之比应该能够反映出两类之间的差异，对 同一类来说相差不大，对不同类来说相差比较大。因此可以取 x s h = 。 综合两种特征，颜色我们也选择比值 c 作为特征，就可以构成一个二维的特征矢量： c s = = x 颜色 形状 。 例如某个红苹果图像的特征矢量经过计算之后为： 1.24 0.37 = 1 x 。 4) 模式的特征空间表示 特征是以矢量的形式表示的，矢量可以看作欧式空间中的一个点，这个空间称为是特征 空间。从广义上来看，欧式空间只是空间的一种形式，所谓空间，从数学意义上讲就是一个 集合，整个模式识别问题可以看作是多个空间之间的转换问题。 物体1 物体2 物体3 物体4 物体5 物体6 实物空间 模式1 模式2 模式3 模式4 模式5 模式6 模式空间 特征1 特征2 特征3 特征4 特征5 特征6 类别1 类别2 特征空间 类别空间 首先，待识别的对象存在于一个实物空间中，这个空间由世界上所有可能出现的物体组 成；然后，真实的物体通过摄像机等传感器变成数字量传入到计算机中，称为一个模式，所 有可能的模式构成了一个模式空间，由实物空间到模式空间的转换（映射）是由数据采集环 节来完成的；我们从输入的模式或样本中提取出识别特征，构成一个特征矢量，这样就完成 了一个由模式空间到特征空间的映射，为了处理方便，在统计模式识别中一般将特征空间视 为欧式空间；最后，由分类环节完成从特征空间到类别空间的映射，类别空间中包含我们所 有解决的问题中的所有类别。 所有的空间映射过程都是一对多的映射。而且这种映射往往是非线性的复杂映射。 5) 特征选择的作用 特征选择的过程并不是每一个识别系统都必须的环节，如果我们从模式中抽取出的特征 合适的话，直接可以用这个特征矢量来进行识别。然而在大多数情况下，我们无法直观的找