基于灰度信息和支持向量机的人眼检测方法

工程科学学报，第37卷，第6期：804811,2015年6月 Chinese Journal of Engineering,Vol.37,No.6:804-811,June 2015 D0l:10.13374/j.issn2095-9389.2015.06.019:http://journals.ustb.edu.cn 基于灰度信息和支持向量机的人眼检测方法 于明鑫”，周远松2，王向周区，林英姿》，王渝 1)北京理工大学自动化学院，北京1000812)北京科技大学土木与环境工程学院，北京100083 3)美国东北大学工程学院，波士顿02148 ☒通信作者，E-mail:wangxiangzhoubit@gmail.com 摘要提出一种基于灰度信息和支持向量机的人眼检测方法.首先，利用人眼区域灰度变化比人脸其他部位灰度变化明 显的特征，采用图像灰度二阶矩（方差）建立人眼方差滤波器，在固定人眼搜索区域内，应用人眼方差滤波器搜索候选人眼图 像：然后，使用训练的支持向量机分类器精确检测人眼区域位置：最后，采用图像灰度信息率定位人眼中心（虹膜中心）.该方 法在BoD、FERET和MM人脸数据库中的测试结果显示：没有佩戴眼镜人脸图像正确率分别为98.2%、97.8%和98.9%， 406幅佩戴眼镜人脸图像正确率为94.9%：人眼中心定位正确率分别为90.5%、88.3%和96.1%.通过与目前方法比较，该 方法获得较好的检测效果 关键词模式识别：人眼检测：支持向量机：灰度 分类号TP391.4 Eye detection method using gray intensity information and support vector machines YU Ming-xin,ZHOU Yuan-song?,WANG Xiang-zhou,LIN Ying-i,WANG Yu) 1)School of Automation,Beijing Institute of Technology,Beijing 100081,China 2)Civil and Environmental Engineering School,University of Science and Technology Beijing,Beijing 100083,China 3)Engineering College,Northeastem University,Boston 02148,USA Corresponding author,E-mail:wangxiangzhoubit@gmail.com ABSTRACT This article introduces an efficient eye detection method based on gray intensity information and support vector machines (SVM).Firstly,using the evidence that gray intensity variation in the eye region is obvious,an eye variance filter (EVF) was constructed.Within the selected eye search region,the eye variance filter was used to find out eye candidate regions.Secondly, a trained support vector machine classifier was employed to detect the precise eye location among these eye candidate regions.Lastly, the eye center,i.e.,iris center,could be located by the proposed gray intensity information rate.The proposed method was evaluated on the BiolD,FERET,and IMM face databases,respectively.The correct rates of eye detection on face images without glasses are 98.2%,97.8%and 98.9%respectively and that with glasses is 94.9%.The correct rates of eye center localization are 90.5%, 88.3%and 96.1%,respectively.Compared with state-of the-art methods,the proposed method achieves good detection performance. KEY WORDS pattern recognition:eye detection:support vector machines:gray scale 人眼与人脸其他部位（如鼻子和嘴巴）相比具有跟踪系统和虚拟现实 突出和稳定的特征，因此人眼检测是人脸和其他部位 目前，人眼检测方法主要有基于外形方法、基于外 检测和提取的基础.同时，人眼检测在很多领域中具 貌特征方法和基于混合方法.基于外形方法主要有可 有重要的应用价值，例如人脸面部特征识别、人眼视线 变形模板法Ⅲ、边缘提取法☒等.可变形模板法虽能 收稿日期：2014-03-12 基金项目：国家留学基金委资助项目(201306030055)

工程科学学报，第 37 卷，第 6 期:804--811，2015 年 6 月 Chinese Journal of Engineering，Vol． 37，No． 6: 804--811，June 2015 DOI: 10． 13374 /j． issn2095--9389． 2015． 06． 019; http: / /journals． ustb． edu． cn 基于灰度信息和支持向量机的人眼检测方法 于明鑫1) ，周远松2) ，王向周1) ，林英姿3) ，王 渝1) 1) 北京理工大学自动化学院，北京 100081 2) 北京科技大学土木与环境工程学院，北京 100083 3) 美国东北大学工程学院，波士顿 02148  通信作者，E-mail: wangxiangzhoubit@ gmail． com 摘 要 提出一种基于灰度信息和支持向量机的人眼检测方法． 首先，利用人眼区域灰度变化比人脸其他部位灰度变化明 显的特征，采用图像灰度二阶矩(方差)建立人眼方差滤波器，在固定人眼搜索区域内，应用人眼方差滤波器搜索候选人眼图 像;然后，使用训练的支持向量机分类器精确检测人眼区域位置;最后，采用图像灰度信息率定位人眼中心(虹膜中心)． 该方 法在 BioID、FERET 和 IMM 人脸数据库中的测试结果显示:没有佩戴眼镜人脸图像正确率分别为 98. 2% 、97. 8% 和 98. 9% ， 406 幅佩戴眼镜人脸图像正确率为 94. 9% ;人眼中心定位正确率分别为 90. 5% 、88. 3% 和 96. 1% ． 通过与目前方法比较，该 方法获得较好的检测效果． 关键词 模式识别; 人眼检测; 支持向量机; 灰度 分类号 TP391. 4 Eye detection method using gray intensity information and support vector machines YU Ming-xin1) ，ZHOU Yuan-song2) ，WANG Xiang-zhou1) ，LIN Ying-zi 3) ，WANG Yu1) 1) School of Automation，Beijing Institute of Technology，Beijing 100081，China 2) Civil and Environmental Engineering School，University of Science and Technology Beijing，Beijing 100083，China 3) Engineering College，Northeastern University，Boston 02148，USA  Corresponding author，E-mail: wangxiangzhoubit@ gmail． com ABSTRACT This article introduces an efficient eye detection method based on gray intensity information and support vector machines (SVM)． Firstly，using the evidence that gray intensity variation in the eye region is obvious，an eye variance filter (EVF) was constructed． Within the selected eye search region，the eye variance filter was used to find out eye candidate regions． Secondly， a trained support vector machine classifier was employed to detect the precise eye location among these eye candidate regions． Lastly， the eye center，i． e． ，iris center，could be located by the proposed gray intensity information rate． The proposed method was evaluated on the BioID，FERET，and IMM face databases，respectively． The correct rates of eye detection on face images without glasses are 98. 2% ，97. 8% and 98. 9% respectively and that with glasses is 94. 9% ． The correct rates of eye center localization are 90. 5% ， 88. 3% and 96. 1% ，respectively． Compared with state-of-the-art methods，the proposed method achieves good detection performance． KEY WORDS pattern recognition; eye detection; support vector machines; gray scale 收稿日期: 2014--03--12 基金项目: 国家留学基金委资助项目(201306030055) 人眼与人脸其他部位(如鼻子和嘴巴) 相比具有 突出和稳定的特征，因此人眼检测是人脸和其他部位 检测和提取的基础． 同时，人眼检测在很多领域中具 有重要的应用价值，例如人脸面部特征识别、人眼视线 跟踪系统和虚拟现实． 目前，人眼检测方法主要有基于外形方法、基于外 貌特征方法和基于混合方法． 基于外形方法主要有可 变形模板法［1］、边缘提取法［2］等． 可变形模板法虽能

于明鑫等：基于灰度信息和支持向量机的人眼检测方法 ·805· 同时得到人眼的位置和形状信息，但定位速度慢，需要 高对比度图像，而且其中包含的寻优过程依赖于初始 定位的准确度和参数初始值的选择.边缘提取法是使 用边缘检测算子提取人脸边缘图像，然后用霍夫变换 检测虹膜或者瞳孔确定人眼中心.该方法需要大量的 预处理数据，并且设置参数过多，因此不适用于个体差 异太大的人眼.基于外貌特征方法主要有滤波器响应 法因、灰度投影法田等。滤波器响应法主要使用人眼 特征点和外貌特征两种方式，两者都是使用滤波器响 应值检测人眼，用于正面人脸检测效果比较好：但是都 图1训练支持向量机的人眼/非人眼图像 需要在整幅人脸图像中根据预定义的特征进行搜索， Fig.I Examples of used eye/non-eye images for training 计算时间比较长，同时内存消耗也比较大.灰度投影 眼睛边缘具有很好的边界，但是由于眼眉对眼睛区域 法是根据波峰和波谷的分布信息检测人眼，定位速度 的影响，所以很难获得较好的眼晴边缘图像.不过，人 快：但是很容易受到不同的人脸姿态、光照强度的影 眼区域灰度变化比人脸其他部位灰度变化明显，因此 响，而且容易陷入寻找局部最小值的问题中而导致人 可以采用灰度二阶矩（方差）来描述人眼区域与其他 眼检测失败.基于混合方法是结合两种或两种以上方 区域灰度变化的区别.基于这些特征，Feng和Yuen 法在人脸区域中检测人眼.这种方法的目的是结合几 开发了人眼方差滤波器估计人眼候选区域 种方法的优点，来降低计算量，提高人眼检测正确率. 假设I(x,y)为像素灰度值，2区域内人眼图像方 目前，应用比较多的方法是人眼局部特征与外貌混合 差定义为仞 法可、人眼区域颜色特征与外形混合法圆等. 尽管上述方法取得了较好的人眼检测效果，但是 =流品u-i小 (1) 没有充分考虑人眼佩戴眼镜、光照强度变化和面部旋 式中，Aa和I。分别为2区域的面积和灰度平均值. 转情况下的人眼检测.因此，本文提出了一种有效的 大小为48×24的人眼图像划分为16×8个无重 混合人眼检测方法，即利用人眼图像灰度信息与支持 向量机确定人眼区域.该混合方法优点在于使用少量 叠的子块，每块像素大小为3×3像素，定义人眼方差 图像建立的人眼方差滤波器可以简单有效地祛除大量 图像为 非人眼区域，保留少量潜在人眼区域，提高了支持向量 V(xy）=√9n' (2) 机分类准确率，并降低了计算量：同时，在检测的人眼 2={(i-1)l+1≤x≤il,G-1)l+1≤y≤ 区域基础上，使用本文提出的灰度信息率定位人眼中 (3) 心.该方法在BiolD、MM和FERET三个人脸数据库 中分别对没有佩戴眼镜和佩戴眼镜、光照变化与旋转 其中，1为图像的宽度和高度（宽度=高度=3像素）， 的人脸图像进行了测试，得到了较高的人眼区域检测 2为每个小块的区域面积大小. 率和人眼中心定位正确率 每个子块的方差图像通过式(2)和式(3)计算得 到，且每个子块具有不同的灰度特征.图2给出一副 1人眼区域检测 人眼图像及其对应的方差图像 1.1人眼图像数据库建立 a (bl 本文使用的人眼数据中的人眼图像取自PICS、 JAFFE和MUCT人脸数据库，以及互联网上搜集的人 脸图像.数据库中包含1500幅人眼图像和1500幅非 人眼图像，其中人眼图像集包含了不同姿态、不同大 图2人眼方差图像示意图.()人眼图像：(b)人眼方差图像 小、佩戴眼镜和没有佩戴眼镜的人眼图像，非人眼图像 Fig.2 Eye variance image sketch:(a)eye image:(b)eye vari- ance image 集包含了眉毛、不完整人眼以及眼睛周围皮肤的非人 眼图像，图像大小归一化为48×24.这里使用1000幅 下面构建方差滤波器.首先从人眼数据库中手动 人眼图像作为正图像集和1000幅非人眼图像作为负 抽取30幅人眼图像(10幅佩戴眼镜和20幅没有佩戴 图像集.图1列出了一些人眼和非人眼图像例子. 眼镜).然后根据式(4)计算人眼方差滤波器上每个 1.2人眼方差滤波器 子块(i,》上的子方差滤波器F。(i,》,即30幅图像上 眼睛是由眼球和上、下眼皮构成的活动模型，尽管 相同子块(i,》方差图像的平均值，公式如下：

于明鑫等: 基于灰度信息和支持向量机的人眼检测方法 同时得到人眼的位置和形状信息，但定位速度慢，需要 高对比度图像，而且其中包含的寻优过程依赖于初始 定位的准确度和参数初始值的选择． 边缘提取法是使 用边缘检测算子提取人脸边缘图像，然后用霍夫变换 检测虹膜或者瞳孔确定人眼中心． 该方法需要大量的 预处理数据，并且设置参数过多，因此不适用于个体差 异太大的人眼． 基于外貌特征方法主要有滤波器响应 法［3］、灰度投影法［4］等． 滤波器响应法主要使用人眼 特征点和外貌特征两种方式，两者都是使用滤波器响 应值检测人眼，用于正面人脸检测效果比较好;但是都 需要在整幅人脸图像中根据预定义的特征进行搜索， 计算时间比较长，同时内存消耗也比较大． 灰度投影 法是根据波峰和波谷的分布信息检测人眼，定位速度 快;但是很容易受到不同的人脸姿态、光照强度的影 响，而且容易陷入寻找局部最小值的问题中而导致人 眼检测失败． 基于混合方法是结合两种或两种以上方 法在人脸区域中检测人眼． 这种方法的目的是结合几 种方法的优点，来降低计算量，提高人眼检测正确率． 目前，应用比较多的方法是人眼局部特征与外貌混合 法［5］、人眼区域颜色特征与外形混合法［6］等． 尽管上述方法取得了较好的人眼检测效果，但是 没有充分考虑人眼佩戴眼镜、光照强度变化和面部旋 转情况下的人眼检测． 因此，本文提出了一种有效的 混合人眼检测方法，即利用人眼图像灰度信息与支持 向量机确定人眼区域． 该混合方法优点在于使用少量 图像建立的人眼方差滤波器可以简单有效地祛除大量 非人眼区域，保留少量潜在人眼区域，提高了支持向量 机分类准确率，并降低了计算量;同时，在检测的人眼 区域基础上，使用本文提出的灰度信息率定位人眼中 心． 该方法在 BioID、IMM 和 FERET 三个人脸数据库 中分别对没有佩戴眼镜和佩戴眼镜、光照变化与旋转 的人脸图像进行了测试，得到了较高的人眼区域检测 率和人眼中心定位正确率． 1 人眼区域检测 1. 1 人眼图像数据库建立 本文使用的人眼数据中的人眼图像取自 PICS、 JAFFE 和 MUCT 人脸数据库，以及互联网上搜集的人 脸图像． 数据库中包含 1500 幅人眼图像和 1500 幅非 人眼图像，其中人眼图像集包含了不同姿态、不同大 小、佩戴眼镜和没有佩戴眼镜的人眼图像，非人眼图像 集包含了眉毛、不完整人眼以及眼睛周围皮肤的非人 眼图像，图像大小归一化为 48 × 24． 这里使用 1000 幅 人眼图像作为正图像集和 1000 幅非人眼图像作为负 图像集． 图 1 列出了一些人眼和非人眼图像例子． 1. 2 人眼方差滤波器 眼睛是由眼球和上、下眼皮构成的活动模型，尽管 图 1 训练支持向量机的人眼/非人眼图像 Fig． 1 Examples of used eye /non-eye images for training 眼睛边缘具有很好的边界，但是由于眼眉对眼睛区域 的影响，所以很难获得较好的眼睛边缘图像． 不过，人 眼区域灰度变化比人脸其他部位灰度变化明显，因此 可以采用灰度二阶矩(方差) 来描述人眼区域与其他 区域灰度变化的区别． 基于这些特征，Feng 和 Yuen ［7］ 开发了人眼方差滤波器估计人眼候选区域． 假设 I(x，y)为像素灰度值，Ω 区域内人眼图像方 差定义为［7］ φΩ = 1 AΩ (x ∑，y)∈Ω ［I(x，y) － IΩ］． (1) 式中，AΩ 和 IΩ 分别为 Ω 区域的面积和灰度平均值． 大小为 48 × 24 的人眼图像划分为 16 × 8 个无重 叠的子块，每块像素大小为 3 × 3 像素，定义人眼方差 图像为 V(x，y) = 槡φΩij ， (2) Ωij = {(i － 1)l + 1≤x≤il，(j － 1)l + 1≤y≤jl}． (3) 其中，l 为图像的宽度和高度(宽度 = 高度 = 3 像素)， Ωij为每个小块的区域面积大小． 每个子块的方差图像通过式(2)和式(3)计算得 到，且每个子块具有不同的灰度特征． 图 2 给出一副 人眼图像及其对应的方差图像． 图 2 人眼方差图像示意图． (a) 人眼图像; (b) 人眼方差图像 Fig． 2 Eye variance image sketch: ( a) eye image; ( b) eye vari￾ance image 下面构建方差滤波器． 首先从人眼数据库中手动 抽取 30 幅人眼图像(10 幅佩戴眼镜和 20 幅没有佩戴 眼镜)． 然后根据式(4) 计算人眼方差滤波器上每个 子块(i，j)上的子方差滤波器 Fe ( i，j)，即 30 幅图像上 相同子块(i，j)方差图像的平均值，公式如下: ·805·

·806· 工程科学学报，第37卷，第6期 F.(i,》=Na 1 T(i,] (4) 间中，并构造最优超平面，使得对未知样本的分类能力 更强. 式中，[T(i,],表示第k个人眼图像上第(i,j)子块 支持向量机可以通过两类问题的组合实现，通常 的方差图像，N为人眼图像个数（这里，N=30).构建 有两种：(1)一个分类器区分每一类与其他所有分类 的人眼方差滤波器如图3所示. (多分类)：(2)一个分类器区分两个类别（两分类） 根据本论文研究内容，主要区分人眼和非人眼图像，因 此这里采用第二种方式。假设存在一个超平面，将其 分为两类，分别表示为正类（人眼图像)和负类（非人 眼图像).设定一组有标示的训练样本集(x,y:),其 图3人眼方差滤波器 中x,代表输入的人眼图像、非人眼或不完全人眼图像 Fig.3 Eye variance filter (统称为非人眼图像)数据特征矢量，y:是代表所属分 使用方差滤波器搜索潜在人眼区域时，需要计算 类，值为-1和+1.分类可以表示如下： 方差滤波器与可能存在人眼图像的相关系数，计算公 y:（wx,+0。-1)≥0 (6) 式为 式中，w是超平面的法向，。是超平面到原点的距离. R(T.F)= E([(T;-E(T)[F.-E(F.)] (5) 超平面空间可以表示为 DTDF f(x)=sgn(wx+w）. (7) 式中，T表示第(i,j)子块的方差图像T(i,j),E和D 根据给定的w和。，输入一个矢量x,根据式(6) 分别为子块图像的灰度数学期望值和方差值 计算出大于0还是小于0，然后使用符号函数sg知(w· 区分人眼图像与非人眼图像需要确定方差滤波器 x+0)得出-1或+1，即归为两类.由于本文使用的 阈值.因此，随机从自建人眼数据库中手动抽取出人 图像数据并不是很好的线性可分情况，因此需要使用 眼周边30幅大小为48×24非人眼图像，使用式(2)和 核函数的非线性变换，将数据转换到某个高维空间进 式(3)得到30幅非人眼图像的方差.然后，根据式(5) 行分析.通常核函数有高斯核函数、多项式核函数和 计算出图像方差滤波器与人眼图像和非人眼图像的相 径向基核函数，本文采用径向基核函数： 关系数，如图4所示，箭头所指的横线是人眼图像和非 人眼图像的区分线，即阈值为0.3.很明显看出，大于 f)=g[ wyK(xx)+w (8) 0.3为人眼图像，小于0.3为非人眼图像.尽管有部分 其中，K(x,x)=exp{-（Ix-x:2)/a2},o为径向基 非人眼图像的相关系数超过0.3，但是可以看出方差 和参数 滤波器成功过滤掉大部分非人眼图像 1.4主成分分析 由于图像数据量较大，因此使用主成分分析的方 1.0 法对图像数据降维处理，处理后得到的主成分图像数 0.8 人眼图像 非人眼图像 据用于训练支持向量机.主成分分析是模式识别中一 种有效的特征提取方法，目的是使用少量特征对样本 0.4 进行描述，降低样本空间维数，同时又尽可能多的保留 0.2 样本空间的信息量网.本论文所使用的主成分分析算 阙值0.3 法如下 -0.2 将大小为48×24的训练图像按列展开，形成 -0.4 051015202530354045505560 48×24维的向量x,(i=1,2,…,M),其中M为样本数 人眼图像数量 (M=2000),则样本的协方差矩阵计算公式为 图4方差滤波器与人眼/非人眼图像的相关系数确定滤波器 阅值 8=品宫球=动 (9) Fig.4 Determining the threshold by correlation between the eye vari- 其中无=x-,重=G,x2,…,xw],x为所有样本的 ance filter and eye/non-eye images 总体平均量.求解S,的特征值，按照降序方式排列， 1.3支持向量机 定义前K(K≤48×24)个最大值对应的特征向量 支持向量机是基于统计学理论的学习方法，最早 B,(=1,2,…,K)为主元，要求主元保留数据信息量的 是由Va即nik等提出，成功应用于人脸、语音、文字、图 97%,也即K个特征值信息量占所有特征值信息量的 像和信息的检测和识别圆.支持向量机主要思想是将 97%.然后，将K个向量张成一个空间，每幅图像样本 非线性可分样本向量经非线性变换映射到一个高维空 向量向这一子空间投影，形成K个投影分量，就把图

工程科学学报，第 37 卷，第 6 期 Fe(i，j) = 1 N ∑ N k = 1 ［T(i，j)］k ． (4) 式中，［T(i，j)］k 表示第 k 个人眼图像上第( i，j) 子块 的方差图像，N 为人眼图像个数(这里，N = 30)． 构建 的人眼方差滤波器如图 3 所示． 图 3 人眼方差滤波器 Fig． 3 Eye variance filter 使用方差滤波器搜索潜在人眼区域时，需要计算 方差滤波器与可能存在人眼图像的相关系数，计算公 式为 R(T，Fe) = E{［(Tij － E(Tij )］［Fe － E(Fe)］} 槡D(Tij )D(Fe) ． (5) 式中，Tij表示第( i，j) 子块的方差图像 T( i，j)，E 和 D 分别为子块图像的灰度数学期望值和方差值． 区分人眼图像与非人眼图像需要确定方差滤波器 阈值． 因此，随机从自建人眼数据库中手动抽取出人 眼周边 30 幅大小为 48 × 24 非人眼图像，使用式(2)和 式(3)得到30 幅非人眼图像的方差． 然后，根据式(5) 计算出图像方差滤波器与人眼图像和非人眼图像的相 关系数，如图 4 所示，箭头所指的横线是人眼图像和非 人眼图像的区分线，即阈值为 0. 3． 很明显看出，大于 0. 3 为人眼图像，小于 0. 3 为非人眼图像． 尽管有部分 非人眼图像的相关系数超过 0. 3，但是可以看出方差 滤波器成功过滤掉大部分非人眼图像． 图 4 方差滤波器与人眼/非人眼图像的相关系数确定滤波器 阈值 Fig． 4 Determining the threshold by correlation between the eye vari￾ance filter and eye /non-eye images 1. 3 支持向量机 支持向量机是基于统计学理论的学习方法，最早 是由 Vapnik 等提出，成功应用于人脸、语音、文字、图 像和信息的检测和识别［8］． 支持向量机主要思想是将 非线性可分样本向量经非线性变换映射到一个高维空 间中，并构造最优超平面，使得对未知样本的分类能力 更强． 支持向量机可以通过两类问题的组合实现，通常 有两种:(1) 一个分类器区分每一类与其他所有分类 (多分类);(2) 一个分类器区分两个类别(两分类)． 根据本论文研究内容，主要区分人眼和非人眼图像，因 此这里采用第二种方式． 假设存在一个超平面，将其 分为两类，分别表示为正类(人眼图像) 和负类(非人 眼图像)． 设定一组有标示的训练样本集( xi，yi )，其 中 xi 代表输入的人眼图像、非人眼或不完全人眼图像 (统称为非人眼图像)数据特征矢量，yi 是代表所属分 类，值为 － 1 和 + 1． 分类可以表示如下: yi(w·xi + w0 － 1)≥0． (6) 式中，w 是超平面的法向，w0 是超平面到原点的距离． 超平面空间可以表示为 f(x) = sgn(w·x + w0 )． (7) 根据给定的 w 和 w0，输入一个矢量 x，根据式(6) 计算出大于 0 还是小于 0，然后使用符号函数 sgn(w· x + w0 )得出 － 1 或 + 1，即归为两类． 由于本文使用的 图像数据并不是很好的线性可分情况，因此需要使用 核函数的非线性变换，将数据转换到某个高维空间进 行分析． 通常核函数有高斯核函数、多项式核函数和 径向基核函数，本文采用径向基核函数: f(x) [ = sgn ∑ N i = 1 wiyiK(xi，x) + w0 ] ． (8) 其中，K(xi，x) = exp{ － ( | x － xi | 2 ) /σ2 }，σ 为径向基 和参数． 1. 4 主成分分析 由于图像数据量较大，因此使用主成分分析的方 法对图像数据降维处理，处理后得到的主成分图像数 据用于训练支持向量机． 主成分分析是模式识别中一 种有效的特征提取方法，目的是使用少量特征对样本 进行描述，降低样本空间维数，同时又尽可能多的保留 样本空间的信息量［9］． 本论文所使用的主成分分析算 法如下． 将大小 为 48 × 24 的训练图像按列展开，形 成 48 × 24维的向量 xi(i = 1，2，…，M)，其中 M 为样本数 (M = 2000)，则样本的协方差矩阵计算公式为 St = 1 M ∑ M i = 1 xixT i = 1 M ΦtΦT t ． (9) 其中 xi = xi － x，Φt =［x1，x2，…，xM］，x 为所有样本的 总体平均量． 求解 St 的特征值，按照降序方式排列， 定义前 K ( K ≤48 × 24 ) 个最大值对应的特征向量 βj (j = 1，2，…，K)为主元，要求主元保留数据信息量的 97% ，也即 K 个特征值信息量占所有特征值信息量的 97% ． 然后，将 K 个向量张成一个空间，每幅图像样本 向量向这一子空间投影，形成 K 个投影分量，就把图 ·806·

于明鑫等：基于灰度信息和支持向量机的人眼检测方法 807 像向量从原来的48×24维降到K维.本文使用主成 b 分分析算法计算后，取前32个特征值，即前32个特征 人险区域 200x200 向量包含了整个样本空间的数据信息量的97% 为了达到最高的分类准确率，应该选择最佳的支 特向量机参数.需要确定两个参数：惩罚因子C和高 斯核参数6.如果用手动方式调整参数C和δ，一方面 不容易确定初始参数值，另一方面随着训练图像数量 人眼方差 滤波器 增加，参数需要重新调整，既浪费时间，又不利于提高 分类性能。采用优化算法优化支持向量机参数可以达 (c) 到自动调整的效果.为了更准确选择支持向量机参 支持向量机 数，研究了遗传优化算法、粒子群优化算法和网格优化 算法，分别对人眼支持向量机参数进行优化.这里需 要从人眼数据库中抽取300幅人眼图像和300幅非人 眼图像作为测试集（不同于训练集使用的图像）.用三 种优化支持向量机参数后，支持向量机所对应的分类 图5人眼检测流程图 Fig.5 Flowchart of detecting a rough eye window 准确率，如表1所示.从表1中可以看出，遗传优化算 法获得了最高的准确率 2 人眼中心定位 表1支持向量机参数优化 Table 1 Results of SVM optimal parameters 提出了一种图像灰度信息率的方法来确定人眼中 优化算法 准确率/% 心（虹膜中心）.该方法是基于图像灰度熵比率和图像 遗传算法 0.0359 灰度值比率 9.832 97.50 粒子群算法 8.278 0.0527 96.50 图像熵表示图像中灰度分布的聚集特征所包含的 信息量，令P,表示图像中灰度值为I的像素所占的比 网格算法 8.891 0.0385 95.75 例，图像熵定义如下： 1.5人眼区域检测流程 H=- ∑P,logaPr (10) 综合上述理论和算法，人眼区域检测步骤如下 (1)采用级联人脸检测器(boosted cascade face 式中，P,≥0， detector)检测出人脸位置a.通过实验发现，该人脸 P=1. 依据式(10)，图像信息量越少，熵值也越小.由于 检测器不能保证100%人脸检测正确率，因此当发现 虹膜区域灰度分布比较平均，因此在人眼区域中寻找 有非人眼区域时，通过手动方式给予校准.其中FE- 熵值最小的区域，即最为可能的虹膜区域.但是，由于 RET人脸数据库只提供了人脸区域，故该数据库不需 皮肤区域灰度分布也较均匀，同时因为熵值信息只反 要人脸检测器确定人脸区域，如图5(a)所示. 映了图像像素值的变化，所以仅使用熵值信息判断人 (2)提取人脸区域，并将其归一化为大小200× 眼区域是不够的.为了提高检测率，提出结合人眼区 200像素的人脸图像，如图5(b)所示. 域中虹膜区域灰度值相对其他区域灰度值较低的特征 (3)为了降低人眼检测计算量，根据人脸符合 来判断虹膜位置，即灰度值较小的区域，也是最有可能 “三庭五眼二比例”的结构特点，将人眼搜索区域缩小 的虹膜区域。因此，使用统计局部图像熵值比率和灰 到人脸上半部分，如图5(c)中横竖白色线所包围的区 度值比率的方法来判断虹膜区域，具体过程如下 域.然后设置大小48×24的搜索框，根据式(2)和式 首先，需要对人眼图像中值滤波，其目的是去除虹 (3)计算出对应搜索框图像方差.同时，该搜索框以3 膜图像上的白色光斑和噪点，以提高人眼中心定位准 像素（子块宽度）为单位移动，计算方差滤波器与每个 确度.如图6所示，由于虹膜形状近似圆形，依据数据 搜索框图像方差的相关系数，依据阈值0.3，祛除大部 库中人眼虹膜半径大小的统计，选定半径R的圆形作 分非人眼图像，完成候选人眼图像检测，如图5() 为搜索区域，在获得的人眼图像中分别以2像素在行 所示. 和列上移动 (4)候选人眼图像中，包含少量的非人眼图像，例 搜索区域定义为 如眉毛和不完整人眼图像，使用训练过的支持向量机 rH,=H。-2R, 对候选人眼图像进行分类，确定出人眼图像准确位置， (11) 如图5(d)所示. lW.=W。-2R

于明鑫等: 基于灰度信息和支持向量机的人眼检测方法 像向量从原来的 48 × 24 维降到 K 维． 本文使用主成 分分析算法计算后，取前 32 个特征值，即前 32 个特征 向量包含了整个样本空间的数据信息量的 97% ． 为了达到最高的分类准确率，应该选择最佳的支 持向量机参数． 需要确定两个参数:惩罚因子 C 和高 斯核参数 δ． 如果用手动方式调整参数 C 和 δ，一方面 不容易确定初始参数值，另一方面随着训练图像数量 增加，参数需要重新调整，既浪费时间，又不利于提高 分类性能． 采用优化算法优化支持向量机参数可以达 到自动调整的效果． 为了更准确选择支持向量机参 数，研究了遗传优化算法、粒子群优化算法和网格优化 算法，分别对人眼支持向量机参数进行优化． 这里需 要从人眼数据库中抽取 300 幅人眼图像和 300 幅非人 眼图像作为测试集(不同于训练集使用的图像)． 用三 种优化支持向量机参数后，支持向量机所对应的分类 准确率，如表 1 所示． 从表 1 中可以看出，遗传优化算 法获得了最高的准确率． 表 1 支持向量机参数优化 Table 1 Results of SVM optimal parameters 优化算法 C δ 准确率/% 遗传算法 9. 832 0. 0359 97. 50 粒子群算法 8. 278 0. 0527 96. 50 网格算法 8. 891 0. 0385 95. 75 1. 5 人眼区域检测流程 综合上述理论和算法，人眼区域检测步骤如下． (1) 采用级联人脸检 测 器( boosted cascade face detector)检测出人脸位置［10］． 通过实验发现，该人脸 检测器不能保证 100% 人脸检测正确率，因此当发现 有非人眼区域时，通过手动方式给予校准． 其中 FE￾RET 人脸数据库只提供了人脸区域，故该数据库不需 要人脸检测器确定人脸区域，如图 5(a)所示． (2) 提取人脸区域，并将其归一化为大小 200 × 200 像素的人脸图像，如图 5(b)所示． (3) 为了降低人眼检测计算量，根据人 脸 符 合 “三庭五眼二比例”的结构特点，将人眼搜索区域缩小 到人脸上半部分，如图 5(c)中横竖白色线所包围的区 域． 然后设置大小 48 × 24 的搜索框，根据式(2)和式 (3)计算出对应搜索框图像方差． 同时，该搜索框以 3 像素(子块宽度)为单位移动，计算方差滤波器与每个 搜索框图像方差的相关系数，依据阈值 0. 3，祛除大部 分非人眼图像，完成候选人眼图像检测，如图 5 ( c) 所示． (4) 候选人眼图像中，包含少量的非人眼图像，例 如眉毛和不完整人眼图像，使用训练过的支持向量机 对候选人眼图像进行分类，确定出人眼图像准确位置， 如图 5(d)所示． 图 5 人眼检测流程图 Fig． 5 Flowchart of detecting a rough eye window 2 人眼中心定位 提出了一种图像灰度信息率的方法来确定人眼中 心(虹膜中心)． 该方法是基于图像灰度熵比率和图像 灰度值比率． 图像熵表示图像中灰度分布的聚集特征所包含的 信息量，令 PI 表示图像中灰度值为 I 的像素所占的比 例，图像熵定义如下［11］: H = － ∑ m I = 1 PI log2PI ． (10) 式中，PI≥0，∑ m I = 1 PI = 1． 依据式(10)，图像信息量越少，熵值也越小． 由于 虹膜区域灰度分布比较平均，因此在人眼区域中寻找 熵值最小的区域，即最为可能的虹膜区域． 但是，由于 皮肤区域灰度分布也较均匀，同时因为熵值信息只反 映了图像像素值的变化，所以仅使用熵值信息判断人 眼区域是不够的． 为了提高检测率，提出结合人眼区 域中虹膜区域灰度值相对其他区域灰度值较低的特征 来判断虹膜位置，即灰度值较小的区域，也是最有可能 的虹膜区域． 因此，使用统计局部图像熵值比率和灰 度值比率的方法来判断虹膜区域，具体过程如下． 首先，需要对人眼图像中值滤波，其目的是去除虹 膜图像上的白色光斑和噪点，以提高人眼中心定位准 确度． 如图 6 所示，由于虹膜形状近似圆形，依据数据 库中人眼虹膜半径大小的统计，选定半径 R 的圆形作 为搜索区域，在获得的人眼图像中分别以 2 像素在行 和列上移动． 搜索区域定义为 Hs = He － 2R， {Ws = We － 2R． (11) ·807·

·808· 工程科学学报，第37卷，第6期 式中，H和W分别是人眼图像高和宽，H和W是搜 索区域高与宽 3实验结果与分析 然后，统计每个圆形区域的灰度熵值比率与灰度 3.1人眼区域检测结果与分析 值比率和，即图像灰度信息率，计算公式如下： 本文提出的人眼检测方法在BiolD、IMM和FERET T.=E,+I (12) 人脸数据库中进行测试.数据库中包括不同姿态、不 式中，T表示灰度信息率，E,表示灰度熵值比率，1，表 同视线方向、不同光照强度等条件下的人脸图像，符合 示灰度值比率，可分别表示为 现实情况.其中，BioID数据库中包含406幅佩戴眼镜 E,= E(C)和1，= I(C) 和1039幅没有佩戴眼镜人脸图像，分别作为测试集 ∑E(C) K(c) 由于没有统一准则评估人眼区域检测效果，因此认为 熵值比率是每个圆形区域灰度熵值与所有圆形区 上下眼睑和两个眼角在检测的矩形人眼区域内为正确 域灰度熵值和的比：灰度值比率是每个圆形区域灰度 检测结果.表2列出了人眼区域检测正确率 值与所有圆形区域灰度值和的比.最后，通过式(12) 表2在不同数据库中人眼区域检测正确率 计算出灰度信息率，信息率值最小即为虹膜区域，区域 Table 2 Correct rates of eye region detection on different databases 中心即为人眼中心 BiolD BiolD FERET IMM (没有佩戴眼镜) (佩戴眼镜) 98.2 94.9 97.8 98.9 图7为人脸数据库中部分人眼区域检测效果图 分析发现：M数据库的人脸图像清晰度和光照较 好，因此获得了最高的人眼区域检测正确率，且对人脸 图6虹膜区域检索 向左或向右旋转图像也具有较好的检测效果，如 Fig.6 Detection for the iris region 图7(c)所示；FERET数据库的人脸图像分辨率较低， (a h 图7在不同数据库中人眼区域检测效果图.(a)BiolD没有佩戴眼镜：(b)FERET:(c)MM:(d)BiolD佩戴眼镜 Fig.7 Results of eye region detection on different databases:(a)BiolD without glasses;(b)FERET:(c)IMM:(d)BiolD with glasses

工程科学学报，第 37 卷，第 6 期 式中，He 和 We 分别是人眼图像高和宽，Hs 和 Ws 是搜 索区域高与宽． 然后，统计每个圆形区域的灰度熵值比率与灰度 值比率和，即图像灰度信息率，计算公式如下: Tr = Er + Ir ． (12) 式中，Tr 表示灰度信息率，Er 表示灰度熵值比率，Ir 表 示灰度值比率，可分别表示为 Er = E(Cj ) ∑ n i = 1 E(Ci) 和 Ir = I(Cj ) ∑ n i = 1 I(Ci) ． 熵值比率是每个圆形区域灰度熵值与所有圆形区 域灰度熵值和的比;灰度值比率是每个圆形区域灰度 值与所有圆形区域灰度值和的比． 最后，通过式(12) 计算出灰度信息率，信息率值最小即为虹膜区域，区域 中心即为人眼中心． 图 6 虹膜区域检索 Fig． 6 Detection for the iris region 3 实验结果与分析 3. 1 人眼区域检测结果与分析 本文提出的人眼检测方法在 BioID、IMM 和FERET 人脸数据库中进行测试． 数据库中包括不同姿态、不 同视线方向、不同光照强度等条件下的人脸图像，符合 现实情况． 其中，BioID 数据库中包含 406 幅佩戴眼镜 和 1039 幅没有佩戴眼镜人脸图像，分别作为测试集． 由于没有统一准则评估人眼区域检测效果，因此认为 上下眼睑和两个眼角在检测的矩形人眼区域内为正确 检测结果． 表 2 列出了人眼区域检测正确率． 表 2 在不同数据库中人眼区域检测正确率 Table 2 Correct rates of eye region detection on different databases % BioID (没有佩戴眼镜) BioID (佩戴眼镜) FERET IMM 98. 2 94. 9 97. 8 98. 9 图 7 为人脸数据库中部分人眼区域检测效果图． 分析发现:IMM 数据库的人脸图像清晰度和光照较 好，因此获得了最高的人眼区域检测正确率，且对人脸 向左或 向 右 旋 转 图 像 也 具 有 较 好 的 检 测 效 果，如 图 7(c)所示;FERET 数据库的人脸图像分辨率较低， 图 7 在不同数据库中人眼区域检测效果图． (a) BioID 没有佩戴眼镜;(b) FERET;(c) IMM;(d) BioID 佩戴眼镜 Fig． 7 Results of eye region detection on different databases: (a) BioID without glasses; (b) FERET; (c) IMM; (d) BioID with glasses ·808·