第10卷第1期 智能系统学报 Vol.10 No.1 2015年2月 CAAI Transactions on Intelligent Systems Feb.2015 D0I:10.3969/j.issn.1673-4785.201311050 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20150113.1131.009.html 面向灵巧操作的视觉目标识别 雷丽充12，刘华平2，孙富春2，高蒙3，张军惺 (1.中铁十七局集团有限公司勘察设计院，山西太原030032：2.清华大学计算机科学与技术系智能技术与系统国 家重点实验室，北京100084：3.石家庄铁道大学电气与电子工程学院，河北石家庄050043) 摘要：为了能够实现灵巧手对目标物体进行精准操作，研究了一种利用Kict检测出目标物体，在帧差法的基础 上对获取的深度进行背景相减，获取出目标物体的运动点，在此基础上利用获取的目标物体的特征采用T$模糊逻 辑判断出目标物体的方法，以BH8-280对目标物体进行抓取实验为例，在实验中，Kinect在帧差法的基础上检测出目 标物体的位姿，大小，形状，以此为基础建立起TS模糊逻辑系统，判断出目标物体的属性和类别，通过实验结果进一 步说明了利用本文研究的方法显著地提高了判断物体的准确率和效率，为灵巧手的精细控制抓取奠定了基础。 关键词：Kinect:视觉：背景相减法：帧差法：T-S模糊逻辑：目标识别：精细控制：灵巧操作 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2015)01-0037-06 中文引用格式：雷丽充，刘华平，孙富春，等.面向灵巧操作的视觉目标识别[J].智能系统学报，2014,9(2)：3742. 英文引用格式：LEI Lichong,LIU Huaping,SUN Fuchun,ctal.Visual object recognition for smart manipulation[J].CAAI Trans. actions on Intelligent Systems,2014,9(2):37-42. Visual object recognition for smart manipulation LEI Lichong'.2,LIU Huaping?,SUN Fuchun2,GAO Meng',ZHANG Junxing' (1.China Railway 17th Bureau Co.,Ltd.Survey and Design Institute,Taiyuan 030032,China;2.State Key Lab of Intelligent Technology and Systems,Department of Computer Science and Technology,Tsinghua University,Beijing 100084,China;3.School of Electrical and Electronics Engineering,Shijiazhuang Tiedao University,Shijiazhuang 050043,China) Abstract:In order to achieve fine operation of dexterous hand,a new method is proposed.The method consists of detecting a targeted object by Kinect,conducting background subtraction for the obtained depth on the basis of frame difference method to acquire the motion point of the targeted object and judging the targeted object by the T- S fuzzy logic along with the features of the obtained targeted object.This paper uses BH8-280 for an object grasping experiment to verify the accuracy and rapidity of the method.In this experiment the pose,size and shape of the ob- jects can be determined.The property categories of objects are judged by the T-S fuzzy logic system.It is seen that the dexterous hand can grasp the object accurately.The research of this method builds a foundation for fine opera- tion of a dexterous hand. Keywords:Kinect;visual;background subtraction;the frame differenece;T-S fuzzy logical;object recognition; fine control;smart manipulation 目前，随着灵巧手在各个方面的应用越来越广泛，对灵巧手的研究越来越深入，尤其对控制系统投 入了大量的研究，但是对控制的研究也是以鉴别出 收稿日期：2013-11-20.网络出版日期：2015-01-13. 目标物体为前提的。因此，对目标识别的智能识别 基金项目：国家自然科学基金重大国际合作研究资助项目(61210013)： 国家自然科学基金资助项目(60621062,90716021) 研究也成为了研究热点之一。 通信作者：雷丽充.E-mail:lci.lichong(@163.com. 目标识别的智能识别研究就是在计算机领域内
第 员园 卷第 员 期摇摇摇摇摇 摇摇摇 摇摇 摇 摇 智 能 系 统 学 报摇摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援员园 翼援员 圆园员缘 年 圆 月摇摇 摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 云藻遭援 圆园员缘 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员员园缘园 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿藻贼葬蚤造 辕 圆猿援员缘猿愿援栽孕援圆园员缘园员员猿援员员猿员援园园怨援澡贼皂造 面向灵巧操作的视觉目标识别 雷丽充员 袁 圆 袁刘华平圆 袁孙富春圆 袁高蒙猿 袁张军惺猿 渊员援中铁十七局集团有限公司 勘察设计院袁山西 太原 园猿园园猿圆曰 圆援清华大学计算机科学与技术系 智能技术与系统国 家重点实验室袁北京 员园园园愿源曰 猿援石家庄铁道大学 电气与电子工程学院袁 河北 石家庄 园缘园园源猿冤 摘 要院为了能够实现灵巧手对目标物体进行精准操作袁研究了一种利用 运蚤灶藻糟贼 检测出目标物体袁在帧差法的基础 上对获取的深度进行背景相减袁获取出目标物体的运动点袁在此基础上利用获取的目标物体的特征采用 栽鄄杂 模糊逻 辑判断出目标物体的方法袁以 月匀愿鄄圆愿园 对目标物体进行抓取实验为例袁在实验中袁运蚤灶藻糟贼 在帧差法的基础上检测出目 标物体的位姿袁大小袁形状袁以此为基础建立起 栽鄄杂 模糊逻辑系统袁判断出目标物体的属性和类别袁通过实验结果进一 步说明了利用本文研究的方法显著地提高了判断物体的准确率和效率袁为灵巧手的精细控制抓取奠定了基础遥 关键词院运蚤灶藻糟贼曰视觉曰背景相减法曰帧差法曰栽鄄杂 模糊逻辑曰目标识别曰精细控制曰灵巧操作 中图分类号院栽孕猿怨员援源摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员缘冤园员鄄园园猿苑鄄园远 中文引用格式院雷丽充袁刘华平袁孙富春袁等援 面向灵巧操作的视觉目标识别咱允暂援 智能系统学报袁 圆园员源袁 怨渊圆冤 院 猿苑鄄源圆援 英文引用格式院蕴耘陨 蕴蚤糟澡燥灶早袁 蕴陨哉 匀怎葬责蚤灶早袁 杂哉晕 云怎糟澡怎灶袁 藻贼 葬造援 灾蚤泽怎葬造 燥遭躁藻糟贼 则藻糟燥早灶蚤贼蚤燥灶 枣燥则 泽皂葬则贼 皂葬灶蚤责怎造葬贼蚤燥灶咱允暂援 悦粤粤陨 栽则葬灶泽鄄 葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员源袁 怨渊圆冤 院 猿苑鄄源圆援 灾蚤泽怎葬造 燥遭躁藻糟贼 则藻糟燥早灶蚤贼蚤燥灶 枣燥则 泽皂葬则贼 皂葬灶蚤责怎造葬贼蚤燥灶 蕴耘陨 蕴蚤糟澡燥灶早员袁圆 袁 蕴陨哉 匀怎葬责蚤灶早圆 袁 杂哉晕 云怎糟澡怎灶圆 袁 郧粤韵 酝藻灶早猿 袁 在匀粤晕郧 允怎灶曾蚤灶早猿 渊员援悦澡蚤灶葬 砸葬蚤造憎葬赠 员苑贼澡 月怎则藻葬怎 悦燥援袁蕴贼凿援杂怎则增藻赠 葬灶凿 阅藻泽蚤早灶 陨灶泽贼蚤贼怎贼藻袁栽葬蚤赠怎葬灶 园猿园园猿圆袁悦澡蚤灶葬曰 圆援杂贼葬贼藻 运藻赠 蕴葬遭 燥枣 陨灶贼藻造造蚤早藻灶贼 栽藻糟澡灶燥造燥早赠 葬灶凿 杂赠泽贼藻皂泽袁 阅藻责葬则贼皂藻灶贼 燥枣 悦燥皂责怎贼藻则 杂糟蚤藻灶糟藻 葬灶凿 栽藻糟澡灶燥造燥早赠袁 栽泽蚤灶早澡怎葬 哉灶蚤增藻则泽蚤贼赠袁 月藻蚤躁蚤灶早 员园园园愿源袁 悦澡蚤灶葬曰 猿援杂糟澡燥燥造 燥枣 耘造藻糟贼则蚤糟葬造 葬灶凿 耘造藻糟贼则燥灶蚤糟泽 耘灶早蚤灶藻藻则蚤灶早袁 杂澡蚤躁蚤葬扎澡怎葬灶早 栽蚤藻凿葬燥 哉灶蚤增藻则泽蚤贼赠袁杂澡蚤躁蚤葬扎澡怎葬灶早 园缘园园源猿袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院陨灶 燥则凿藻则 贼燥 葬糟澡蚤藻增藻 枣蚤灶藻 燥责藻则葬贼蚤燥灶 燥枣 凿藻曾贼藻则燥怎泽 澡葬灶凿袁 葬 灶藻憎 皂藻贼澡燥凿 蚤泽 责则燥责燥泽藻凿援 栽澡藻 皂藻贼澡燥凿 糟燥灶泽蚤泽贼泽 燥枣 凿藻贼藻糟贼蚤灶早 葬 贼葬则早藻贼藻凿 燥遭躁藻糟贼 遭赠 运蚤灶藻糟贼袁 糟燥灶凿怎糟贼蚤灶早 遭葬糟噪早则燥怎灶凿 泽怎遭贼则葬糟贼蚤燥灶 枣燥则 贼澡藻 燥遭贼葬蚤灶藻凿 凿藻责贼澡 燥灶 贼澡藻 遭葬泽蚤泽 燥枣 枣则葬皂藻 凿蚤枣枣藻则藻灶糟藻 皂藻贼澡燥凿 贼燥 葬糟择怎蚤则藻 贼澡藻 皂燥贼蚤燥灶 责燥蚤灶贼 燥枣 贼澡藻 贼葬则早藻贼藻凿 燥遭躁藻糟贼 葬灶凿 躁怎凿早蚤灶早 贼澡藻 贼葬则早藻贼藻凿 燥遭躁藻糟贼 遭赠 贼澡藻 栽鄄 杂 枣怎扎扎赠 造燥早蚤糟 葬造燥灶早 憎蚤贼澡 贼澡藻 枣藻葬贼怎则藻泽 燥枣 贼澡藻 燥遭贼葬蚤灶藻凿 贼葬则早藻贼藻凿 燥遭躁藻糟贼援 栽澡蚤泽 责葬责藻则 怎泽藻泽 月匀愿鄄圆愿园 枣燥则 葬灶 燥遭躁藻糟贼 早则葬泽责蚤灶早 藻曾责藻则蚤皂藻灶贼 贼燥 增藻则蚤枣赠 贼澡藻 葬糟糟怎则葬糟赠 葬灶凿 则葬责蚤凿蚤贼赠 燥枣 贼澡藻 皂藻贼澡燥凿援 陨灶 贼澡蚤泽 藻曾责藻则蚤皂藻灶贼 贼澡藻 责燥泽藻袁 泽蚤扎藻 葬灶凿 泽澡葬责藻 燥枣 贼澡藻 燥遭鄄 躁藻糟贼泽 糟葬灶 遭藻 凿藻贼藻则皂蚤灶藻凿援 栽澡藻 责则燥责藻则贼赠 糟葬贼藻早燥则蚤藻泽 燥枣 燥遭躁藻糟贼泽 葬则藻 躁怎凿早藻凿 遭赠 贼澡藻 栽鄄杂 枣怎扎扎赠 造燥早蚤糟 泽赠泽贼藻皂援 陨贼 蚤泽 泽藻藻灶 贼澡葬贼 贼澡藻 凿藻曾贼藻则燥怎泽 澡葬灶凿 糟葬灶 早则葬泽责 贼澡藻 燥遭躁藻糟贼 葬糟糟怎则葬贼藻造赠援 栽澡藻 则藻泽藻葬则糟澡 燥枣 贼澡蚤泽 皂藻贼澡燥凿 遭怎蚤造凿泽 葬 枣燥怎灶凿葬贼蚤燥灶 枣燥则 枣蚤灶藻 燥责藻则葬鄄 贼蚤燥灶 燥枣 葬 凿藻曾贼藻则燥怎泽 澡葬灶凿援 运藻赠憎燥则凿泽院运蚤灶藻糟贼曰 增蚤泽怎葬造曰遭葬糟噪早则燥怎灶凿 泽怎遭贼则葬糟贼蚤燥灶曰 贼澡藻 枣则葬皂藻 凿蚤枣枣藻则藻灶藻糟藻曰 栽鄄杂 枣怎扎扎赠 造燥早蚤糟葬造曰 燥遭躁藻糟贼 则藻糟燥早灶蚤贼蚤燥灶曰 枣蚤灶藻 糟燥灶贼则燥造曰 泽皂葬则贼 皂葬灶蚤责怎造葬贼蚤燥灶 收稿日期院圆园员猿鄄员员鄄圆园援 摇 网络出版日期院圆园员缘鄄园员鄄员猿援 基金项目院国家自然科学基金重大国际合作研究资助项目渊 远员圆员园园员猿冤 曰 国家自然科学基金资助项目渊远园远圆员园远圆袁怨园苑员远园圆员冤援 通信作者院雷丽充援 耘鄄皂葬蚤造院造藻蚤援造蚤糟澡燥灶早岳 员远猿援糟燥皂援 摇 摇 目前袁随着灵巧手在各个方面的应用越来越广 泛袁对灵巧手的研究越来越深入袁尤其对控制系统投 入了大量的研究袁但是对控制的研究也是以鉴别出 目标物体为前提的遥 因此袁对目标识别的智能识别 研究也成为了研究热点之一遥 目标识别的智能识别研究就是在计算机领域内
·38 智能系统学报 第10卷 模拟生物的视觉系统功能对目标物体进行辨认。目 为运动的目标，最后根据目标物体的深度信息判定 标识别是利用摄像机对场景的记录，获取到环境状 出目标物体的类别和类型。 态信息，通过信息、数据的变化采集到运动区域，通 1.1前景提取 过对数据的分析寻找到感兴趣的范围。近年来，学 本文将背景相减和帧差法相结合的方法避免了 者们一直在努力探索，在文献[1-3]中阐述了目标识 两者方法的缺点，将优点结合在一起获得了极好的 别近年来在军事上和民间的发展和应用。文献[4] 效果。背景相减法可以快速地检测到运动物体，并 中采用了双目系统对目标物体进行识别，文献[5] 且容易实现，效果也较好。 采用了多传感器对目标物体的识别，文献[6]主要 背景相减法的研究内容包括背景初始化、背景 提出了有效的地标视觉提取和识别的方法，这些研 更新、目标物体相关点的检测、噪音等虚假影响等 究极大地促进了目标识别的发展，为后续任务打造 等。“背景初始化”研究的是关于背景模型初始参 了坚实的基础。 数获取问题：“目标物体相关点的检测”研究的是如 本文提出了将背景相减法和帧差法相结合[) 何在相关范围内检测出目标物体运动的序列，从而 的方法将目标物体识别出来。然后利用T-$模糊逻 检测出运动的对象：“噪音等虚假影响”研究的是在 辑方法[确定出目标物体的属性，进而，灵巧手根 检测出来的结果中剔除不是目标物体的像素，提高 据不同物体对应不同力值的方法对目标物体施加恰 检测目标物体的准确率。 当的力值，使灵巧手能够对目标物体进行控制。 背景相减法可以分4部分。 1 背景初始化检测环境中最原始的环境参数： 目标识别 背景更新：在检测目标物体时上一时刻的视频序列 目标识别实际上是将一个目标物体从一个特定 帧：目标物体：在检测的环境范围内感兴趣的目标物 的环境中提取出来的过程。从而判定目标物体的类 体：假象：由噪声等引起的图像变化，例如：边缘深度 别和类型[]。针对固定摄像机的拍摄，可以采取很 浮动等。 多方法检测识别出目标物体。对于颜色较明显的物 系统将背景初始化为没有放人物体的背景深度 体可以采用抓取颜色处理的办法进行处理，对于其 数值。根据式(1)确定目标物体的区域： 他的没有颜色特征的物体，常用的目标检测方法有 S(2)=I N(2)-B(2)I (1) 3种：背景相减法、帧间差分法、光流法o。 式中：B(z)为背景图像上第k个点的深度值， 在摄像机是固定的，目标物体运动到特定环 N(z)为当前帧上第k个点的深度值，根据式(2)将 境中静止的情况下，背景相减法只能大体上确定出 得到的S(z)的值与选取的阈值进行判断，从而改 目标物体的运动范围，不能判定出目标物体是否已 变图像的深度值： 经停止。帧差法只能确定相邻图像之间的区别， (4000,S4(z)<6 对动态环境有很好的适应性，但是位置不准确，不能 G(k)= (2) 0,S(z)≥8 完全提取出运动目标的所有相关点。 式中：δ为设定的阈值，当G(k)=4000时表明没有 面对上述传统的目标检测方法的不足，文中做 目标物体，当G(k)=0表明有运动物体进入。 如图1算法改进。 但是当人手将目标物体放入环境中时运动的物 画出感兴趣的区域 当前帧图像厂 体有没有停止，人手有没有影响到检测目标物体的 精确性等等，在这种情况下，背景相减法就不能够满 建立背景深度信息 下一帧 足需要。因此，文中在此基础上添加了帧差法和深 背景更新 帧差法获取 度的元素。 背景相减法得 目标区域 到目标点区域 帧差法是计算相邻2帧图像f(x:,y:)和 f+(x:,y:)的差值，通过差分图像来快速检测到目 综合获得日标物体区域 标物体。具体算法描述如下： 确定目标物体 设当前图像序列为f(x:y:),其中(x,少：)为 图1算法流程 图像中像素点的位置坐标。当下一帧图像出现时获 Fig.1 Algorithm flow 取图像的序列f+(x,y:),得到差值图像d(x:, 图1中将背景相减法和帧差法相结合并且加入 y:),将其二值化后得到二值化图像b4(x:,y:): 深度信息，首先利用帧差法确保提取出来目标物体 d4(x,y）=f+1(x:,y:)-f(x,y) (3)
模拟生物的视觉系统功能对目标物体进行辨认遥 目 标识别是利用摄像机对场景的记录袁获取到环境状 态信息袁通过信息尧数据的变化采集到运动区域袁通 过对数据的分析寻找到感兴趣的范围遥 近年来袁学 者们一直在努力探索袁在文献咱员鄄猿暂中阐述了目标识 别近年来在军事上和民间的发展和应用遥 文献咱源暂 中采用了双目系统对目标物体进行识别袁文献咱缘暂 采用了多传感器对目标物体的识别袁文献咱远暂 主要 提出了有效的地标视觉提取和识别的方法袁这些研 究极大地促进了目标识别的发展袁为后续任务打造 了坚实的基础遥 本文提出了将背景相减法和帧差法相结合咱苑暂 的方法将目标物体识别出来遥 然后利用 栽鄄杂 模糊逻 辑方法咱愿暂确定出目标物体的属性袁进而袁灵巧手根 据不同物体对应不同力值的方法对目标物体施加恰 当的力值袁使灵巧手能够对目标物体进行控制遥 员摇 目标识别 摇 摇 目标识别实际上是将一个目标物体从一个特定 的环境中提取出来的过程遥 从而判定目标物体的类 别和类型咱怨暂 遥 针对固定摄像机的拍摄袁可以采取很 多方法检测识别出目标物体遥 对于颜色较明显的物 体可以采用抓取颜色处理的办法进行处理袁对于其 他的没有颜色特征的物体袁常用的目标检测方法有 猿 种院背景相减法尧帧间差分法尧光流法咱员园暂 遥 在摄像机咱员员暂是固定的袁目标物体运动到特定环 境中静止的情况下袁背景相减法只能大体上确定出 目标物体的运动范围袁不能判定出目标物体是否已 经停止遥 帧差法咱员圆暂只能确定相邻图像之间的区别袁 对动态环境有很好的适应性袁但是位置不准确袁不能 完全提取出运动目标的所有相关点遥 面对上述传统的目标检测方法的不足袁文中做 如图 员 算法改进遥 图 员摇 算法流程 云蚤早援员摇 粤造早燥则蚤贼澡皂 枣造燥憎 摇 摇 图 员 中将背景相减法和帧差法相结合并且加入 深度信息袁首先利用帧差法确保提取出来目标物体 为运动的目标袁最后根据目标物体的深度信息判定 出目标物体的类别和类型遥 员援员摇 前景提取 摇 摇 本文将背景相减和帧差法相结合的方法避免了 两者方法的缺点袁将优点结合在一起获得了极好的 效果遥 背景相减法可以快速地检测到运动物体袁并 且容易实现袁效果也较好遥 背景相减法的研究内容包括背景初始化尧背景 更新尧目标物体相关点的检测尧噪音等虚假影响等 等遥 野背景初始化冶研究的是关于背景模型初始参 数获取问题院 野目标物体相关点的检测冶研究的是如 何在相关范围内检测出目标物体运动的序列袁从而 检测出运动的对象曰野噪音等虚假影响冶研究的是在 检测出来的结果中剔除不是目标物体的像素袁提高 检测目标物体的准确率遥 背景相减法可以分 源 部分遥 背景初始化 检测环境中最原始的环境参数曰 背景更新院在检测目标物体时上一时刻的视频序列 帧曰目标物体院在检测的环境范围内感兴趣的目标物 体曰假象院由噪声等引起的图像变化袁例如院边缘深度 浮动等遥 系统将背景初始化为没有放入物体的背景深度 数值遥 根据式渊员冤确定目标物体的区域院 杂噪渊扎冤 越渣 晕噪渊扎冤 原 月噪渊扎冤 渣 渊员冤 式中院 月噪渊扎冤 为背景图像上第 噪 个点的深度值袁 晕噪渊扎冤 为当前帧上第 噪 个点的深度值袁根据式渊圆冤将 得到的 杂噪渊扎冤 的值与选取的阈值进行判断袁从而改 变图像的深度值院 郧渊噪冤 越 源 园园园袁杂噪渊扎冤 约 啄 { 园袁杂噪渊扎冤 逸 啄 渊圆冤 式中院 啄 为设定的阈值袁当 郧渊噪冤 越 源 园园园 时表明没有 目标物体袁当 郧渊噪冤 越 园 表明有运动物体进入遥 但是当人手将目标物体放入环境中时运动的物 体有没有停止袁人手有没有影响到检测目标物体的 精确性等等袁在这种情况下袁背景相减法就不能够满 足需要遥 因此袁文中在此基础上添加了帧差法和深 度的元素遥 帧差法是计算相邻 圆 帧图像 枣噪渊曾蚤袁赠蚤冤 和 枣噪垣员渊曾蚤袁赠蚤冤 的差值袁通过差分图像来快速检测到目 标物体遥 具体算法描述如下院 设当前图像序列为 枣噪渊曾蚤袁赠蚤冤 袁 其中 渊曾蚤袁赠蚤冤 为 图像中像素点的位置坐标遥 当下一帧图像出现时获 取图像的序列 枣噪垣员渊曾蚤袁赠蚤冤 袁得到差值图像 凿驻噪渊曾蚤袁 赠蚤冤 袁 将其二值化后得到二值化图像 遭驻噪渊曾蚤袁赠蚤冤 院 凿驻噪渊曾蚤袁赠蚤冤 越 枣噪垣员渊曾蚤袁赠蚤冤 原 枣噪渊曾蚤袁赠蚤冤 渊猿冤 窑猿愿窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 雷丽充，等：面向灵巧操作的视觉目标识别 ·39· 0,da4(x,y:)<T nect16],Kinect拥有分辨率为320×240,16位色深， b4(x,y:)= (4) 1,d4(x:,y:)≥T 30PS的彩色摄像机和分辨率为640×480,32为色 根据式(3)、(4)，对于进入环境后静止的目标物体， 深，30FPS的深度摄像机。将Kinect放置到天花板 当目标物体运动稳定后当前帧图像和上一帧图像同 上，从上面俯视地面，如图3所示，显示了Kinect摄 一位置的像素点应该一致，因此通过选取适当的阈 像的背景图，图像的左半边是Kinect彩色摄像机显 值进行二值化后得到的差值图像持续为0时标明运 示的彩色图，右半边是深度摄像机获取环境的深度 动物体运动停止。 信息。图4是背景初始化时的图像显示。当有目标 1.2模糊逻辑 物体出现时，检测出来的图像如图5所示。 用背景相减和帧插法相结合的方法只能检测出 表1灵巧手抓取不同目标物体的力值 目标物体的形状、大小、位姿，却不能具体说明此目 Table 1 Force value of different targets grasped by the dexterous hand 标物体的属性。因此，可以利用目标物体的形状、大 小、位姿建立T-$模糊逻辑，从而判断出目标物体的 单个单元需要 目标物体灵巧手种类灵巧手状态 属性和类别。 力的最大值/N T-S模糊逻辑的基本原理是：若模糊规则为 饮料瓶子 BH8-280 正常 10 R:如果x1为F,',…,且xn为F,则y1为B; QQ宠物 BH8-280 正常 78 1=1,2,…,M,则模糊系统的输出为y= 手机盒 BH8-280 正常 65 c6+c1+…+cxn,则T-S系统为 小龙 BH8-280 正常 500 圆口杯子 BH8-280 正常 60 y(x)= (5) 2 式中：F。'代表物体要满足的元素之一。 T-S模糊逻辑的基本框图如图2所示。 R:如果x,为F',,且x为F 则y'=C。'+c,'x+tcnx (a)彩色图 (b)深度信息图 图3背景图 x∈U 伽权平均：r Fig.3 Background image R如果x,为F,“,…,且x为F 则y"="+c,"x+…+c"x 图2TS逻辑的基本框图 Fig.2 Basic block diagram of T-S logical 2触觉建模 本文采用的是美国BarrettHand公司生产的 图4背景初始化 BH8系列中的BH8-280。灵巧手总共有4个触觉传 Fig.4 Background initialization 感器31，每个传感器上有24个电容细胞。它的 测量范围可以达到10N/m。为了能够抓取各种大 小、形状的物体，本文选用饮料杯子、QQ宠物、手机 盒、小龙、圆口杯子作为代表性的物体进行建模。 灵巧手的触觉传感器上对目标物体最大的力值 如表1所示。 3实验结果 图5检测出来的目标物体 文中采用的摄像机是微软公司生产的K- Fig.5 Detected objects
遭驻噪渊曾蚤袁赠蚤冤 越 园袁凿驻噪渊曾蚤袁赠蚤冤 约 栽 员袁凿驻噪渊曾蚤袁赠 { 蚤冤 逸 栽 渊源冤 根据式渊猿冤尧渊源冤袁对于进入环境后静止的目标物体袁 当目标物体运动稳定后当前帧图像和上一帧图像同 一位置的像素点应该一致袁因此通过选取适当的阈 值进行二值化后得到的差值图像持续为 园 时标明运 动物体运动停止遥 员援圆 摇 模糊逻辑 用背景相减和帧插法相结合的方法只能检测出 目标物体的形状尧大小尧位姿袁却不能具体说明此目 标物体的属性遥 因此袁可以利用目标物体的形状尧大 小尧位姿建立 栽鄄杂 模糊逻辑袁从而判断出目标物体的 属性和类别遥 栽鄄杂 模糊逻辑的基本原理是院若模糊规则为 砸造 院如果 曾 员 为 云员 造 袁噎袁 且 曾灶 为 云灶 造 袁则 赠员 为 月造 曰 造 越员袁圆袁噎袁酝 袁 则模糊系统的输出为 赠造 越 糟 造 园 垣 糟 造 园 曾员 垣噎 垣 糟 造 灶 曾灶 袁则 栽鄄杂 系统为 赠渊曾冤 越 移 酝 造 越 员 移 灶 躁 越 园 糟 造 躁 曾躁仪 灶 蚤 越 员 云造 蚤 渊曾蚤冤 移 酝 造 越 员 仪 灶 蚤 越 员 云造 蚤 渊曾蚤冤 渊缘冤 式中院 云灶 造 代表物体要满足的元素之一遥 栽鄄杂 模糊逻辑的基本框图如图 圆 所示遥 图 圆摇 栽鄄杂 逻辑的基本框图 云蚤早援圆摇 月葬泽蚤糟 遭造燥糟噪 凿蚤葬早则葬皂 燥枣 栽鄄杂 造燥早蚤糟葬造 圆摇 触觉建模 本文采用的是美国 月葬则则藻贼贼匀葬灶凿 公司生产的 月匀愿 系列中的 月匀愿鄄圆愿园遥 灵巧手总共有 源 个触觉传 感器咱员猿鄄员缘暂 袁每个传感器上有 圆源 个电容细胞遥 它的 测量范围可以达到 员园 晕 辕 皂遥 为了能够抓取各种大 小尧形状的物体袁本文选用饮料杯子尧匝匝 宠物尧手机 盒尧小龙尧圆口杯子作为代表性的物体进行建模遥 灵巧手的触觉传感器上对目标物体最大的力值 如表 员 所示遥 猿摇 实验结果 文中采用的摄像机是 微软公司生产的 运蚤鄄 灶藻糟贼咱员远暂 袁运蚤灶藻糟贼 拥有分辨率为 猿圆园 伊 圆源园袁员远 位色深袁 猿园云孕杂 的彩色摄像机和分辨率为 远源园 伊 源愿园袁猿圆 为色 深袁猿园云孕杂 的深度摄像机遥 将 运蚤灶藻糟贼 放置到天花板 上袁从上面俯视地面袁如图 猿 所示袁显示了 运蚤灶藻糟贼 摄 像的背景图袁图像的左半边是 运蚤灶藻糟贼 彩色摄像机显 示的彩色图袁右半边是深度摄像机获取环境的深度 信息遥 图 源 是背景初始化时的图像显示遥 当有目标 物体出现时袁检测出来的图像如图 缘 所示遥 表 员摇 灵巧手抓取不同目标物体的力值 栽葬遭造藻 员 摇 云燥则糟藻 增葬造怎藻 燥枣 凿蚤枣枣藻则藻灶贼 贼葬则早藻贼泽 早则葬泽责藻凿 遭赠 贼澡藻 凿藻曾贼藻则燥怎泽 澡葬灶凿 目标物体 灵巧手种类 灵巧手状态 单个单元需要 力的最大值辕 晕 饮料瓶子 月匀愿鄄圆愿园 正常 苑园 匝匝 宠物 月匀愿鄄圆愿园 正常 苑愿 手机盒 月匀愿鄄圆愿园 正常 远缘 小龙 月匀愿鄄圆愿园 正常 缘园园 圆口杯子 月匀愿鄄圆愿园 正常 远园 图 猿摇 背景图 云蚤早援猿摇 月葬糟噪早则燥怎灶凿 蚤皂葬早藻 图 源摇 背景初始化 云蚤早援源摇 月葬糟噪早则燥怎灶凿 蚤灶蚤贼蚤葬造蚤扎葬贼蚤燥灶 图 缘摇 检测出来的目标物体 云蚤早援缘摇 阅藻贼藻糟贼藻凿 燥遭躁藻糟贼泽 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 雷丽充袁等院面向灵巧操作的视觉目标识别 窑猿怨窑
.40. 智能系统学报 第10卷 利用目标识别原理需要识别出备用的目标物体饮 料杯子QQ宠物、手机盒、小龙、圆口杯子，如图6。 (a)手机盒彩色图 (b)手机盒深度图 图6备用目标物体 Fig.6 The target object 本文利用Kinect检测出的5种目标物体的效果 (c)结果图 图如图7~11所示。深度图像通过R感应器采集 到连续光，然后通过解码产生。因此，目标物体放置 图9检测手机盒 位置与Kinect的距离不同，检测出来的目标形状大 Fig.9 Detection of the phone box 小也不同。图7~I1是以目标物体距离Kinect摄像 机107cm为例的效果图。 (a)小龙盒彩色图 b)小龙深度图 (a)饮料瓶子的彩色图 (b)饮料瓶子的深度图 (©)结果图 图10检测小龙 Fig.10 Detection of the dragon (c)结果图 图7检测饮料瓶子 Fig.7 Detection of the bottle (a)圆口杯子彩色图 )圆口杯子深度图 (a)00宠物彩色图 (b)QQ宠物深度图 (©)结果图 图11检测圆口杯子 Fig.11 Detection of the round cup (©)结果图 根据实际情况，目标物体放置位置距离传感 图8检测QQ宠物 器的距离为127、117、107cm。分析检测出来的 Fig.Detection of the QQ pet
摇 摇 利用目标识别原理需要识别出备用的目标物体饮 料杯子尧匝匝 宠物尧手机盒尧小龙尧圆口杯子袁如图 远遥 图 远摇 备用目标物体 云蚤早援远摇 栽澡藻 贼葬则早藻贼 燥遭躁藻糟贼 摇 摇 本文利用 运蚤灶藻糟贼 检测出的 缘 种目标物体的效果 图如图 苑 耀 员员 所示遥 深度图像通过 陨砸 感应器采集 到连续光袁然后通过解码产生遥 因此袁目标物体放置 位置与 运蚤灶藻糟贼 的距离不同袁检测出来的目标形状大 小也不同遥 图 苑 耀 员员 是以目标物体距离 运蚤灶藻糟贼 摄像 机 员园苑 糟皂 为例的效果图遥 图 苑摇 检测饮料瓶子 云蚤早援苑摇 阅藻贼藻糟贼蚤燥灶 燥枣 贼澡藻 遭燥贼贼造藻 图 愿摇 检测 匝匝 宠物 云蚤早援愿摇 阅藻贼藻糟贼蚤燥灶 燥枣 贼澡藻 匝匝 责藻贼 图 怨摇 检测手机盒 云蚤早援怨摇 阅藻贼藻糟贼蚤燥灶 燥枣 贼澡藻 责澡燥灶藻 遭燥曾 图 员园摇 检测小龙 云蚤早援员园摇 阅藻贼藻糟贼蚤燥灶 燥枣 贼澡藻 凿则葬早燥灶 图 员员摇 检测圆口杯子 云蚤早援员员摇 阅藻贼藻糟贼蚤燥灶 燥枣 贼澡藻 则燥怎灶凿 糟怎责 摇 摇 根据实际情况袁目标物体放置位置距离传感 器的距离为 员圆苑尧员员苑尧员园苑 糟皂遥 分析检测出来的 窑源园窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 雷丽充，等：面向灵巧操作的视觉目标识别 41 差值图像，将检测出来的目标物体画上最小外接 矩阵。可以得出最小外接矩阵的周长和面积范 围，如表2所示。 表2R传感器检测出来的目标物体状态 Table 2 Target object state detecting by IR sensor 检测出 目标物体 检测目标 检测目标 目标 来的形 离传感器 物体的周 物体的面 物体 状 的距离/cm 长/cm 积/cm2 127 52.0 169.0 图12灵巧手初始化 饮料瓶子圆形 117 64.4 259.2 Fig.12 Dexterous hand initialization 107 68.0 288.0 127 120.0 896.0 QQ宠物 圆形 117 142.0 1258.0 107 159.6 1590.6 127 152.0 1363.0 手机盒长方形 117 176.4 1848.5 图13灵巧手抓取杯子 107 190.0 2146.0 Fig.13 Dexterous hand is grasping the cup 127 89.1 495.9972 小龙不规则形状 117 110.9 753 4 结束语 107 113.6 807 为了能够实现灵巧手抓取目标物体对应的力值 127 108.5 735.2 操作问题，本文研究了一种利用Kinect检测出目标 圆口杯子环形 117 150.0 1406.0 物体，在帧差法的基础上对获取的深度值进行背景 107 172.3 1855.3 相减，获取出目标物体的运动点，在此基础上利用获 取的目标物体的特征采用T-S模糊逻辑判断出目标 因此，结合T-S模糊逻辑，有表1可以得出当检 物体的方法，使得BH8-280灵巧手抓取目标物体时 测的目标物体的周长为52~68cm,面积为169~ 能够更加智能和类人手化。利用T-S模糊逻辑为目 288cm2,并且检测出来的形状为圆形时就认定此目 标物体判断提供了理论基础，并且提高了目标物体 标物体为饮料瓶子：周长为120~159.6cm,面积为 的准确率。本文所提供的目标识别物体的方法更加 896~1590.6cm2,检测出来的形状为圆形的目标物 智能化，扩充了目标识别的应用范围，为灵巧手更加 体认定为QQ宠物；周长为152~190cm,面积为 智能化的发展提供了基础。 1363~2146cm2,检测出来的形状为长方形的目标 物体可以认定为手机盒；周长为89~113.6cm,面积 参考文献： 为495.9972~807cm2,检测出来的形状为不规则的 [1]陈春玉.目标识别技术的现状与发展[J].声学技术， 形状，则认定目标物体为小龙：周长为108.5~ 1999,18(4):185-188. 172.3cm,面积为735.2~1855.3cm2,检测出来的形 CHEN Chunyu.The present situation and developing trend 状为环形，则认定目标物体为图6中的圆口杯子。 of target discrimination techniques[J].Technical Acous- 经过上述分析，可以以圆口杯子为例，当识别出 tics,1999,18(4):185-188. 来物体之后，采用美国Barrett Technology公司生产 [2]丛敏，金善良，罗翌.自动目标识别技术的发展现状及其 的BH8-280进行抓取，针对不同的物体，灵巧手使 应用[J].飞航导弹，1999(12)：1-9. 用不同的力值进行精细控制，参考文献[17]利用 CONG Min,JIN Shanliang,LUO Yi.The present situation PID控制可以实现BH8-280对目标物体进行操作， and developing trend of target automatic recognition tech- 其效果图（以圆口杯子为例）如图12、13所示。 niques[J].Winged Missiles Journal,1999(12):1-9. [3]舒海燕图像目标识别技术的研究与应用[D].西安：西
差值图像袁将检测出来的目标物体画上最小外接 矩阵遥 可以得出最小外接矩阵的周长和面积范 围袁如表 圆 所示遥 表 圆摇 陨砸 传感器检测出来的目标物体状态 栽葬遭造藻 圆摇 栽葬则早藻贼 燥遭躁藻糟贼 泽贼葬贼藻 凿藻贼藻糟贼蚤灶早 遭赠 陨砸 泽藻灶泽燥则 目标 物体 检测出 来的形 状 目标物体 离传感器 的距离辕 糟皂 检测目标 物体的周 长辕 糟皂 检测目标 物体的面 积辕 糟皂圆 饮料瓶子 圆形 员圆苑 员员苑 员园苑 缘圆援园 远源援源 远愿援园 员远怨援园 圆缘怨援圆 圆愿愿援园 匝匝 宠物 圆形 员圆苑 员员苑 员园苑 员圆园援园 员源圆援园 员缘怨援远 愿怨远援园 员 圆缘愿援园 员 缘怨园援远 手机盒 长方形 员圆苑 员员苑 员园苑 员缘圆援园 员苑远援源 员怨园援园 员 猿远猿援园 员 愿源愿援缘 圆 员源远援园 小龙 不规则形状 员圆苑 员员苑 员园苑 摇 愿怨援员 员员园援怨 员员猿援远 源怨缘援怨怨苑 圆 苑缘猿 愿园苑 圆口杯子 环形 员圆苑 员员苑 员园苑 员园愿援缘 员缘园援园 员苑圆援猿 苑猿缘援圆 员 源园远援园 员 愿缘缘援猿 因此袁结合 栽鄄杂 模糊逻辑袁有表 员 可以得出当检 测的目标物体的周长为 缘圆 耀 远愿 糟皂袁面积为 员远怨 耀 圆愿愿 糟皂圆 袁并且检测出来的形状为圆形时就认定此目 标物体为饮料瓶子曰周长为 员圆园 耀 员缘怨援远 糟皂袁面积为 愿怨远 耀 员缘怨园援远 糟皂圆 袁检测出来的形状为圆形的目标物 体认定为 匝匝 宠物曰周长为 员缘圆 耀 员怨园 糟皂袁面积为 员 猿远猿 耀 圆 员源远 糟皂圆 袁检测出来的形状为长方形的目标 物体可以认定为手机盒曰周长为 愿怨 耀 员员猿援远 糟皂袁面积 为源怨缘援怨怨苑 圆 耀 愿园苑 糟皂圆 袁检测出来的形状为不规则的 形状袁 则认定目标物体为小龙曰 周长为 员园愿援 缘 耀 员苑圆援猿 糟皂袁面积为 苑猿缘援圆 耀 员 愿缘缘援猿 糟皂圆 袁检测出来的形 状为环形袁则认定目标物体为图 远 中的圆口杯子遥 经过上述分析袁可以以圆口杯子为例袁当识别出 来物体之后袁采用美国 月葬则则藻贼贼 栽藻糟澡灶燥造燥早赠 公司生产 的 月匀愿鄄圆愿园 进行抓取袁针对不同的物体袁灵巧手使 用不同的力值进行精细控制袁参考文献咱 员苑暂 利用 孕陨阅 控制可以实现 月匀愿鄄圆愿园 对目标物体进行操作袁 其效果图渊以圆口杯子为例冤如图 员圆尧员猿 所示遥 图 员圆摇 灵巧手初始化 云蚤早援员圆摇 阅藻曾贼藻则燥怎泽 澡葬灶凿 蚤灶蚤贼蚤葬造蚤扎葬贼蚤燥灶 图 员猿摇 灵巧手抓取杯子 云蚤早援员猿摇 阅藻曾贼藻则燥怎泽 澡葬灶凿 蚤泽 早则葬泽责蚤灶早 贼澡藻 糟怎责 源摇 结束语 为了能够实现灵巧手抓取目标物体对应的力值 操作问题袁本文研究了一种利用 运蚤灶藻糟贼 检测出目标 物体袁在帧差法的基础上对获取的深度值进行背景 相减袁获取出目标物体的运动点袁在此基础上利用获 取的目标物体的特征采用 栽鄄杂 模糊逻辑判断出目标 物体的方法袁使得 月匀愿鄄圆愿园 灵巧手抓取目标物体时 能够更加智能和类人手化遥 利用 栽鄄杂 模糊逻辑为目 标物体判断提供了理论基础袁并且提高了目标物体 的准确率遥 本文所提供的目标识别物体的方法更加 智能化袁扩充了目标识别的应用范围袁为灵巧手更加 智能化的发展提供了基础遥 参考文献院 咱员暂陈春玉援 目标识别技术的现状与发展咱允暂援 声学技术袁 员怨怨怨袁 员愿渊源冤 院 员愿缘鄄员愿愿援 悦匀耘晕 悦澡怎灶赠怎援 栽澡藻 责则藻泽藻灶贼 泽蚤贼怎葬贼蚤燥灶 葬灶凿 凿藻增藻造燥责蚤灶早 贼则藻灶凿 燥枣 贼葬则早藻贼 凿蚤泽糟则蚤皂蚤灶葬贼蚤燥灶 贼藻糟澡灶蚤择怎藻泽 咱 允 暂援 栽藻糟澡灶蚤糟葬造 粤糟燥怎泽鄄 贼蚤糟泽袁 员怨怨怨袁 员愿渊源冤院 员愿缘鄄员愿愿援 咱圆暂丛敏袁金善良袁罗翌援自动目标识别技术的发展现状及其 应用咱允暂援飞航导弹袁 员怨怨怨渊员圆冤 院 员鄄怨援 悦韵晕郧 酝蚤灶袁 允陨晕 杂澡葬灶造蚤葬灶早袁 蕴哉韵 再蚤援 栽澡藻 责则藻泽藻灶贼 泽蚤贼怎葬贼蚤燥灶 葬灶凿 凿藻增藻造燥责蚤灶早 贼则藻灶凿 燥枣 贼葬则早藻贼 葬怎贼燥皂葬贼蚤糟 则藻糟燥早灶蚤贼蚤燥灶 贼藻糟澡鄄 灶蚤择怎藻泽咱 允暂援 宰蚤灶早藻凿 酝蚤泽泽蚤造藻泽 允燥怎则灶葬造袁 员怨怨怨渊员圆冤 院 员鄄怨援 咱猿暂舒海燕援图像目标识别技术的研究与应用咱阅暂援西安院西 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 雷丽充袁等院面向灵巧操作的视觉目标识别 窑源员窑