第15卷第5期 智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992tis.201903026 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20200320.0947.004html 开放环境下未知材质的识别技术 靳少卫2，刘华平3，王博文2，孙富春 (1.河北工业大学省部共建电工装备可靠性与智能化国家重点实验室，天津300130,2.河北工业大学河北省 电磁场与电器可靠性重点实验室，天津300130：3.清华大学智能技术与系统国家重点实验室，北京100084) 摘要：针对开放环境下未知物体材质识别的问题，本文提出一种利用欧氏距离区分未知类别和已知类别的物体材 质识别方法框架，在该框架下利用支持向量机对物体材质进行识别.分类效果显著。该方法利用距离度量中的欧氏 距离与阈值进行比较，距离的均值小于阈值的物体判定为已知类别物体材质.并进行分类：距离大于阈值的物体判定 为未知类别物体材质，并利用支持向量机算法进行重新学习识别。本文在慕尼黑工业大学的触觉数据集中的声音数 据上进行实验，对比了5种距离度量方法，选择了欧氏距离：与开集稀疏表示分类方法对比，显示出本文提出的方法 在声音数据集上具有一定的优势：通过实验选出了合理的阈值，并最终实现了开放环境下识别所有物体材质。实验 验证了该框架可以很好地解决开放环境下触觉感知信息的物体材质识别问题。 关键词：开放环境；触觉感知；声音数据；距离度量；支持向量机：k-最近邻；材质识别；分类 中图分类号：TP391 文献标志码：A文章编号：1673-4785(2020)05-1020-08 中文引用格式：靳少卫，刘华平，王博文，等.开放环境下未知材质的识别技术J.智能系统学报，2020,15(5)：1020-1027 英文引用格式：JIN Shaowei,LIU Huaping.,VANG Bowen,.et al.Recognition of unknown materials in an open environmentJl,. CAAI transactions on intelligent systems,2020,15(5):1020-1027. Recognition of unknown materials in an open environment JIN Shaowei,LIU Huaping,WANG Bowen2,SUN Fuchun' (1.State Key Laboratory of Reliability and Intelligence of Electrical Equipment,Hebei University of Technology,Tianjin 300130, China;2.Key Laboratory of Electromagnetic Field and Electrical Apparatus Reliability of Hebei Province,Hebei University of Tech- nology,Tianjin 300130,China;3.State Key Lab of Intelligent Technology and Systems,Tsinghua University,Beijing 100084, China) Abstract:Considering the problem of unknown object material recognition in an open environment,this paper proposes an object material recognition method framework that uses the Euclidean distance to distinguish unknown and known categories.Under this framework,a support vector machine is used to recognize object materials,and the classification effect is remarkable.This method uses the Euclidean distance in the distance metric to compare the thresholds.Objects whose average distances are less than the threshold are classified as materials of a known class:objects with distances greater than the threshold are classified as materials of an unknown class and use a support vector machine algorithm for re-learning recognition.Experiments are conducted on sound data in a haptic data set by the Technical University of Munich.Five distance measurement methods are compared,and finally,the Euclidean distance is selected.A comparis- on with the open set sparse representation classification method shows that the method proposed in this paper has cer- tain advantages on the sound data set.A reasonable threshold is selected through experiments,and finally all object ma- terials are recognized in an open environment.Experiments verify that the framework can solve the problem of object material recognition of tactile perception information in an open environment. Keywords:open environment;tactile perception;sound data;distance measurement;support vector machine;k-nearest neighbor:material recognition:classification 智能无人系统是通过先进技术进行操作或管 收稿日期：2019-03-21.网络出版日期：2020-03-20 理而无需人为干预的自主系统，主要由机械、控 基金项目：国家自然科学基金重点项目(U1613212):河北省自 然科学基金项目(E2017202035). 制、计算机、通信、材料等多种技术融合而成的复 通信作者：刘华平.E-mail:hpliu@tsinghua.edu.cn 杂系统，其主要特点是智能化和自主性。人工智
DOI: 10.11992/tis.201903026 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20200320.0947.004.html 开放环境下未知材质的识别技术 靳少卫1,2，刘华平3 ，王博文1,2，孙富春3 （1. 河北工业大学 省部共建电工装备可靠性与智能化国家重点实验室，天津 300130; 2. 河北工业大学 河北省 电磁场与电器可靠性重点实验室，天津 300130; 3. 清华大学 智能技术与系统国家重点实验室，北京 100084） 摘 要：针对开放环境下未知物体材质识别的问题，本文提出一种利用欧氏距离区分未知类别和已知类别的物体材 质识别方法框架，在该框架下利用支持向量机对物体材质进行识别，分类效果显著。该方法利用距离度量中的欧氏 距离与阈值进行比较，距离的均值小于阈值的物体判定为已知类别物体材质，并进行分类；距离大于阈值的物体判定 为未知类别物体材质，并利用支持向量机算法进行重新学习识别。本文在慕尼黑工业大学的触觉数据集中的声音数 据上进行实验，对比了 5 种距离度量方法，选择了欧氏距离；与开集稀疏表示分类方法对比，显示出本文提出的方法 在声音数据集上具有一定的优势；通过实验选出了合理的阈值，并最终实现了开放环境下识别所有物体材质。实验 验证了该框架可以很好地解决开放环境下触觉感知信息的物体材质识别问题。 关键词：开放环境；触觉感知；声音数据；距离度量；支持向量机；k-最近邻；材质识别；分类 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2020)05−1020−08 中文引用格式：靳少卫, 刘华平, 王博文, 等. 开放环境下未知材质的识别技术 [J]. 智能系统学报, 2020, 15(5): 1020–1027. 英文引用格式：JIN Shaowei, LIU Huaping, WANG Bowen, et al. Recognition of unknown materials in an open environment[J]. CAAI transactions on intelligent systems, 2020, 15(5): 1020–1027. Recognition of unknown materials in an open environment JIN Shaowei1,2 ，LIU Huaping3 ，WANG Bowen1,2 ，SUN Fuchun3 (1. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130, China; 2. Key Laboratory of Electromagnetic Field and Electrical Apparatus Reliability of Hebei Province, Hebei University of Technology, Tianjin 300130, China; 3. State Key Lab of Intelligent Technology and Systems, Tsinghua University, Beijing 100084, China) Abstract: Considering the problem of unknown object material recognition in an open environment, this paper proposes an object material recognition method framework that uses the Euclidean distance to distinguish unknown and known categories. Under this framework, a support vector machine is used to recognize object materials, and the classification effect is remarkable. This method uses the Euclidean distance in the distance metric to compare the thresholds. Objects whose average distances are less than the threshold are classified as materials of a known class; objects with distances greater than the threshold are classified as materials of an unknown class and use a support vector machine algorithm for re-learning recognition. Experiments are conducted on sound data in a haptic data set by the Technical University of Munich. Five distance measurement methods are compared, and finally, the Euclidean distance is selected. A comparison with the open set sparse representation classification method shows that the method proposed in this paper has certain advantages on the sound data set. A reasonable threshold is selected through experiments, and finally all object materials are recognized in an open environment. Experiments verify that the framework can solve the problem of object material recognition of tactile perception information in an open environment. Keywords: open environment; tactile perception; sound data; distance measurement; support vector machine; k-nearest neighbor; material recognition; classification 智能无人系统是通过先进技术进行操作或管 理而无需人为干预的自主系统，主要由机械、控 制、计算机、通信、材料等多种技术融合而成的复 杂系统，其主要特点是智能化和自主性。人工智 收稿日期：2019−03−21. 网络出版日期：2020−03−20. 基金项目：国家自然科学基金重点项目 (U1613212)；河北省自 然科学基金项目 (E2017202035). 通信作者：刘华平. E-mail: hpliu@tsinghua.edu.cn. 第 15 卷第 5 期 智 能 系 统 学 报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020
第5期 靳少卫，等：开放环境下未知材质的识别技术 ·1021· 能是发展智能无人自主系统的关键技术之一，通 质识别。大多数研究者都采用不同模态的信息代 过人工智能的各种技术，可以实现和不断提高系 替传统的压觉和力觉来采集物体特征，并借助机 统的2个特征。随着计算机硬件的发展和先进计 器学习的方法来对物体进行识别。其中最近邻 算模型的提出，人工智能和机器学习在计算机视 支持向量机作为最成熟的机器学习算法被广泛地 觉、听觉和其它学习难题领域中迅速发展，机器 应用于触觉物体识别及各领域，例如文本识别 学习通过以下2种方式支持无人自主系统：通过 并且有许多学者依然在对这2种算法进行扩展， 类人的方式与外界进行交互和控制，并接收外界 例如文献[11-12]。 信息，然后分析和控制；获得外面世界的信息来 上述研究虽然已经取得了很大的进步，但依 源于各感官知觉，如视觉、声觉和触觉。触觉传 然没有关于开放环境下未知触觉物体材质识别的 感对机器人在工业、教育、医疗及家庭服务等各 研究。目前只有开放环境下对未知物体进行拒绝 方面的的灵巧精细操作至关重要，主要包括压阻 并识别已知物体的少数研究，并没有对未知类别 式、压电式、电容式、光式、量子隧道效应式等各 进行识别。例如文献[13]采用稀疏表示的分类方 类模态的触觉传感器。在机器人对物体材质 法对人脸进行开放环境下识别已知类别。现实世 进行识别时，视觉有时受到光照、物体颜色、遮挡 界中机器人接触的物体都是在不断变化，动态增 等因素影响，难以挖掘物体材质信息。触觉传感 加的，如何让机器人系统像人一样，遇到未知的 器在与物体交互接触时产生碰撞的声音或加速度 物体时可以很好地与已知的物体分开，并对未知 等信息可以探索到视觉传感器无法感知的物体材 的物体重新学习其相关知识。因此开发一种可以 质属性。己有相关研究采用麦克风作为触觉传感 识别未知物体，并通过不断学习未知物体属性， 器采集声音模态来识别物体材质，识别效果较 达到识别所有物体的系统对机器人来说至关重 好，如文献「4]利用敲击物体产生的声音对物体 要。本文正是为了解决这样的问题开发了一种区 材质进行识别。本文提出的识别框架正是解决开 分已知类物体材质和未知类物体材质，并不断学 放环境下利用声音模态信号对物体进行材质识别的 习识别物体材质的框架。 问题。 2识别框架流程 1触觉识别技术 本文利用距离度量的方法区分未知类物体材 目前随着机器人精细操作对触觉传感器感知 质类别和已知类物体材质类别，形成开放环境识 的依赖越来越强烈，对触觉物体识别的研究也不 别框架，该框架可以识别新类别、收集新数据、对 断发展。例如文献[⑤]利用多层触觉传感器采集 新数据进行训练学习，达到识别新类别的目的。 物体纹理信息，并利用支持向量机等分类器对其 开放环境下未知材质识别框架如图1所示，其中 进行识别。文献[6]在考虑手指间内在联系下， 测试数据中包含未知类物体材质。 开发了一种联合核稀疏编码模型解决多指触觉序 列识别问题。文献「7]利用机器人皮肤嵌入触觉 已知的训练数据 传感元件阵列，基于压缩感知(compressed sensing,. CS)和压缩学习(compressed learning,CL)的理论 计算测试数据与训练数据的最 训练分类器1 基础，采集压缩的触觉阵列信号，利用支持向量 小前k项距离均值d 机对物体纹理进行识别。文献[8]开发设计了64 当d<T时，测试样本属于已 已知类 组触觉传感模块并制作了阵列式触觉传感器，将 知类样本 样本 利用分类器1测试 其安装在灵巧手手指上抓取物体采集触觉数据 当ā>T时，测试样本属于未 已知类样本 知类样本 集，并利用触觉时间序列的动态时间规整(dynam- ic time warping,DTW)作为距离度量，使用了最近 未知类样本 将未知类样本收集起来分为 邻分类算法对物体进行识别。 新的训练集和测试集 与本文工作最接近的文献[9]指出触觉包括 新训练集 新测试集 动觉和接触，在敲击物体或在物体上滑动时产生 振动信号，可以采集不同模态的触觉信息，例如 利用分类器2测试 训练分类2 加速度和声音，同时文献[9]指出触觉中动觉信 新测试集 息与语音信号相似，采用了语音处理中常用的梅 图1开放环境识别框架 尔频率倒谱系数来提取特征，对触觉物体进行材 Fig.1 Open environment recognition framework
能是发展智能无人自主系统的关键技术之一，通 过人工智能的各种技术，可以实现和不断提高系 统的 2 个特征。随着计算机硬件的发展和先进计 算模型的提出，人工智能和机器学习在计算机视 觉、听觉和其它学习难题领域中迅速发展，机器 学习通过以下 2 种方式支持无人自主系统：通过 类人的方式与外界进行交互和控制，并接收外界 信息，然后分析和控制；获得外面世界的信息来 源于各感官知觉，如视觉、声觉和触觉[1]。触觉传 感对机器人在工业、教育、医疗及家庭服务等各 方面的的灵巧精细操作至关重要，主要包括压阻 式、压电式、电容式、光式、量子隧道效应式等各 类模态的触觉传感器[2-3]。在机器人对物体材质 进行识别时，视觉有时受到光照、物体颜色、遮挡 等因素影响，难以挖掘物体材质信息。触觉传感 器在与物体交互接触时产生碰撞的声音或加速度 等信息可以探索到视觉传感器无法感知的物体材 质属性。已有相关研究采用麦克风作为触觉传感 器采集声音模态来识别物体材质，识别效果较 好，如文献 [4] 利用敲击物体产生的声音对物体 材质进行识别。本文提出的识别框架正是解决开 放环境下利用声音模态信号对物体进行材质识别的 问题。 1 触觉识别技术 目前随着机器人精细操作对触觉传感器感知 的依赖越来越强烈，对触觉物体识别的研究也不 断发展。例如文献 [5] 利用多层触觉传感器采集 物体纹理信息，并利用支持向量机等分类器对其 进行识别。文献 [6] 在考虑手指间内在联系下， 开发了一种联合核稀疏编码模型解决多指触觉序 列识别问题。文献 [7] 利用机器人皮肤嵌入触觉 传感元件阵列,基于压缩感知 (compressed sensing, CS) 和压缩学习 (compressed learning,CL) 的理论 基础，采集压缩的触觉阵列信号，利用支持向量 机对物体纹理进行识别。文献 [8] 开发设计了 64 组触觉传感模块并制作了阵列式触觉传感器，将 其安装在灵巧手手指上抓取物体采集触觉数据 集，并利用触觉时间序列的动态时间规整 (dynamic time warping, DTW) 作为距离度量，使用了最近 邻分类算法对物体进行识别。 与本文工作最接近的文献 [9] 指出触觉包括 动觉和接触，在敲击物体或在物体上滑动时产生 振动信号，可以采集不同模态的触觉信息，例如 加速度和声音，同时文献 [9] 指出触觉中动觉信 息与语音信号相似，采用了语音处理中常用的梅 尔频率倒谱系数来提取特征，对触觉物体进行材 质识别。大多数研究者都采用不同模态的信息代 替传统的压觉和力觉来采集物体特征，并借助机 器学习的方法来对物体进行识别。其中最近邻、 支持向量机作为最成熟的机器学习算法被广泛地 应用于触觉物体识别及各领域，例如文本识别[10] ， 并且有许多学者依然在对这 2 种算法进行扩展， 例如文献 [11-12]。 上述研究虽然已经取得了很大的进步，但依 然没有关于开放环境下未知触觉物体材质识别的 研究。目前只有开放环境下对未知物体进行拒绝 并识别已知物体的少数研究，并没有对未知类别 进行识别。例如文献 [13] 采用稀疏表示的分类方 法对人脸进行开放环境下识别已知类别。现实世 界中机器人接触的物体都是在不断变化，动态增 加的，如何让机器人系统像人一样，遇到未知的 物体时可以很好地与已知的物体分开，并对未知 的物体重新学习其相关知识。因此开发一种可以 识别未知物体，并通过不断学习未知物体属性， 达到识别所有物体的系统对机器人来说至关重 要。本文正是为了解决这样的问题开发了一种区 分已知类物体材质和未知类物体材质，并不断学 习识别物体材质的框架。 2 识别框架流程 本文利用距离度量的方法区分未知类物体材 质类别和已知类物体材质类别，形成开放环境识 别框架，该框架可以识别新类别、收集新数据、对 新数据进行训练学习，达到识别新类别的目的。 开放环境下未知材质识别框架如图 1 所示，其中 测试数据中包含未知类物体材质。 已知的训练数据 未知类样本 已知类 样本 将未知类样本收集起来分为 新的训练集和测试集 新训练集 新测试集 训练分类2 训练分类器1 利用分类器2测试 新测试集 利用分类器1测试 已知类样本 当 dc < T 时, 测试样本属于已 当 dc > T 时, 测试样本属于未 计算测试数据与训练数据的最 小前 k 项距离均值 dc − − − 知类样本 知类样本 图 1 开放环境识别框架 Fig. 1 Open environment recognition framework 第 5 期 靳少卫，等：开放环境下未知材质的识别技术 ·1021·
·1022· 智能系统学报 第15卷 该框架符合人不断学习的过程，当一个儿童 ifd(i)<T 在学习时，由自己的父母或者老师告诉他每种物 dataknown=[dataknownx] 体。当这个儿童认识了一些物体后，在他遇到没 Yknown =[Yknown:y] 有见过的物体时，他可以知道这个物体他没见 else 过。本文利用距离度量解决这个问题，判断没见 dataunknown-[dataunknown] 的物体。但是，要想让这个儿童认识这个未知的 Yunknown=[Yunknowny] 物体，需要父母或老师告诉他这是什么，这样他 end 就认识了这个物体。本文采用监督学习的方式， end 在收集了大量的未知类样本后，人为地给出各未 知类样本的标签，再学习识别未知类样本。 5)分割未知类数据： 2.1识别测试 [YY]=splitdata(dataukow Ykow) 利用提出的框架进行测试，测试过程如下： 6)训练分类器2并测试全部数据： 1)计算包含未知类别的测试数据集与已知训 model =svmtrain(Yu,Xu) 练数据集之间的距离d。同时利用已知的训练数 predict =svmpredict(Ynown,dataknown,model) 据集训练分类器1： predict=svmpredict(Yie.Xte,model2) 2)对距离d.进行升序排列； 上述过程分类器采用支持向量机，分类器也 3)从最小开始依次选择前k项距离，并计算 可以换成其他分类器。 距离的前k项平均值d: 2.2距离度量 4)根据距离d判断测试样本是已知类样本 从识别框架中可以看出区分已知类样本和未 还是未知类样本。已知类测试样本的距离比较 知类样本的关键步骤是距离的选择，也是本文的 小，未知类的测试样本距离较大。设置阈值T判 核心思想。当测试样本中出现未知类样本时，怎 断测试样本为已知类样本还是未知类样本，当 样判断这个样本不属于已知类样本，利用距离进 d<T时，测试样本属于已知类样本，当d>T 行相似性判断。 时，测试样本属于未知类样本： 如图2所示，已知的训练样本类别为3类，分 5)将已知类样本保留，将未知类样本分解为 别为圆形、三角形、正方形。当出现测试样本时， 新的测试数据集和新训练数据集，利用新的训练 需要计算测试样本与训练样本中所有样本之间的 数据集训练分类器2，并利用新训练的分类器 距离，然后选择距离中最小的前k项，再计算平均 2测试新的测试数据集。利用分类器1测试保留 值，通过实验确定合适的阈值，当距离的平均值 下来的已知类样本； 大于阈值时，这个测试样本就被判断为未知类样 6)最后整合所有测试结果给出整体的测试结果。 本。在图2中五边形为未知类样本，正方形为已 识别框架算法： 知类样本，可以看出3个距离都比正方形的距离 输入训练数据X.∈RxM,训练数据标签 大，平均值必然也很大，只要阈值设置的合适，就 Y.eR×,训练数据样本数N,包含未知类的测试 可以判断五边形为未知类样本，正方形为已知类样本。 数据Xe∈Rw+xM,测试数据标签Ye∈RW+,测 试数据已知类样本数N,未知类样本数N,阈值 T,前k项的k值。 输出predict,和predict2o 1)计算距离并训练分类器1： de=pdist(Xie,Xu,'euclidean') model =svmtrain(Yu,Xu) 图2距离度量示意 2)按行升序排序：d=sort(d,2) Fig.2 Diagram of distance measurement 3)计算前k项距离的平均值： 假设2个n维向量a(x11,x12,…,xm)和b(21,x2,…, de mean(d(:,1:),2) x2,常见的距离为 4)判断样本是已知类还是未知类： 欧氏距离： for i=1:size(d,2) x=Xie(i,: y=Yte(i) 曼哈顿距离：
该框架符合人不断学习的过程，当一个儿童 在学习时，由自己的父母或者老师告诉他每种物 体。当这个儿童认识了一些物体后，在他遇到没 有见过的物体时，他可以知道这个物体他没见 过。本文利用距离度量解决这个问题，判断没见 的物体。但是，要想让这个儿童认识这个未知的 物体，需要父母或老师告诉他这是什么，这样他 就认识了这个物体。本文采用监督学习的方式， 在收集了大量的未知类样本后，人为地给出各未 知类样本的标签，再学习识别未知类样本。 2.1 识别测试 利用提出的框架进行测试，测试过程如下： 1) 计算包含未知类别的测试数据集与已知训 练数据集之间的距离 dc。同时利用已知的训练数 据集训练分类器 1； 2) 对距离 dc 进行升序排列； dc 3) 从最小开始依次选择前 k 项距离，并计算 距离的前 k 项平均值 ； dc dc < T dc > T 4) 根据距离 判断测试样本是已知类样本 还是未知类样本。已知类测试样本的距离比较 小，未知类的测试样本距离较大。设置阈值 T 判 断测试样本为已知类样本还是未知类样本，当 时，测试样本属于已知类样本，当 时，测试样本属于未知类样本； 5) 将已知类样本保留，将未知类样本分解为 新的测试数据集和新训练数据集，利用新的训练 数据集训练分类器 2，并利用新训练的分类器 2 测试新的测试数据集。利用分类器 1 测试保留 下来的已知类样本； 6) 最后整合所有测试结果给出整体的测试结果。 识别框架算法： Xtr ∈ R Ns×M Ytr ∈ R Ns×1 Ns Xte ∈ R (Ns+Nt)×M Yte ∈ R (Ns+Nt)×1 Ns Nt T k k 输 入 训练数据 ，训练数据标签 ，训练数据样本数 ，包含未知类的测试 数据 ，测试数据标签 ，测 试数据已知类样本数 ，未知类样本数 ，阈值 ，前 项的 值。 输出 predict1 和 predict2。 1) 计算距离并训练分类器 1： dc = pdist2(Xte,Xtr, ′ euclidean′ ) model1 = svmtrain(Ytr,Xtr) dc = sort(dc 2) 按行升序排序： ,2) 3) 计算前 k 项距离的平均值： _ dc = mean(dc(:,1 : k),2) 4) 判断样本是已知类还是未知类： i = 1 : size _ (dc for ,2) x = Xte(i,:) y = Yte(i) d¯ if c(i) < T dataknown = [dataknown; x] Yknown = [Yknown; y] else dataunknown = [dataunknown; x] Yunknown = [Yunknown; y] end end 5) 分割未知类数据： [Xtr2 ,Ytr2 ,Xte2 ,Yte2 ] = splitdata(dataunknown,Yunknown) 6) 训练分类器 2 并测试全部数据： model2 = svmtrain(Ytr2 ,Xtr2 ) predict1 = svmpredict(Yknown,dataknown,model1) predict2 = svmpredict(Yte2 ,Xte2 ,model2) 上述过程分类器采用支持向量机，分类器也 可以换成其他分类器。 2.2 距离度量 从识别框架中可以看出区分已知类样本和未 知类样本的关键步骤是距离的选择，也是本文的 核心思想。当测试样本中出现未知类样本时，怎 样判断这个样本不属于已知类样本，利用距离进 行相似性判断。 如图 2 所示，已知的训练样本类别为 3 类，分 别为圆形、三角形、正方形。当出现测试样本时， 需要计算测试样本与训练样本中所有样本之间的 距离，然后选择距离中最小的前 k 项，再计算平均 值，通过实验确定合适的阈值，当距离的平均值 大于阈值时，这个测试样本就被判断为未知类样 本。在图 2 中五边形为未知类样本，正方形为已 知类样本，可以看出 3 个距离都比正方形的距离 大，平均值必然也很大，只要阈值设置的合适，就 可以判断五边形为未知类样本，正方形为已知类样本。 图 2 距离度量示意 Fig. 2 Diagram of distance measurement a(x11, x12,··· , x1n) b(x21, x22,··· , x2n) 假设2个n维向量 和 ，常见的距离为 欧氏距离： d = vt∑n k=1 (x1k − x2k) 2 曼哈顿距离： ·1022· 智 能 系 统 学 报 第 15 卷
第5期 靳少卫，等：开放环境下未知材质的识别技术 ·1023· 慕尼黑工业大学采集的触觉纹理数据集按物 d= 体材质和表面特征分为固体网状物(13种物体)、 切比雪夫距离： 石头(9种物体)、玻璃陶瓷(9种物体)、木材 d=max(xu-xz) (13种物体)、橡胶(5种物体)、纤维(15种物体)、 夹角余弦距离： 泡沫(12种物体)、塑料纸片(15种物体)、纺织面 料(17种物体)等9大类108种物体，具体每类物 体的图像如图4所示，按照上述顺序排列。采集 cos(0)= ②2 的信息主要有图像、声音、加速度、摩擦力以及红 外感应扫描。本文重点关注听觉模态替代触觉采 马氏距离，有m个样本X~Xm: 集振动信号。数据集中的每个声音样本长度为0.2s, 训练样本集由一个人敲击每种物体10次，共得到 d=(X;-X )S"(X;-Xj) 1080个声音样本，测试样本集中每个物体由 式中S为协方差矩阵。 10个人敲击1次，共得到1080个声音样本。数 2.3分类器 据采集过程中不加约束条件，不限制采集者施加 本文采用了2种常见的分类器，分别为最近 力的大小和滑动的速度。 邻、支持向量机。最近邻(k-nearest neighbor, KNN)算法进行分类识别时，样本集中每组数据 对应标签。输入没有标签的新数据后，将新数据 的每个特征与样本集中数据对应的特征进行比 较，提取样本最相似数据（最近邻）的分类标签。 它是一种惰性学习算法，没有显式的学习过程。 支持向量机(support vector machine,SVM)是一类 按监督学习方式对数据进行二元分类的广义线性 分类器，其决策边界是对学习样本求解的最大边 距超平面。SVM使用铰链损失函数计算经验风 险并在求解系统中加入正则化项以优化结构风 险，是一个具有稀疏性和稳健性的分类器。SVM 可以通过核方法进行非线性分类。 3实验结果及分析 本文实验的数据集主要有2个，分别为人为 产生的随机数据集和慕尼黑工业大学采集的触觉 纹理数据集。 图4数据集所有材料图像 人为产生的随机数据集如图3所示，数据集 Fig.4 Data set for all material images 包括7个类别，每个类别为1000个样本，数据特 3.1声音的特征提取 征维度为3。每类中500个样本作为训练集， 本文采用的声音特征提取方法是梅尔频率倒 500个样本为测试集。 谱系数(Mel frequency cepstrum coefficient, MFCC),梅尔频率倒谱系数是语音处理中最常用 20 的特征之一。该特征提取方法可以减少数据的噪 10 声，并对声音信号降维。已有相关研究成功地将 梅尔频率倒谱系数应用于敲击物体产生的声音识 Z 0 别中，并利用提取的特征对物体材质进行识别， -10 如文献[4,9]。标准的MFCC特征只能提出声音 的静态特征5，为了更好地体现声音的动态特 10 0 征，本文采用静态MFCC特征的一阶和二阶差分 -5 -10 特征求得39维梅尔频率倒谱系数动态特征。图5 图3人工数据集 中(a)为柚木图像、(b)为敲击的柚木声音时域信 Fig.3 Artificial data set 号、（©）为提取的声音特征
d = ∑n k=1 |x1k − x2k | 切比雪夫距离： d = max k (|x1k − x2k |) 夹角余弦距离： cos(θ) = ∑n k=1 x1k x2k √∑n k=1 x 2 1k √∑n k=1 x 2 2k 马氏距离，有 m 个样本 X1 ∼ Xm： d = √ (Xi − Xj) T S −1 (Xi − Xj) 式中 S 为协方差矩阵。 2.3 分类器 本文采用了 2 种常见的分类器，分别为最近 邻、支持向量机。最近邻 (k-nearest neighbor, KNN) 算法进行分类识别时，样本集中每组数据 对应标签。输入没有标签的新数据后，将新数据 的每个特征与样本集中数据对应的特征进行比 较,提取样本最相似数据 (最近邻) 的分类标签。 它是一种惰性学习算法，没有显式的学习过程。 支持向量机 (support vector machine, SVM) 是一类 按监督学习方式对数据进行二元分类的广义线性 分类器，其决策边界是对学习样本求解的最大边 距超平面。SVM 使用铰链损失函数计算经验风 险并在求解系统中加入正则化项以优化结构风 险，是一个具有稀疏性和稳健性的分类器。SVM 可以通过核方法进行非线性分类。 3 实验结果及分析 本文实验的数据集主要有 2 个，分别为人为 产生的随机数据集和慕尼黑工业大学采集的触觉 纹理数据集[14]。 人为产生的随机数据集如图 3 所示，数据集 包括 7 个类别，每个类别为 1 000 个样本，数据特 征维度为 3。每类中 500 个样本作为训练集， 500 个样本为测试集。 20 10 Z X Y 0 −10 −20 20 10 0 0 5 10 −10 −5 图 3 人工数据集 Fig. 3 Artificial data set 慕尼黑工业大学采集的触觉纹理数据集按物 体材质和表面特征分为固体网状物 (13 种物体)、 石 头 ( 9 种物体 )、玻璃陶 瓷 ( 9 种物体 )、 木 材 (13 种物体)、橡胶 (5 种物体)、纤维 (15 种物体)、 泡沫 (12 种物体)、塑料纸片 (15 种物体)、纺织面 料 (17 种物体) 等 9 大类 108 种物体，具体每类物 体的图像如图 4 所示，按照上述顺序排列。采集 的信息主要有图像、声音、加速度、摩擦力以及红 外感应扫描。本文重点关注听觉模态替代触觉采 集振动信号。数据集中的每个声音样本长度为 0.2 s， 训练样本集由一个人敲击每种物体 10 次，共得到 1 080 个声音样本，测试样本集中每个物体由 10 个人敲击 1 次，共得到 1 080 个声音样本。数 据采集过程中不加约束条件，不限制采集者施加 力的大小和滑动的速度。 图 4 数据集所有材料图像 Fig. 4 Data set for all material images 3.1 声音的特征提取 本文采用的声音特征提取方法是梅尔频率倒 谱系数 (Mel frequency cepstrum coefficient, MFCC)，梅尔频率倒谱系数是语音处理中最常用 的特征之一。该特征提取方法可以减少数据的噪 声，并对声音信号降维。已有相关研究成功地将 梅尔频率倒谱系数应用于敲击物体产生的声音识 别中，并利用提取的特征对物体材质进行识别， 如文献 [4,9]。标准的 MFCC 特征只能提出声音 的静态特征[15 -16] ，为了更好地体现声音的动态特 征，本文采用静态 MFCC 特征的一阶和二阶差分 特征求得 39 维梅尔频率倒谱系数动态特征。图 5 中 (a) 为柚木图像、(b) 为敲击的柚木声音时域信 号、(c) 为提取的声音特征。 第 5 期 靳少卫，等：开放环境下未知材质的识别技术 ·1023·
·1024· 智能系统学报 第15卷 0.7 0.6 -1.0 2000 4000 6000 20 30 时间/s 维度 (a)柚木图像 (b)柚木声音信号 (c)提出的特征 图5柚木图像、声音信号、声音特征 Fig.5 Images,sound signals,sound features of teak 3.2距离度量方式选择 从表2中可以看出在慕尼黑工业大学数据集 通过上述特征提取后利用距离度量可以很好 上，无论从识别准确率还是运行效率上看欧氏距 地将未知类样本和已知类样本分开。本文提出的 离都比其它距离的效果好，所以选择欧氏距离作 框架关键步骤是选择哪种距离度量，如2.2节介 为距离度量方式。由于本文重点关注利用声音模 绍的5种距离。利用提出的框架结合最近邻分类 态在开放环境下对物体材质进行识别的问题，所 器在开放环境下将人为产生的随机数据集分为 以后续实验只在慕尼黑工业大学触觉纹理数据中 4类已知类样本和3类未知类样本进行实验，实 的声音集上进行实验。 验结果如表1所示。将慕尼黑工业大学的9大类 3.3验证已知类与未知类的分离效果 数据集按物体材质分为5类已知类样本和4类未 采用文献[I3]中的开集稀疏表示分类(open set 知类样本进行实验，实验结果如表2所示。 sparse representation classification,OSSRC)与本文 表1人工数据集实验 的方法进行对比，因为文献[13]中的方法是在开 Table 1 Experiments of artificial data set 放环境识别已知类并对未知类进行判断，无论未 整体已知类 未知类 评估指标 知类中包含几类都不进行分类，只是判断为未知 运行时间/s 准确率准确率 准确率 即可。所以如下实验对其作相同设置，实验中只 欧氏距离 0.972 0.977 0.967 14.01±0.2 将未知类判断出即可。训练只采用5类已知，测 曼哈顿距离 0.973 0.978 0.966 14.78±0.5 试是9类，其中包含4类未知。实验结果如图6、 切比雪夫距离 0.965 0.963 0.969 14.21±0.2 7所示。图6是将2.1节中的分类器换为最近邻分 夹角余弦距离 0.813 0.944 0.740 13.51±0.3 类器的实验结果，图7为OSSRC的实验结果。从 马氏距离 0.967 0.960 0.970 14.54±0.1 实验结果中可以得出本文的方法可以很好地将未 表2 慕尼黑工业大学数据集实验 知类挑选出来，且已知类和未知类不易混淆，已知 Table 2 Experiments of Technical University of Munich 类与未知类的分离效果较好，而OSSRC虽然也可 data set 以将未知类挑选出来，效果却较差，将大部分已知 整体 未知类 评估指标 已知类 准确率 准确率 准确率 运行时间s 类判断为未知类，已知类与未知类的分离效果较差。 欧氏距离 固体网状物0.880.000.050.020.040.02 0.671 0.697 0.653 1.33±0.1 曼哈顿距离 0.662 0.667 0.656 1.51±0.05 石头0.18 0.520.090.130.02 0.06 切比雪夫距离 0.564 0.632 0.522 1.29±0.1 玻璃陶瓷 0.060.06 0.700.07 0.00 0.12 夹角余弦距离 0.615 0.610 0.627 1.55±0.1 木材0.120.080.18052 0.03 0.07 马氏距离 0.659 0.665 0.651 1.77±0.06 橡胶0.410.000.120.080390.00 4类未知0.130.020.040.03 0.020.77 从表1中可以看出在人工数据集上采用夹角 余弦距离物体的分类效果较差，而其他4种距离 固 的分类效果较好。分类准确率几乎没有差别，在 状物 0~1%的范围内波动，但从运行效率考虑，利用欧 图6最近邻分类的混淆矩阵 氏距离时运行效率较高。 Fig.6 Confusion matrix of nearest neighbor classification
3.2 距离度量方式选择 通过上述特征提取后利用距离度量可以很好 地将未知类样本和已知类样本分开。本文提出的 框架关键步骤是选择哪种距离度量，如 2.2 节介 绍的 5 种距离。利用提出的框架结合最近邻分类 器在开放环境下将人为产生的随机数据集分为 4 类已知类样本和 3 类未知类样本进行实验，实 验结果如表 1 所示。将慕尼黑工业大学的 9 大类 数据集按物体材质分为 5 类已知类样本和 4 类未 知类样本进行实验，实验结果如表 2 所示。 表 1 人工数据集实验 Table 1 Experiments of artificial data set 评估指标 整体 准确率 已知类 准确率 未知类 准确率 运行时间/s 欧氏距离 0.972 0.977 0.967 14.01±0.2 曼哈顿距离 0.973 0.978 0.966 14.78±0.5 切比雪夫距离 0.965 0.963 0.969 14.21±0.2 夹角余弦距离 0.813 0.944 0.740 13.51±0.3 马氏距离 0.967 0.960 0.970 14.54±0.1 表 2 慕尼黑工业大学数据集实验 Table 2 Experiments of Technical University of Munich data set 评估指标 整体 准确率 已知类 准确率 未知类 准确率 运行时间/s 欧氏距离 0.671 0.697 0.653 1.33±0.1 曼哈顿距离 0.662 0.667 0.656 1.51±0.05 切比雪夫距离 0.564 0.632 0.522 1.29±0.1 夹角余弦距离 0.615 0.610 0.627 1.55±0.1 马氏距离 0.659 0.665 0.651 1.77±0.06 从表 1 中可以看出在人工数据集上采用夹角 余弦距离物体的分类效果较差，而其他 4 种距离 的分类效果较好。分类准确率几乎没有差别，在 0~1% 的范围内波动，但从运行效率考虑，利用欧 氏距离时运行效率较高。 从表 2 中可以看出在慕尼黑工业大学数据集 上，无论从识别准确率还是运行效率上看欧氏距 离都比其它距离的效果好，所以选择欧氏距离作 为距离度量方式。由于本文重点关注利用声音模 态在开放环境下对物体材质进行识别的问题，所 以后续实验只在慕尼黑工业大学触觉纹理数据中 的声音集上进行实验。 3.3 验证已知类与未知类的分离效果 采用文献 [13] 中的开集稀疏表示分类 (open set sparse representation classification, OSSRC) 与本文 的方法进行对比，因为文献 [13] 中的方法是在开 放环境识别已知类并对未知类进行判断，无论未 知类中包含几类都不进行分类，只是判断为未知 即可。所以如下实验对其作相同设置，实验中只 将未知类判断出即可。训练只采用 5 类已知，测 试是 9 类，其中包含 4 类未知。实验结果如图 6、 7 所示。图 6 是将 2.1 节中的分类器换为最近邻分 类器的实验结果，图 7 为 OSSRC 的实验结果。从 实验结果中可以得出本文的方法可以很好地将未 知类挑选出来，且已知类和未知类不易混淆，已知 类与未知类的分离效果较好，而 OSSRC 虽然也可 以将未知类挑选出来，效果却较差，将大部分已知 类判断为未知类，已知类与未知类的分离效果较差。 固体网状物 0.88 0.00 0.05 0.02 0.04 0.02 0.18 0.52 0.09 0.13 0.02 0.06 0.06 0.06 0.70 0.07 0.00 0.12 0.12 0.08 0.18 0.52 0.03 0.07 0.41 0.00 0.12 0.08 0.39 0.00 0.13 0.02 0.04 0.03 0.02 0.77 石头 玻璃陶瓷 木材 橡胶 4类未知 固体网状物 石头 玻璃陶瓷 木材 橡胶 4类未知 图 6 最近邻分类的混淆矩阵 Fig. 6 Confusion matrix of nearest neighbor classification (a) 柚木图像 (b) 柚木声音信号 幅值 时间/s 1.0 0.5 0 −0.5 0 2 000 4 000 6 000 −1.0 特征值 维度 (c) 提出的特征 0.7 0.6 0.5 0.4 0 10 20 30 40 0.3 图 5 柚木图像、声音信号、声音特征 Fig. 5 Images, sound signals, sound features of teak ·1024· 智 能 系 统 学 报 第 15 卷