第10卷第4期 智能系统学报 Vol.10 No.4 2015年8月 CAAI Transactions on Intelligent Systems Feh.2015 D0:10.3969/j.issn.1673-4785.201503025 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20150720.0912.003.html 具有面部表情的仿人头部机器人系统的研制 信继忠，柯显信，杨阳，尚宇峰 (上海大学机电工程与自动化学院，上海200072) 摘要：为了促进机器人与人类自然、和谐的交流，实现人机交互，研制出具有面部表情的仿人头部机器人系统，主 要包括仿人头部机器人运动机构和控制系统。仿人头部机器人具有22个自由度，包括眉毛推拉机构、眼部机构、下 颚机构和颈部机构。采用FPGA作为舵机控制器，在La山VEW中设计控制界面，研制面部表情控制系统。通过对面 部表情进行仿真，得到8种基本表情及对应的最佳位移载荷，在仿真过程中发现面部表情的实现与施加在面部皮肤 上载荷的大小、载荷施加区域大小和约束位置的不同有关。实验结果表明，该机器人能够逼真地再现8种基本表情。 关键词：仿人头部机器人；面部表情：表情再现；人机交互；控制系统：表情仿真；眼部机构；下颚结构：颈部机构 中图分类号：TP242文献标志码：A文章编号：1673-4785(2015)04-0555-07 中文引用格式：信继忠，柯显信，杨阳，等，具有面部表情的仿人头部机器人系统的研制[J].智能系统学报，2015,10(4)：555-561. 英文引用格式：XIN Jizhong,KE Xianxin,YANG Yang,etal.Development of the system of a humanoid robot head with facial ex pressions[J].CAAI Transactions on Intelligent Systems,2015,10(4):555-561. Development of the system of a humanoid robot head with facial expressions XIN Jizhong,KE Xianxin,YANG Yang,SHANG Yufeng (School of Mechanical Engineering and Automation,Shanghai University,Shanghai 200072,China) Abstract:In order to promote the natural and harmonious communication between robots and human beings,and to realize human-computer interaction,a system for a humanoid robot head with facial expressions is developed.It mainly includes a humanoid robot head movement mechanism and a control system.The humanoid robot head has 22 degrees of freedom,including the eyebrows push-pull mechanism,eye mechanism,jaw mechanism and neck mechanism.FPGA is used as the servo controller,the control interface is designed in LabVIEW,and the control system of facial expressions is developed.The eight basic expressions and corresponding best displacement loads are obtained through simulations of facial expressions.It is found that the implementation of facial expression relates to the loads on the skin of face,the region size and the position of the load applying in the process of simulations.The experimental results show that the robot is able to realistically reproduce the eight basic expressions. Keywords:humanoid robot head;facial expression;expression representation;human-computer interaction;con- trol system;expression simulation;eye mechanism;jaw mechanism neck mechanism 仿人表情机器人的研究对于实现和谐的人机交 遥控实现微笑、皱眉、眨眼、悲伤、撅嘴等60余种不 互有着十分重要的意义，是机器人领域的研究热点 同面部表情。东京理科大学研制的SAYA机器 之一。日本早稻田大学研制的KOBIAN-R)和 人[]，通过人工肌肉带动面部表情，而且内置强大 WABIAN-2R),除了实现7种基本表情之外，还可 的语音对话系统，可以与人进行基本语言交流。美 以基于心理学模型实现动态情感表达。日本大阪大 国德雷塞尔大学研制的Hubo)及台湾大学研制的 学研制的女性仿真机器人Geminoid F),通过远程 脸部模拟机器人Luo Head6,哈尔滨工业大学研制 的具有面部表情识别与再现的头部机器人[7，)，具 收稿日期：2015-03-14.网络出版日期：2015-07-20 有人脸识别、表情实现、语音实现等功能。 基金项目：国家自然科学基金资助项目(61273325). 通信作者：柯显信.E-mail:xxke@staff.shu.cdu.cn 一些心理学家研究表明，人在进行情感表达时
第 １０ 卷第 ４ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．４ ２０１５ 年 ８ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１５０３０２５ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０７２０．０９１２．００３．ｈｔｍｌ 具有面部表情的仿人头部机器人系统的研制 信继忠，柯显信，杨阳，尚宇峰 （上海大学 机电工程与自动化学院，上海 ２０００７２） 摘 要：为了促进机器人与人类自然、和谐的交流，实现人机交互，研制出具有面部表情的仿人头部机器人系统，主 要包括仿人头部机器人运动机构和控制系统。 仿人头部机器人具有 ２２ 个自由度，包括眉毛推拉机构、眼部机构、下 颚机构和颈部机构。 采用 ＦＰＧＡ 作为舵机控制器，在 ＬａｂＶＩＥＷ 中设计控制界面，研制面部表情控制系统。 通过对面 部表情进行仿真，得到 ８ 种基本表情及对应的最佳位移载荷，在仿真过程中发现面部表情的实现与施加在面部皮肤 上载荷的大小、载荷施加区域大小和约束位置的不同有关。 实验结果表明，该机器人能够逼真地再现 ８ 种基本表情。 关键词：仿人头部机器人；面部表情；表情再现；人机交互；控制系统；表情仿真；眼部机构；下颚结构；颈部机构 中图分类号：ＴＰ２４２ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０４⁃０５５５⁃０７ 中文引用格式：信继忠，柯显信，杨阳，等．具有面部表情的仿人头部机器人系统的研制［Ｊ］． 智能系统学报， ２０１５， １０（４）：５５５⁃５６１． 英文引用格式：ＸＩＮ Ｊｉｚｈｏｎｇ， ＫＥ Ｘｉａｎｘｉｎ， ＹＡＮＧ Ｙａｎｇ， ｅｔ ａｌ． Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｏｆ ａ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｗｉｔｈ ｆａｃｉａｌ ｅｘ⁃ ｐｒｅｓｓｉｏｎｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（４）： ５５５⁃５６１． Ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｔｈｅ ｓｙｓｔｅｍ ｏｆ ａ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｗｉｔｈ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ＸＩＮ Ｊｉｚｈｏｎｇ， ＫＥ Ｘｉａｎｘｉｎ， ＹＡＮＧ Ｙａｎｇ， ＳＨＡＮＧ Ｙｕｆｅｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈａｎｇｈａｉ ２０００７２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｐｒｏｍｏｔｅ ｔｈｅ ｎａｔｕｒａｌ ａｎｄ ｈａｒｍｏｎｉｏｕｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｂｅｔｗｅｅｎ ｒｏｂｏｔｓ ａｎｄ ｈｕｍａｎ ｂｅｉｎｇｓ， ａｎｄ ｔｏ ｒｅａｌｉｚｅ ｈｕｍａｎ－ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ， ａ ｓｙｓｔｅｍ ｆｏｒ ａ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｗｉｔｈ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ｉｓ ｄｅｖｅｌｏｐｅｄ． Ｉｔ ｍａｉｎｌｙ ｉｎｃｌｕｄｅｓ ａ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｍｏｖｅｍｅｎｔ ｍｅｃｈａｎｉｓｍ ａｎｄ ａ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ． Ｔｈｅ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｈａｓ ２２ ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ， ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｅｙｅｂｒｏｗｓ ｐｕｓｈ－ｐｕｌｌ ｍｅｃｈａｎｉｓｍ， ｅｙｅ ｍｅｃｈａｎｉｓｍ， ｊａｗ ｍｅｃｈａｎｉｓｍ ａｎｄ ｎｅｃｋ ｍｅｃｈａｎｉｓｍ． ＦＰＧＡ ｉｓ ｕｓｅｄ ａｓ ｔｈｅ ｓｅｒｖｏ ｃｏｎｔｒｏｌｌｅｒ， ｔｈｅ ｃｏｎｔｒｏｌ ｉｎｔｅｒｆａｃｅ ｉｓ ｄｅｓｉｇｎｅｄ ｉｎ ＬａｂＶＩＥＷ， ａｎｄ ｔｈｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ｉｓ ｄｅｖｅｌｏｐｅｄ． Ｔｈｅ ｅｉｇｈｔ ｂａｓｉｃ ｅｘｐｒｅｓｓｉｏｎｓ ａｎｄ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｂｅｓｔ ｄｉｓｐｌａｃｅｍｅｎｔ ｌｏａｄｓ ａｒｅ ｏｂｔａｉｎｅｄ ｔｈｒｏｕｇｈ ｓｉｍｕｌａｔｉｏｎｓ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ． Ｉｔ ｉｓ ｆｏｕｎｄ ｔｈａｔ ｔｈｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｌａｔｅｓ ｔｏ ｔｈｅ ｌｏａｄｓ ｏｎ ｔｈｅ ｓｋｉｎ ｏｆ ｆａｃｅ， ｔｈｅ ｒｅｇｉｏｎ ｓｉｚｅ ａｎｄ ｔｈｅ ｐｏｓｉｔｉｏｎ ｏｆ ｔｈｅ ｌｏａｄ ａｐｐｌｙｉｎｇ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｓｉｍｕｌａｔｉｏｎｓ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｒｏｂｏｔ ｉｓ ａｂｌｅ ｔｏ ｒｅａｌｉｓｔｉｃａｌｌｙ ｒｅｐｒｏｄｕｃｅ ｔｈｅ ｅｉｇｈｔ ｂａｓｉｃ ｅｘｐｒｅｓｓｉｏｎｓ． Ｋｅｙｗｏｒｄｓ： ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ； ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ； ｅｘｐｒｅｓｓｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ； ｈｕｍａｎ－ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ； ｃｏｎ⁃ ｔｒｏｌ ｓｙｓｔｅｍ； ｅｘｐｒｅｓｓｉｏｎ ｓｉｍｕｌａｔｉｏｎ； ｅｙｅ ｍｅｃｈａｎｉｓｍ； ｊａｗ ｍｅｃｈａｎｉｓｍ ； ｎｅｃｋ ｍｅｃｈａｎｉｓｍ 收稿日期：２０１５⁃０３⁃１４． 网络出版日期：２０１５⁃０７⁃２０． 基金项目：国家自然科学基金资助项目（６１２７３３２５）． 通信作者：柯显信． Ｅ⁃ｍａｉｌ：ｘｘｋｅ＠ ｓｔａｆｆ．ｓｈｕ．ｅｄｕ．ｃｎ． 仿人表情机器人的研究对于实现和谐的人机交 互有着十分重要的意义，是机器人领域的研究热点 之一。 日 本 早 稻 田 大 学 研 制 的 ＫＯＢＩＡＮ⁃Ｒ ［１］ 和 ＷＡＢＩＡＮ－２Ｒ ［２］ ，除了实现 ７ 种基本表情之外，还可 以基于心理学模型实现动态情感表达。 日本大阪大 学研制的女性仿真机器人 Ｇｅｍｉｎｏｉｄ Ｆ ［３］ ，通过远程 遥控实现微笑、皱眉、眨眼、悲伤、撅嘴等 ６０ 余种不 同面部表情。 东京理科大学研制的 ＳＡＹＡ 机器 人［４］ ，通过人工肌肉带动面部表情，而且内置强大 的语音对话系统，可以与人进行基本语言交流。 美 国德雷塞尔大学研制的 Ｈｕｂｏ ［５］ 及台湾大学研制的 脸部模拟机器人 Ｌｕｏ Ｈｅａｄ ［６］ ，哈尔滨工业大学研制 的具有面部表情识别与再现的头部机器人［７，８］ ，具 有人脸识别、表情实现、语音实现等功能。 一些心理学家研究表明，人在进行情感表达时
.556. 智能系统学报 第10卷 语言只表达7%的内容，声调也只能表达38%的内 2DOF。采用空间RSSR机构)，通过舵机驱动舵机 容，而55%的内容全部由人的表情与动作来表达。 臂，带动连杆实现眼球的左右方向和上下方向转动， 因此，面部表情的实现已成为至关重要的一个环节。 以及眼睑的张开和闭合运动，如图2(b)所示。 1 机构设计 下颚机构2个平面连杆机构分别带动各自方 向上的导轨，实现下颚“x-y”方向的移动，与下颚张 通过参考成年男性标准头型的尺寸，进行了仿 合动作相协调，可以实现机器人的咀嚼运动。上嘴 人头部机器人机构设计，主要包括眉毛推拉机构、眼 唇铜片和嘴角铜片将作为AU点，与皮肤固定，由舵 部机构、下颚机构和颈部机构，整体大小（包括颈部 机直接带动皮肤实现该部位的动作。上嘴唇和嘴角 和底座)为465mm×180mm×168mm,左右眼中心 的运动相互协调，可以实现机器人元音“0”和“U” 距离为80mm,如图1所示。该机器人共有22D0F, 的发音，此二元音实现的嘴型相对复杂，其他元音较 自由度的分配如表1所示。 易实现，如图2(c)所示。 180 颈部机构采用空间RSUSR(R代表转动副，S 80 代表球面副，U代表万向铰)机构，通过2个舵机的 联动驱动万向节的2个自由度，实现俯仰和侧摆动 一眉毛推拉机构 作，具有较强的承载能力，如图2(d)所示。 尼龙管，固定 眼部机构 在脸骨架上 下题机构 465 颈部机构 (a)眉毛推拉机构 图1仿人头部机器人三维模型 Fig.1 Three dimensional model of humanoid head robot 表1仿人头部机器人自由度分配 Table 1 The distribution of degree of freedom of human- oid head robot 眼睑运动机构 部位 运动机能 单元数自由度 眼球转动机构 眉毛 牵引点推拉 2 4 (b)眼部机构 上眼睑 上翻、下翻 2 2 实现下颚“xy”方向的移动 下眼睑 上翻、下翻 2 眼球 左右、上下转动 嘴角牵引、上嘴唇牵 下颚 引、咀嚼运动（绕X、 7 Y轴移动)、下颚张合 颈部 绕X,Y、Z轴旋转 1 3 实现嘴角的 推拉 眉毛推拉机构每一边的眉毛均包括2DOF, 通过2根弹性钢丝分别推拉眉毛固定板上的运动单 元实现，而弹性钢丝穿过固定在脸骨架上的尼龙管， 如图2(a)所示。 上嘴唇服动 实现下颚张合 眼部机构包括左眼和右眼且相互独立，左右 眼均包含眼睑运动机构和眼球转动机构，分别具有 (c)下颚机构
语言只表达 ７％的内容，声调也只能表达 ３８％的内 容，而 ５５％的内容全部由人的表情与动作来表达。 因此，面部表情的实现已成为至关重要的一个环节。 １ 机构设计 通过参考成年男性标准头型的尺寸，进行了仿 人头部机器人机构设计，主要包括眉毛推拉机构、眼 部机构、下颚机构和颈部机构，整体大小（包括颈部 和底座）为 ４６５ ｍｍ ´１８０ ｍｍ ´１６８ ｍｍ，左右眼中心 距离为 ８０ ｍｍ，如图 １ 所示。 该机器人共有 ２２ＤＯＦ， 自由度的分配如表 １ 所示。 图 １ 仿人头部机器人三维模型 Ｆｉｇ．１ Ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｍｏｄｅｌ ｏｆ ｈｕｍａｎｏｉｄ ｈｅａｄ ｒｏｂｏｔ 表 １ 仿人头部机器人自由度分配 Ｔａｂｌｅ １ Ｔｈｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ ｏｆ ｈｕｍａｎ⁃ ｏｉｄ ｈｅａｄ ｒｏｂｏｔ 部位 运动机能 单元数 自由度 眉毛 牵引点推拉 ２ ４ 上眼睑 上翻、下翻 ２ ２ 下眼睑 上翻、下翻 ２ ２ 眼球 左右、上下转动 ２ ４ 下颚 嘴角牵引、上嘴唇牵 引、咀嚼运动（绕 Ｘ、 Ｙ 轴移动）、下颚张合 １ ７ 颈部 绕 Ｘ、Ｙ、Ｚ 轴旋转 １ ３ 眉毛推拉机构 每一边的眉毛均包括 ２ＤＯＦ， 通过 ２ 根弹性钢丝分别推拉眉毛固定板上的运动单 元实现，而弹性钢丝穿过固定在脸骨架上的尼龙管， 如图 ２（ａ）所示。 眼部机构 包括左眼和右眼且相互独立，左右 眼均包含眼睑运动机构和眼球转动机构，分别具有 ２ＤＯＦ。 采用空间 ＲＳＳＲ 机构［９］ ，通过舵机驱动舵机 臂，带动连杆实现眼球的左右方向和上下方向转动， 以及眼睑的张开和闭合运动，如图 ２（ｂ）所示。 下颚机构 ２ 个平面连杆机构分别带动各自方 向上的导轨，实现下颚“ ｘ⁃ｙ”方向的移动，与下颚张 合动作相协调，可以实现机器人的咀嚼运动。 上嘴 唇铜片和嘴角铜片将作为 ＡＵ 点，与皮肤固定，由舵 机直接带动皮肤实现该部位的动作。 上嘴唇和嘴角 的运动相互协调，可以实现机器人元音“Ｏ”和“Ｕ” 的发音，此二元音实现的嘴型相对复杂，其他元音较 易实现，如图 ２（ｃ）所示。 颈部机构 采用空间 ＲＳＵＳＲ（Ｒ 代表转动副，Ｓ 代表球面副，Ｕ 代表万向铰）机构，通过 ２ 个舵机的 联动驱动万向节的 ２ 个自由度，实现俯仰和侧摆动 作，具有较强的承载能力，如图 ２（ｄ）所示。 （ａ）眉毛推拉机构 （ｂ）眼部机构 （ｃ）下颚机构 ·５５６· 智 能 系 统 学 报 第 １０ 卷
第4期 信继忠，等：具有面部表情的仿人头部机器人系统的研制 .557. 实现下颚“xy”方向的移动 2 面部表情仿真 面部表情的仿真对于机器人表情的实现起着至 关重要的作用。将在Solid Works软件中按男性成年 人1：1比例建立的面部几何模型，另存为Parasolid 格式导入到Hypermesh软件o中。根据FACS理论 实现嘴角的 得知影响表情的主要器官为眉毛、眼睑和嘴巴，利用 推拉 分区功能对这些区域进行分区，针对曲面的复杂性， 采用以四边形为主的网格划分方式。在特征点区域 施加不同的载荷，对8种基本表情进行反复试验，分 上嘴唇驱动 别得到对应的最佳位移载荷，如表2所示。利用 实现下颗张合 RADIOSS对模型进行求解，在HyperView中查看仿 (d)颈部机构 真结果，得出与最佳载荷匹配的8种基本表情的仿 图2仿人头部机器人局部机构图 真图，如图3所示。面部表情的实现除了与面部皮 Fig.2 Humanoid robot head local mechanism 肤的材料、表情特征控制点的施加位置有关，在仿真 过程中发现还与施加在面部皮肤上载荷的大小、载 荷施加区域的大小和约束位置的不同有关。 表28种基本面部表情的最佳位移载荷 Table 2 The optimal displacement load of eight basic facial expressions (左)右眉毛内 (左)右眉毛外 (左)右 (左)右嘴角 上唇 下唇 表情 X Z X Y Z 眼睑Y Y Z 平静 高兴 (-)0.3 4 -0.1 -0.1 0.1 生气 (-)0.1 -1 0.2 (-)0.1 0.2 0.2 -0.1 (-)0.3 -4 0.2 0.4 悲伤 (-)0.1 0.8 0.2(-)0.10.3 0.2 0.1 (-)0.2 -3.4 0.6 0.3 恐惧 0.7 0.2 0.1 0.2 0.2 0.1 0.2 厌恶 (-)0.1 0.5 0.2 (-)0.1 0.1 0.2 -0.1 0.2 3 -0.1 0.4 惊讶 一 1 0.2 0.1 0.2 0.2 一 0.3 -0.6 感兴趣(-)0.10.3 0.2 (-)0.10.1 0.2 -0.2(-)0.2 0.1 0.3 表3高兴表情3组不同载荷大小明细表 Table 3 Three different groups of load list of the happy expression 高兴 (左)右眉毛内 (左)右眉毛外 (左)右 (左)右嘴角 下唇 上唇Y 表情 X Y Z X Y 眼睑Y X Y Z 01 (-)0.3 3.0 -0.1 -0.1 0.1 02 (-)0.3 4.0 -0.1 -0.3 0.3 03 (-)0.3 5.0 -0.1 -0.5 0.5 在其他条件不变的情况下，分别改变施加载荷 表情的逼真程度较好。因此，对表情控制点施加位 的大小、载荷施加区域的大小和约束的位置，观察其 移载荷的大小对表情的强弱程度起到非常重要的作 变化对基本表情实现的影响。如图4(a)所示，以高 用。以02组载荷大小和施加区域为标准，适当增加 兴表情为例，改变施加载荷的大小，如表3所示，高 嘴角处载荷施加区域的面积，以原来嘴角载荷区域 兴程度从左到右依次增强，施加02组载荷大小时， 的1.5倍和2倍为例，得到其面部仿真图，如图4
（ｄ）颈部机构 图 ２ 仿人头部机器人局部机构图 Ｆｉｇ．２ Ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｌｏｃａｌ ｍｅｃｈａｎｉｓｍ ２ 面部表情仿真 面部表情的仿真对于机器人表情的实现起着至 关重要的作用。 将在 ＳｏｌｉｄＷｏｒｋｓ 软件中按男性成年 人 １：１ 比例建立的面部几何模型，另存为 Ｐａｒａｓｏｌｉｄ 格式导入到 Ｈｙｐｅｒｍｅｓｈ 软件［１０］中。 根据 ＦＡＣＳ 理论 得知影响表情的主要器官为眉毛、眼睑和嘴巴，利用 分区功能对这些区域进行分区，针对曲面的复杂性， 采用以四边形为主的网格划分方式。 在特征点区域 施加不同的载荷，对 ８ 种基本表情进行反复试验，分 别得到对应的最佳位移载荷，如表 ２ 所示。 利用 ＲＡＤＩＯＳＳ 对模型进行求解，在 ＨｙｐｅｒＶｉｅｗ 中查看仿 真结果，得出与最佳载荷匹配的 ８ 种基本表情的仿 真图，如图 ３ 所示。 面部表情的实现除了与面部皮 肤的材料、表情特征控制点的施加位置有关，在仿真 过程中发现还与施加在面部皮肤上载荷的大小、载 荷施加区域的大小和约束位置的不同有关。 表 ２ ８ 种基本面部表情的最佳位移载荷 Ｔａｂｌｅ ２ Ｔｈｅ ｏｐｔｉｍａｌ ｄｉｓｐｌａｃｅｍｅｎｔ ｌｏａｄ ｏｆ ｅｉｇｈｔ ｂａｓｉｃ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ 表情 （左）右眉毛内 （左）右眉毛外 Ｘ Ｙ Ｚ Ｘ Ｙ Ｚ （左）右 眼睑 Ｙ （左）右嘴角 Ｘ Ｙ Ｚ 上唇 Ｙ 下唇 Ｙ 平静 — — — — — — — — — — — — 高兴 — — — — — — — （－）０．３ ４ －０．１ －０．１ ０．１ 生气 （－）０．１ －１ ０．２ （－）０．１ ０．２ ０．２ －０．１ （－）０．３ －４ — ０．２ ０．４ 悲伤 （－）０．１ ０．８ ０．２ （－）０．１ ０．３ ０．２ ０．１ （－）０．２ －３．４ — ０．６ ０．３ 恐惧 — ０．７ ０．２ — ０．１ ０．２ ０．２ — — — ０．１ ０．２ 厌恶 （－）０．１ ０．５ ０．２ （－）０．１ ０．１ ０．２ －０．１ ０．２ ３ — －０．１ ０．４ 惊讶 — １ ０．２ — ０．１ ０．２ ０．２ — — — ０．３ －０．６ 感兴趣 （－）０．１ ０．３ ０．２ （－）０．１ ０．１ ０．２ －０．２ （－）０．２ — — ０．１ ０．３ 表 ３ 高兴表情 ３ 组不同载荷大小明细表 Ｔａｂｌｅ ３ Ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｇｒｏｕｐｓ ｏｆ ｌｏａｄ ｌｉｓｔ ｏｆ ｔｈｅ ｈａｐｐｙ ｅｘｐｒｅｓｓｉｏｎ 高兴 表情 （左）右眉毛内 （左）右眉毛外 Ｘ Ｙ Ｚ Ｘ Ｙ Ｚ （左）右 眼睑 Ｙ （左）右嘴角 Ｘ Ｙ Ｚ 上唇 Ｙ 下唇 Ｙ ０１ — — — — — — — （－）０．３ ３．０ －０．１ －０．１ ０．１ ０２ — — — — — — — （－）０．３ ４．０ －０．１ －０．３ ０．３ ０３ — — — — — — — （－）０．３ ５．０ －０．１ －０．５ ０．５ 在其他条件不变的情况下，分别改变施加载荷 的大小、载荷施加区域的大小和约束的位置，观察其 变化对基本表情实现的影响。 如图 ４（ａ）所示，以高 兴表情为例，改变施加载荷的大小，如表 ３ 所示，高 兴程度从左到右依次增强，施加 ０２ 组载荷大小时， 表情的逼真程度较好。 因此，对表情控制点施加位 移载荷的大小对表情的强弱程度起到非常重要的作 用。 以 ０２ 组载荷大小和施加区域为标准，适当增加 嘴角处载荷施加区域的面积，以原来嘴角载荷区域 的 １．５ 倍和 ２ 倍为例，得到其面部仿真图，如图 ４ 第 ４ 期 信继忠，等：具有面部表情的仿人头部机器人系统的研制 ·５５７·
.558. 智能系统学报 第10卷 (b)所示。由图可知，在1.5倍这个范围内，仿真模 拟结果并没有很明显的改变，但在2倍的控制区域 时，面部表情形状开始发生扭曲，存在一定的失 真]。在面部表情仿真的过程中，约束添加的位置 一般是不参与表情动作的部位，如脸的轮廓、太阳穴 等。由于头部机构的复杂性，在保证表情不失真的 情况下，应该适当地减少约束的施加位置。如图4 (©)所示，减少面部轮廓位置处施加约束的密集程 (©)面部轮廓位置约束减少和面部太阳穴位置约束去掉后仿真 度，改成沿着面部轮廓间隔的均匀的施加约束，面部 图4影响面部表情实现的因素 表情的失真程度较小。说明在沿着面部轮廓方向的 Fig.4 The influence factors of facial expressions achievement 几个关键位置施加约束，就能很好的保证面部表情 3控制系统设计 的失真。将面部太阳穴位置的约束去掉，观察面部 表情的仿真情况，由图可知面部表情的失真程度较 机器人面部表情的实现是面部机构和面部皮肤 大，说明太阳穴位置的约束对面部表情的实现起着 材料共同作用的结果。通过控制器驱动舵机，舵机 至关重要的作用。 通过牵引机构驱动面部器官动作，同时驱动面部皮 肤的相应位置，使机器人产生表情，所以控制机器人 的表情输出其实就是控制系统中的舵机。 采用FPGA作为舵机控制器12)]，使用Altera公 司的Cyclone IV EP4CE15F17C8N核心板。通过 SOPC Builder构建硬件系统，按照设计需要添加合 (a)平静 (b)高兴 (c)生气 (d惊讶 适的软核，进行相应的设置以实现要求的功能。系 统的主程序设计图，如图5所示，当FPGA复位开始 运行后，程序初始化机器人的表情状态为平静，等待 模式的选择，模式分为串口模式和按键模式，根据不 同模式，可以用不同的方式实现机器人表情。通过 (e)感兴趣 (0悲伤 (g)厌恶 (h)恐惧 按键模式可以简单的实现5种基本表情，如果要实 图38种面部表情仿真 现更多更丰富的表情，可以通过串口模式。软件的 Fig.3 Eight kinds of facial expression simulation 编写是在NIOsⅡDE集成开发环境)进行的，主 要任务是实现PWM信号的不同的占空比，通过串 口将从上位机接收到数据传到下位机，实现与计算 机的通信功能，控制舵机的运动。 开始 初始化 模式选择 (a)高兴表情的不同程度分布 串口发送 按键 指全是 是否 睿有效 按键 Y 解析命令 平静 高兴惊讶生气悲伤 多个舵机 8种表情 的控制 (b)施加载荷区域为原来1.5倍、2倍的情况时的仿真表情 图5主程序流程图 Fig.5 The flow chart of the main program
（ｂ）所示。 由图可知，在 １．５ 倍这个范围内，仿真模 拟结果并没有很明显的改变，但在 ２ 倍的控制区域 时，面部表情形状开始发生扭曲， 存在一定的失 真［１１］ 。 在面部表情仿真的过程中，约束添加的位置 一般是不参与表情动作的部位，如脸的轮廓、太阳穴 等。 由于头部机构的复杂性，在保证表情不失真的 情况下，应该适当地减少约束的施加位置。 如图 ４ （ｃ）所示，减少面部轮廓位置处施加约束的密集程 度，改成沿着面部轮廓间隔的均匀的施加约束，面部 表情的失真程度较小。 说明在沿着面部轮廓方向的 几个关键位置施加约束，就能很好的保证面部表情 的失真。 将面部太阳穴位置的约束去掉，观察面部 表情的仿真情况，由图可知面部表情的失真程度较 大，说明太阳穴位置的约束对面部表情的实现起着 至关重要的作用。 图 ３ ８ 种面部表情仿真 Ｆｉｇ．３ Ｅｉｇｈｔ ｋｉｎｄｓ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｓｉｍｕｌａｔｉｏｎ （ａ）高兴表情的不同程度分布 （ｂ）施加载荷区域为原来 １．５ 倍、２ 倍的情况时的仿真表情 （ｃ）面部轮廓位置约束减少和面部太阳穴位置约束去掉后仿真 图 ４ 影响面部表情实现的因素 Ｆｉｇ．４ Ｔｈｅ ｉｎｆｌｕｅｎｃｅ ｆａｃｔｏｒｓ ｏｆ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎｓ ａｃｈｉｅｖｅｍｅｎｔ ３ 控制系统设计 机器人面部表情的实现是面部机构和面部皮肤 材料共同作用的结果。 通过控制器驱动舵机，舵机 通过牵引机构驱动面部器官动作，同时驱动面部皮 肤的相应位置，使机器人产生表情，所以控制机器人 的表情输出其实就是控制系统中的舵机。 采用 ＦＰＧＡ 作为舵机控制器［１２］ ，使用 Ａｌｔｅｒａ 公 司的 Ｃｙｃｌｏｎｅ ＩＶ ＥＰ４ＣＥ１５Ｆ１７Ｃ８Ｎ 核 心 板。 通 过 ＳＯＰＣ Ｂｕｉｌｄｅｒ 构建硬件系统，按照设计需要添加合 适的软核，进行相应的设置以实现要求的功能。 系 统的主程序设计图，如图 ５ 所示，当 ＦＰＧＡ 复位开始 运行后，程序初始化机器人的表情状态为平静，等待 模式的选择，模式分为串口模式和按键模式，根据不 同模式，可以用不同的方式实现机器人表情。 通过 按键模式可以简单的实现 ５ 种基本表情，如果要实 现更多更丰富的表情，可以通过串口模式。 软件的 编写是在 ＮＩＯＳ ＩＩ ＩＤＥ 集成开发环境［１３］ 进行的，主 要任务是实现 ＰＷＭ 信号的不同的占空比，通过串 口将从上位机接收到数据传到下位机，实现与计算 机的通信功能，控制舵机的运动。 图 ５ 主程序流程图 Ｆｉｇ．５ Ｔｈｅ ｆｌｏｗ ｃｈａｒｔ ｏｆ ｔｈｅ ｍａｉｎ ｐｒｏｇｒａｍ ·５５８· 智 能 系 统 学 报 第 １０ 卷
第4期 信继忠，等：具有面部表情的仿人头部机器人系统的研制 ·559. 采用LabVIEW来绘制面部表情控制系统的控 制界面。上位机通过串口通信给控制板发送不 同的表情类型信号，FPGA内的程序接收到来自接 口的信号后执行程序输出PWM信号，实现对下位 机的控制。通过VISA与串行接口仪器通信5]，根 (a)张开 (b)闭合 据需求设置串口的参数，单击不同的按钮就能控制 图8下颚机构张开、闭合动作实验 相应的舵机，使得机器人再现不同的表情。 Fig8 The jaw mechanism close and open movement experiment 结果表明FPGA控制系统运行平稳，各个器官可以 4实验 很好地运行，达到预期要求。通过上位机操作界面控 具有面部表情的仿人头部机器人系统，主要包 制机器人的单个面部器官的运动、实现面部表情，也可 括仿人头部机器人SHFR-ⅢI、控制系统、电源等，如 通过控制箱上的按键实现手动控制。根据面部表情编 图6所示。通过计算机发出指令到FPGA,由PGA 码理论知识，对机器人一些基本面部表情再现。图10 的输出口产生PWM脉冲，驱动舵机实现机器人的 给出了仿人表情机器人的8种基本表情。不同基本表 表情，而舵机的供电需要采用独立的电源模块。 情各个器官对应的舵机角度如表4所示。实验结果表 明，该机器人能够逼真地再现各种基本面部表情。 左侧摆 下转 左转 右侧转 上转 右转 图6具有面部表情的仿人头部机器人系统 Fig6 The system of humanoid robot head with facial expression 实验前需对舵机的初始位置进行调试以及确定 相应舵机的运动范围。对样机头部的各个运动器官 进行动作实验，图7为眉毛推拉机构和眼部机构动 作实验，图8为下颚机构张开、闭合动作实验，图9 图9颈部机构动作实验 为颈部机构动作实验。 Fig.9 The neck mechanism movement experiment (a)眼球上转 (b)眼球下转 (a)平静 (b)生气 (c)厌恶 (d)恐惧 (c)眼球左转 (d)眼球右转 (e)高兴 (f)悲伤 (g)惊讶 (h)感兴趣 图7眉毛推拉机构和眼部机构动作实验 Fig.7 The eyebrows push-pull mechanism and eye mecha- 图10仿人头部机器人SHFR-Ⅲ面部表情的再现实验 nism movement experiment Fig.10 humanoid head robot SHFR-III facial expression representation experiment
采用 ＬａｂＶＩＥＷ 来绘制面部表情控制系统的控 制界面［１４］ 。 上位机通过串口通信给控制板发送不 同的表情类型信号，ＦＰＧＡ 内的程序接收到来自接 口的信号后执行程序输出 ＰＷＭ 信号，实现对下位 机的控制。 通过 ＶＩＳＡ 与串行接口仪器通信［１５］ ，根 据需求设置串口的参数，单击不同的按钮就能控制 相应的舵机，使得机器人再现不同的表情。 ４ 实验 具有面部表情的仿人头部机器人系统，主要包 括仿人头部机器人 ＳＨＦＲ－ＩＩＩ、控制系统、电源等，如 图 ６ 所示。 通过计算机发出指令到 ＦＰＧＡ，由 ＦＰＧＡ 的输出口产生 ＰＷＭ 脉冲，驱动舵机实现机器人的 表情，而舵机的供电需要采用独立的电源模块。 图 ６ 具有面部表情的仿人头部机器人系统 Ｆｉｇ．６ Ｔｈｅ ｓｙｓｔｅｍ ｏｆ ｈｕｍａｎｏｉｄ ｒｏｂｏｔ ｈｅａｄ ｗｉｔｈ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ 实验前需对舵机的初始位置进行调试以及确定 相应舵机的运动范围。 对样机头部的各个运动器官 进行动作实验，图 ７ 为眉毛推拉机构和眼部机构动 作实验，图 ８ 为下颚机构张开、闭合动作实验，图 ９ 为颈部机构动作实验。 （ａ）眼球上转 （ｂ）眼球下转 （ｃ）眼球左转 （ｄ）眼球右转 图 ７ 眉毛推拉机构和眼部机构动作实验 Ｆｉｇ．７ Ｔｈｅ ｅｙｅｂｒｏｗｓ ｐｕｓｈ－ｐｕｌｌ ｍｅｃｈａｎｉｓｍ ａｎｄ ｅｙｅ ｍｅｃｈａ⁃ ｎｉｓｍ ｍｏｖｅｍｅｎｔ ｅｘｐｅｒｉｍｅｎｔ （ａ）张开 （ｂ）闭合 图 ８ 下颚机构张开、闭合动作实验 Ｆｉｇ．８ Ｔｈｅ ｊａｗ ｍｅｃｈａｎｉｓｍ ｃｌｏｓｅ ａｎｄ ｏｐｅｎ ｍｏｖｅｍｅｎｔ ｅｘｐｅｒｉｍｅｎｔ 结果表明 ＦＰＧＡ 控制系统运行平稳，各个器官可以 很好地运行，达到预期要求。 通过上位机操作界面控 制机器人的单个面部器官的运动、实现面部表情，也可 通过控制箱上的按键实现手动控制。 根据面部表情编 码理论知识，对机器人一些基本面部表情再现。 图 １０ 给出了仿人表情机器人的 ８ 种基本表情。 不同基本表 情各个器官对应的舵机角度如表 ４ 所示。 实验结果表 明，该机器人能够逼真地再现各种基本面部表情。 图 ９ 颈部机构动作实验 Ｆｉｇ．９ Ｔｈｅ ｎｅｃｋ ｍｅｃｈａｎｉｓｍ ｍｏｖｅｍｅｎｔ ｅｘｐｅｒｉｍｅｎｔ （ａ）平静 （ｂ）生气 （ｃ）厌恶 （ｄ）恐惧 （ｅ）高兴 （ｆ）悲伤 （ｇ）惊讶 （ｈ）感兴趣 图 １０ 仿人头部机器人 ＳＨＦＲ－ＩＩＩ 面部表情的再现实验 Ｆｉｇ．１０ ｈｕｍａｎｏｉｄ ｈｅａｄ ｒｏｂｏｔ ＳＨＦＲ－ＩＩＩ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔ 第 ４ 期 信继忠，等：具有面部表情的仿人头部机器人系统的研制 ·５５９·