第9卷第5期 智能系统学报 Vol.9 No.5 2014年10月 CAAI Transactions on Intelligent Systems 0ct.2014 D0:10.3969/j.issn.1673-4785.201307001 智能空间助老助残服务机器人人机协作导航 江济良，屠大维2 (1.上海大学机电工程与自动化学院，上海200072：2.上海市智能制造及机器人重点实验室，上海200072) 摘要：针对具有基本认知行为能力的行动不便老人、肢残人士、运动和语言患者这类服务对象，构建了助老助残服 务机器人人机一体化导航系统。用户与机器人之间进行交互，自由切换随机行走和自主导航2种运动模式，机器人 根据现场环境和作业条件的不同，实时触发人机条件响应生成规则而产生相应的行走行为，作业时人机界面同步呈 现虚实结合、实时交互的智能空间，实现人机一体化感知、决策与执行。以移动作业服务机器人为对象进行室内人 机一体化导航作业，验证了该人机一体化导航系统的可行性。 关键词：人机协作：导航：智能空间；人机交互；人机耦合：服务机器人 中图分类号：TP18文献标志码：A文章编号：1673-4785(2014)05-0560-09 中文引用格式：江济良，居大维.智能空间助老助残服务机器人人机协作导航[J].智能系统学报，2014,9(5)：560-568。 英文引用格式：JIANG Jiliang,TU Dawei..Human-robot collaboration navigation of service robots for the elderly and disabled in an intelligent space[J].CAAI Transactions on Intelligent Systems,2014,9(5):560-568. Human-robot collaboration navigation of service robots for the elderly and disabled in an intelligent space JIANG Jiliang',TU Dawei2 (1.School of Mechatronic Engineering and Automation,Shanghai University,Shanghai 200072,China;2.Shanghai Key Laboratory of Intelligent Manufacturing and Robotics,Shanghai 200072,China) Abstract:For the users owning basic cognitive ability,such as the elderly with reduced mobility,physically disa- bled persons,and motion and speech impaired patients,a human-robot integrated navigation system is established for them in this paper.The two motion modes of random walking and autonomous navigation can be switched freely by the user through human-robot interaction.The robot triggers the production rules for generating the corresponding walking behavior according to surroundings and operating conditions.In the process of human-robot roaming,an in- telligent space is rendered synchronously on the interface of human-robot interaction based on augmented reality Therefore,the human-robot integrated perception,decision and execution are achieved in human-robot roaming. Human-robot roaming experiments for a mobile service robot were carried out in an indoor environment,which veri- fies the feasibility of the proposed system. Keywords:human-robot collaboration;navigation;intelligent space;human-robot interaction;human-robot cou- pling;service robot 人机协作(human-robot collaboration,HRC)具有 种原因导致的肢残人士及运动、语言患者的大量出 极其广阔的研究价值2。随着人口老龄化以及各 现，其基本需求是在家居、康复医院、养老院等室内 环境下实现自由移动作业，因此，发展先进的助老助 收稿日期：2013-07-01 基金项目：国家自然科学基金项目资助项目(51075252,6110117，残服务机器人成为社会发展和进步的迫切需要。在 61203351). 通信作者：屠大维.E-mail:td小w@shu.edu.cm. 这一应用中，除了机器人本身要具有局部的机器智
第 ９ 卷第 ５ 期 智 能 系 统 学 报 Ｖｏｌ．９ №．５ ２０１４ 年 １０ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｏｃｔ． ２０１４ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３０７００１ 智能空间助老助残服务机器人人机协作导航 江济良１ ，屠大维１，２ （１．上海大学 机电工程与自动化学院，上海 ２０００７２； ２． 上海市智能制造及机器人重点实验室，上海 ２０００７２） 摘 要：针对具有基本认知行为能力的行动不便老人、肢残人士、运动和语言患者这类服务对象，构建了助老助残服 务机器人人机一体化导航系统。 用户与机器人之间进行交互，自由切换随机行走和自主导航 ２ 种运动模式，机器人 根据现场环境和作业条件的不同，实时触发人机条件响应生成规则而产生相应的行走行为，作业时人机界面同步呈 现虚实结合、实时交互的智能空间，实现人机一体化感知、决策与执行。 以移动作业服务机器人为对象进行室内人 机一体化导航作业，验证了该人机一体化导航系统的可行性。 关键词：人机协作；导航；智能空间；人机交互；人机耦合；服务机器人 中图分类号： ＴＰ１８ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１４）０５⁃０５６０⁃０９ 中文引用格式：江济良，屠大维．智能空间助老助残服务机器人人机协作导航［Ｊ］． 智能系统学报， ２０１４， ９（５）： ５６０⁃５６８． 英文引用格式：ＪＩＡＮＧ Ｊｉｌｉａｎｇ，ＴＵ Ｄａｗｅｉ． Ｈｕｍａｎ⁃ｒｏｂｏｔ ｃｏｌｌａｂｏｒａｔｉｏｎ ｎａｖｉｇａｔｉｏｎ ｏｆ ｓｅｒｖｉｃｅ ｒｏｂｏｔｓ ｆｏｒ ｔｈｅ ｅｌｄｅｒｌｙ ａｎｄ ｄｉｓａｂｌｅｄ ｉｎ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｐａｃｅ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１４， ９（５）： ５６０⁃５６８． Ｈｕｍａｎ⁃ｒｏｂｏｔ ｃｏｌｌａｂｏｒａｔｉｏｎ ｎａｖｉｇａｔｉｏｎ ｏｆ ｓｅｒｖｉｃｅ ｒｏｂｏｔｓ ｆｏｒ ｔｈｅ ｅｌｄｅｒｌｙ ａｎｄ ｄｉｓａｂｌｅｄ ｉｎ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｐａｃｅ ＪＩＡＮＧ Ｊｉｌｉａｎｇ １ ， ＴＵ Ｄａｗｅｉ １，２ （１． Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｓｈａｎｇｈａｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｓｈａｎｇｈａｉ ２０００７２， Ｃｈｉｎａ； ２． Ｓｈａｎｇｈａｉ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｍａｎｕｆａｃｔｕｒｉｎｇ ａｎｄ Ｒｏｂｏｔｉｃｓ， Ｓｈａｎｇｈａｉ ２０００７２， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｒ ｔｈｅ ｕｓｅｒｓ ｏｗｎｉｎｇ ｂａｓｉｃ ｃｏｇｎｉｔｉｖｅ ａｂｉｌｉｔｙ， ｓｕｃｈ ａｓ ｔｈｅ ｅｌｄｅｒｌｙ ｗｉｔｈ ｒｅｄｕｃｅｄ ｍｏｂｉｌｉｔｙ， ｐｈｙｓｉｃａｌｌｙ ｄｉｓａ⁃ ｂｌｅｄ ｐｅｒｓｏｎｓ， ａｎｄ ｍｏｔｉｏｎ ａｎｄ ｓｐｅｅｃｈ ｉｍｐａｉｒｅｄ ｐａｔｉｅｎｔｓ， ａ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｇｒａｔｅｄ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ ｉｓ ｅｓｔａｂｌｉｓｈｅｄ ｆｏｒ ｔｈｅｍ ｉｎ ｔｈｉｓ ｐａｐｅｒ． Ｔｈｅ ｔｗｏ ｍｏｔｉｏｎ ｍｏｄｅｓ ｏｆ ｒａｎｄｏｍ ｗａｌｋｉｎｇ ａｎｄ ａｕｔｏｎｏｍｏｕｓ ｎａｖｉｇａｔｉｏｎ ｃａｎ ｂｅ ｓｗｉｔｃｈｅｄ ｆｒｅｅｌｙ ｂｙ ｔｈｅ ｕｓｅｒ ｔｈｒｏｕｇｈ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｒａｃｔｉｏｎ． Ｔｈｅ ｒｏｂｏｔ ｔｒｉｇｇｅｒｓ ｔｈｅ ｐｒｏｄｕｃｔｉｏｎ ｒｕｌｅｓ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｗａｌｋｉｎｇ ｂｅｈａｖｉｏｒ ａｃｃｏｒｄｉｎｇ ｔｏ ｓｕｒｒｏｕｎｄｉｎｇｓ ａｎｄ ｏｐｅｒａｔｉｎｇ ｃｏｎｄｉｔｉｏｎｓ． Ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｈｕｍａｎ⁃ｒｏｂｏｔ ｒｏａｍｉｎｇ， ａｎ ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ ｓｐａｃｅ ｉｓ ｒｅｎｄｅｒｅｄ ｓｙｎｃｈｒｏｎｏｕｓｌｙ ｏｎ ｔｈｅ ｉｎｔｅｒｆａｃｅ ｏｆ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ． Ｔｈｅｒｅｆｏｒｅ， ｔｈｅ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｇｒａｔｅｄ ｐｅｒｃｅｐｔｉｏｎ， ｄｅｃｉｓｉｏｎ ａｎｄ ｅｘｅｃｕｔｉｏｎ ａｒｅ ａｃｈｉｅｖｅｄ ｉｎ ｈｕｍａｎ⁃ｒｏｂｏｔ ｒｏａｍｉｎｇ． Ｈｕｍａｎ⁃ｒｏｂｏｔ ｒｏａｍｉｎｇ ｅｘｐｅｒｉｍｅｎｔｓ ｆｏｒ ａ ｍｏｂｉｌｅ ｓｅｒｖｉｃｅ ｒｏｂｏｔ ｗｅｒｅ ｃａｒｒｉｅｄ ｏｕｔ ｉｎ ａｎ ｉｎｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔ， ｗｈｉｃｈ ｖｅｒｉ⁃ ｆｉｅｓ ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｓｙｓｔｅｍ． Ｋｅｙｗｏｒｄｓ：ｈｕｍａｎ⁃ｒｏｂｏｔ ｃｏｌｌａｂｏｒａｔｉｏｎ； ｎａｖｉｇａｔｉｏｎ； ｉｎｔｅｌｌｉｇｅｎｔ ｓｐａｃｅ； ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｒａｃｔｉｏｎ； ｈｕｍａｎ⁃ｒｏｂｏｔ ｃｏｕ⁃ ｐｌｉｎｇ； ｓｅｒｖｉｃｅ ｒｏｂｏｔ 收稿日期：２０１３⁃０７⁃０１． 基金项目：国家自然科学基金项目资助项目 （ ５１０７５２５２， ６１１０１１７７， ６１２０３３５１）． 通信作者：屠大维． Ｅ⁃ｍａｉｌ：ｔｄｗ＠ ｓｈｕ．ｅｄｕ．ｃｎ． 人机协作（ｈｕｍａｎ⁃ｒｏｂｏｔ ｃｏｌｌａｂｏｒａｔｉｏｎ，ＨＲＣ）具有 极其广阔的研究价值［１⁃２］ 。 随着人口老龄化以及各 种原因导致的肢残人士及运动、语言患者的大量出 现，其基本需求是在家居、康复医院、养老院等室内 环境下实现自由移动作业，因此，发展先进的助老助 残服务机器人成为社会发展和进步的迫切需要。 在 这一应用中，除了机器人本身要具有局部的机器智
第5期 江济良，等：智能空间助老助残服务机器人人机协作导航 ·561. 能之外，还必需解决的一个重要问题是人机协作问 伙伴”，共同感知、协同决策、平等合作，实现达到甚 题，包括人机交互、人机一体化、人机协同、人机智能 至超过人的能力乃至智力的系统山。Y.Gu等设 融合等。在人机交互方面，近年来，随着增强现实技 计出一套基于增强学习的人机协作机械手[)，用户 术的发展，使得人机交互的本质发生了根本性的变 与Nao拟人机器人协作完成搬运桌子作业。 化。研究者模拟出与真实世界同步对应的三维智能 从老、障、残这类特殊服务对象自身的认知特点 空间[3]，并在虚拟世界中提供用户关于视觉、听 及其需求出发，构建了助老助残服务机器人人机一 觉、触觉等感官模拟，用户与空间中虚拟对象进行交 体化导航系统，并提出了基于智能空间的人机一体 互，实现人机间自然互通与无缝耦合。目前，增强现 化导航工作机制。用户与服务机器人一道，共同感 实已广泛应用于远程医疗、遥操作机器人、外骨骼机 知、自由对话、平等协作实现室内环境下人机一体化 器人等研究[6-] 导航 在人机一体化与人机智能方面，20世纪90年 代初，著名学者钱学森、戴汝为、路甬祥、陈鹰等从认 1人机一体化导航系统基本框架 知科学、人工智能、人机合作等不同角度提出了开放 1.1人机一体化导航系统基本框架 的复杂巨系统、大成智慧工程、人机一体化系统等概 图1为助老助残服务机器人人机一体化导航系 念9)。人机一体化系统强调人与机器组成“新型 统基本框架。 感知反馈 人机对话 避障导航 人机协作 中，年 生中，生中卡第 运动规划模块 人机耦合模块 机器人运动 室内环境（智能空间 控制模块 感知反馈模块 CCD前是 (老人 残疾人 人机交互与 视觉模块 患者) 消息对话模块 人机界面 服务机器人 激光雷达深度 用户 “智能房间” (服务机) (客户机) V 数据采集模块 人机交互： 虚拟漫游模块 无线 环境儿何 环境几何 通信 地图模块 地图模块 机器自主导航 动作解释及 生成规则库 智能模块 执行反馈模块 人机界面端 服务机器人端 图1助老助残服务机器人人机一体化导航系统基本框架 Fig.I Basic conception of the human-robot integrated navigation system of service robots for elderly and disabled assistance 用户与机器（计算机或机器人）一道，共同感知、协 常用的人机交互装置，但老、障、残人士需要专门的 同决策、平等协作完成感知反馈、人机对话和避障导航 人机效应通道和人机界面。本文基于Microsoft Ki- 等一系列动作或任务，实现室内半结构化环境人机协 nect for windows开发出“眼动-视觉”、“语音-听觉” 作导航。人机界面（服务机）与服务机器人（客户机）之 和简单手势等3种实现人机间自然互通的人机效应 间通过组建基于C/S架构的无线局域网进行通信。 通道，并配有相应的输入输出人机界面13]，如图2 1.2人机界面 所示。通过选择/激活菜单中4个方向键和激活键 对于正常人而言，鼠标、键盘、触摸屏等是方便、 来选择和确认任务菜单中相应的任务栏，任务菜单
能之外，还必需解决的一个重要问题是人机协作问 题，包括人机交互、人机一体化、人机协同、人机智能 融合等。 在人机交互方面，近年来，随着增强现实技 术的发展，使得人机交互的本质发生了根本性的变 化。 研究者模拟出与真实世界同步对应的三维智能 空间［３⁃５］ ，并在虚拟世界中提供用户关于视觉、听 觉、触觉等感官模拟，用户与空间中虚拟对象进行交 互，实现人机间自然互通与无缝耦合。 目前，增强现 实已广泛应用于远程医疗、遥操作机器人、外骨骼机 器人等研究［６⁃８］ 。 在人机一体化与人机智能方面，２０ 世纪 ９０ 年 代初，著名学者钱学森、戴汝为、路甬祥、陈鹰等从认 知科学、人工智能、人机合作等不同角度提出了开放 的复杂巨系统、大成智慧工程、人机一体化系统等概 念［９⁃１０］ 。 人机一体化系统强调人与机器组成“新型 伙伴”，共同感知、协同决策、平等合作，实现达到甚 至超过人的能力乃至智力的系统［１１］ 。 Ｙ． Ｇｕ 等设 计出一套基于增强学习的人机协作机械手［１２］ ，用户 与 Ｎａｏ 拟人机器人协作完成搬运桌子作业。 从老、障、残这类特殊服务对象自身的认知特点 及其需求出发，构建了助老助残服务机器人人机一 体化导航系统，并提出了基于智能空间的人机一体 化导航工作机制。 用户与服务机器人一道，共同感 知、自由对话、平等协作实现室内环境下人机一体化 导航。 １ 人机一体化导航系统基本框架 １．１ 人机一体化导航系统基本框架 图 １ 为助老助残服务机器人人机一体化导航系 统基本框架。 图 １ 助老助残服务机器人人机一体化导航系统基本框架 Ｆｉｇ．１ Ｂａｓｉｃ ｃｏｎｃｅｐｔｉｏｎ ｏｆ ｔｈｅ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｇｒａｔｅｄ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ ｏｆ ｓｅｒｖｉｃｅ ｒｏｂｏｔｓ ｆｏｒ ｅｌｄｅｒｌｙ ａｎｄ ｄｉｓａｂｌｅｄ ａｓｓｉｓｔａｎｃｅ 用户与机器（计算机或机器人）一道，共同感知、协 同决策、平等协作完成感知反馈、人机对话和避障导航 等一系列动作或任务，实现室内半结构化环境人机协 作导航。 人机界面（服务机）与服务机器人（客户机）之 间通过组建基于 Ｃ／ Ｓ 架构的无线局域网进行通信。 １．２ 人机界面 对于正常人而言，鼠标、键盘、触摸屏等是方便、 常用的人机交互装置，但老、障、残人士需要专门的 人机效应通道和人机界面。 本文基于 Ｍｉｃｒｏｓｏｆｔ Ｋｉ⁃ ｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ 开发出“眼动－视觉”、“语音－听觉” 和简单手势等 ３ 种实现人机间自然互通的人机效应 通道，并配有相应的输入／ 输出人机界面［１ ３ ］ ，如图 ２ 所示。 通过选择／ 激活菜单中 ４ 个方向键和激活键 来选择和确认任务菜单中相应的任务栏，任务菜单 第 ５ 期 江济良，等：智能空间助老助残服务机器人人机协作导航 ·５６１·
.562 智能系统学报 第9卷 提示并引导用户输入意愿或命令，人机界面输出文 嘈杂等因素，系统只需识别特定简单词汇“左”、 字、声音、图形等多媒体信息。图3为该人机一体化 “右”对选择/激活菜单中当前功能键进行选择，用 导航系统的树形任务菜单结构图。 户发出“是”激活当前功能键实现对任务菜单当前 CCD局威百百任智能环境 任务栏进行选择与执行。 视网移动操作房间地图 务菜单 简单手势通道是指为双手尚具有活动能力的患 者提供的，设置“伸左手”、“伸右手”和“握拳头”3 种简单自然的手势，用户“伸左手”或“伸右手”用于 CCD视頫窗口 “智能房间”窗口 音 对选择/激活菜单中当前功能键进行选择，用户任 图 只手“握拳头”激活当前功能键实现对任务菜单当 人机对话消息栏 前任务栏进行选择与执行。 局域网 环境几何 连接 k→ 地图窗口 在上述人机效应通道的基础上，为营造虚拟作 面 业的“临场感”，在人机界面上开发出CCD视频窗 图2 人机效应通道及输入/输出人机界面 口、环境几何地图窗口、“智能房间”窗口、人机对话 Fig,2 HRI channels and its I/O interface 消息栏等模块。其中CCD视频窗口显示机器人前 方作业环境，环境地图窗口显示室内环境电子地图， 级菜单 CCD 自由 任意 智能 环境 视频 局域网 移动 操作 房间 地图 “智能房间”窗口显示与实际机器人同步运动的三 维图像，人机对话消息栏显示人机一体化导航过程 关闭视颜 双 视频回放 开启视频 网络连接 馏 单臂 操作 模型左移 图 右移 移复 图宿 认大 中人机对话所发送的消息。 作 1.3服务机器人 对于该人机协作导航系统而言，服务机器人具 级菜单 视频快进 视频快退 视频放大 地左转 原地右转 自主导航 弧线左转 弧线右转 模型上 模型下 模型复位 模型放 模型缩小 有基于生物触角的仿生条件反射导航智能。机器人 依靠生物触角实时感知外部环境而产生适当的运动 反应，其原理参考文献[)，本文仅对该算法作一简 单介绍。定义以下符号：机器人起点S,目标点T, 视频缩小 全屏提示 默认显示 返回 准转 开转向 线 返 缩放复位 轴正向旋 轴负 公 负向 返 当前位置X,用相遇点H表示碰到障碍物时所处的 向旋转 位置点，用脱离点L表示绕行障碍物边缘结束时所 处的位置点。该算法的4种机器人行走行为如下： 图3树形任务莱单 1)对准转向：指在S和L处执行的旨在对准T Fig.3 The tree tasks menu 的原地转向动作，直到对准为止。 在“眼动-视觉”人机效应通道中，用Microsoft 2)直线前进：指在对准目标点T后所执行的沿 Kinect for windows捕捉用户眼晴“开闭”和注视视线 XT方向的直线行走动作，直到到达目标点T或者遇 的停留状态。当用户左眼闭、右眼开（或左眼开、右 到障碍物为止。 眼闭)时，选择/激活菜单中当前功能键往左（或右） 3)避开转向：指在障碍物边缘绕行过程中所执 移动一格。当用户眼晴注视当前功能键并停留一段 行的为远离障碍物而实施的原地转向动作，直至检 时间，则该功能键被激活并连续“闪”2下，实现对任 测不到障碍物为止。 务菜单中的任务栏进行选择与执行。“上”、“下” 4)弧线绕行：指在障碍物边缘所执行的沿一定 “左”和“右”4个功能键激活分别对应任务菜单当 曲率半径圆弧绕行行走动作，直至再次遇到障碍物 前任务栏往上、下、左和右跳动一格，同时发出“嘀” 或满足脱离条件为止。 的一声提示音：“0K”功能键激活对应任务菜单当前 该算法提出对准规则、相遇规则、避开规则、脱 任务栏激活，并连续“闪”2下给用户以提示。“语音 离规则和终点规则5种触发规则用于确定机器人行 -听觉”通道是基于Microsoft Speech Platform SDK 走行为的触发时机，其导航原理如图4所示。该算 11.0语音识别与语音合成开发包来开发的。为了 法容易忽视环境中障碍物之间的间隙，避障效率低 提高语音识别的准确率，克服用户发音不标准、环境 环境适应性差，存在“局部死区”问题。本文试图从
提示并引导用户输入意愿或命令，人机界面输出文 字、声音、图形等多媒体信息。 图 ３ 为该人机一体化 导航系统的树形任务菜单结构图。 图 ２ 人机效应通道及输入／ 输出人机界面 Ｆｉｇ．２ ＨＲＩ ｃｈａｎｎｅｌｓ ａｎｄ ｉｔｓ Ｉ／ Ｏ ｉｎｔｅｒｆａｃｅ 图 ３ 树形任务菜单 Ｆｉｇ．３ Ｔｈｅ ｔｒｅｅ ｔａｓｋｓ ｍｅｎｕ 在“眼动－视觉” 人机效应通道中，用 Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ｆｏｒ ｗｉｎｄｏｗｓ 捕捉用户眼睛“开闭”和注视视线 的停留状态。 当用户左眼闭、右眼开（或左眼开、右 眼闭）时，选择／ 激活菜单中当前功能键往左（或右） 移动一格。 当用户眼睛注视当前功能键并停留一段 时间，则该功能键被激活并连续“闪”２ 下，实现对任 务菜单中的任务栏进行选择与执行。 “上”、“下”、 “左”和“右” ４ 个功能键激活分别对应任务菜单当 前任务栏往上、下、左和右跳动一格，同时发出“嘀” 的一声提示音；“ＯＫ”功能键激活对应任务菜单当前 任务栏激活，并连续“闪”２ 下给用户以提示。 “语音 －听觉” 通道是基于 Ｍｉｃｒｏｓｏｆｔ Ｓｐｅｅｃｈ Ｐｌａｔｆｏｒｍ ＳＤＫ １１．０ 语音识别与语音合成开发包来开发的。 为了 提高语音识别的准确率，克服用户发音不标准、环境 嘈杂等因素，系统只需识别特定简单词汇“ 左”、 “右”对选择／ 激活菜单中当前功能键进行选择，用 户发出“是”激活当前功能键实现对任务菜单当前 任务栏进行选择与执行。 简单手势通道是指为双手尚具有活动能力的患 者提供的，设置“伸左手”、“伸右手” 和“握拳头” ３ 种简单自然的手势，用户“伸左手”或“伸右手”用于 对选择／ 激活菜单中当前功能键进行选择，用户任一 只手“握拳头”激活当前功能键实现对任务菜单当 前任务栏进行选择与执行。 在上述人机效应通道的基础上，为营造虚拟作 业的“临场感”，在人机界面上开发出 ＣＣＤ 视频窗 口、环境几何地图窗口、“智能房间”窗口、人机对话 消息栏等模块。 其中 ＣＣＤ 视频窗口显示机器人前 方作业环境，环境地图窗口显示室内环境电子地图， “智能房间”窗口显示与实际机器人同步运动的三 维图像，人机对话消息栏显示人机一体化导航过程 中人机对话所发送的消息。 １．３ 服务机器人 对于该人机协作导航系统而言，服务机器人具 有基于生物触角的仿生条件反射导航智能。 机器人 依靠生物触角实时感知外部环境而产生适当的运动 反应，其原理参考文献［１４］ ，本文仅对该算法作一简 单介绍。 定义以下符号：机器人起点 Ｓ ，目标点 Ｔ ， 当前位置 Ｘ ，用相遇点 Ｈ 表示碰到障碍物时所处的 位置点，用脱离点 Ｌ 表示绕行障碍物边缘结束时所 处的位置点。 该算法的 ４ 种机器人行走行为如下： １）对准转向：指在 Ｓ 和 Ｌ 处执行的旨在对准 Ｔ 的原地转向动作，直到对准为止。 ２）直线前进：指在对准目标点 Ｔ 后所执行的沿 ＸＴ 方向的直线行走动作，直到到达目标点 Ｔ 或者遇 到障碍物为止。 ３）避开转向：指在障碍物边缘绕行过程中所执 行的为远离障碍物而实施的原地转向动作，直至检 测不到障碍物为止。 ４）弧线绕行：指在障碍物边缘所执行的沿一定 曲率半径圆弧绕行行走动作，直至再次遇到障碍物 或满足脱离条件为止。 该算法提出对准规则、相遇规则、避开规则、脱 离规则和终点规则 ５ 种触发规则用于确定机器人行 走行为的触发时机，其导航原理如图 ４ 所示。 该算 法容易忽视环境中障碍物之间的间隙，避障效率低， 环境适应性差，存在“局部死区”问题。 本文试图从 ·５６２· 智 能 系 统 学 报 第 ９ 卷
第5期 江济良，等：智能空间助老助残服务机器人人机协作导航 ·563. 人机协作的角度来解决这一问题。 尺寸，以及用户位置、机器人初始位置等：二是设置 起点S 服务机器人运动学参数，包括机器人位姿、角速度和 角加速度以及各关节的关节角、角速度以及角加速 对准旋向 度等。 N 对准规则 利用实际机器人左右驱动轮电机编码器和数字 Y 罗盘获得机器人在环境中的实时位姿，并经激光雷 直线前进 达依据固定的墙和门框的位置实现同步定位，将经 过自定位修正的机器人的初始位姿数据通过无线局 相遇规则 域网传到人机界面实现模型机器人初始定位。同 避开转向 理，将经过标定修正的服务机器人各关节初始关节 角也传到人机界面上来，实现模型机器人手臂末端 避开规则 Y 的初定位。 N 终点规则 弧线绕行→ 2.2人机耦合 Y 人机耦合是指通过人与机器之间的信息传递与 相遇规则> 反馈来实现人机同步映射与无缝衔接，达到人机间 IN 脱离规则一 自然互通，主要包括机器人前方作业视频传输、人机 消息对话的发送和“智能房间”同步运动三维模型 终点T 等。下面仅对同步运动原理作一简单介绍。假设该 图4基于生物触角的机器人导航算法 服务机器人采用两轮差动驱动，其两主动轮角速度 Fig.4 Navigation algorithm for mobile ro- bots based on biological antennas 分别为0，及w,,车轮半径为r,轮距为I。相对于 世界坐标系，用2个车轮中点P的坐标x、y及0来 2人机协作导航智能空间 描述机器人的位姿，则其正运动学模型为 2.1智能房间模型 cos0/2 cos0/2 对于该人机一体化系统而言，人与机器之间的 sin0/2 sin0/2 1) 信息交流是立体的、多媒介的、双向的。本文基于增 r@ 1/ -1/ 强现实技术实现了语音、文字、图像等多媒介信息的 人机交互，并通过多窗口设计将用户意愿、机器感 因而相对于世界坐标系机器人位姿为 知、机器执行、环境信息等都耦合到人机界面上来。 基于OpenGL三维图形库构建出“智能房间”三 =。+o,+,)o6 维模型，包含室内环境模型和服务机器人模型，如图 y=y0+ (2) 5所示。 式中：(x。yo,0)为机器人的初始位姿， (5(a+e,)cos0t,乞f(心a,+u,). 广。-))为：时刻反馈至人机界面的机 图5“智能房间”模型 器人位姿，其中t,=to+i·△t(i=0,1,2,…),△t为 Fig.5 Intelligent room model 反馈的时间间隔。将这些数据通过无线局域网传到 需注意以下2点：一是所建模型与真实环境保 人机界面来驱动模型机器人，即可实现模型机器人 持一致，需特别注意房间、门、室内固定物的位置和 与实际机器人的同步运动。通过物理学模拟与仿真
人机协作的角度来解决这一问题。 图 ４ 基于生物触角的机器人导航算法 Ｆｉｇ．４ Ｎａｖｉｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｍｏｂｉｌｅ ｒｏ⁃ ｂｏｔｓ ｂａｓｅｄ ｏｎ ｂｉｏｌｏｇｉｃａｌ ａｎｔｅｎｎａｓ ２ 人机协作导航智能空间 ２．１ 智能房间模型 对于该人机一体化系统而言，人与机器之间的 信息交流是立体的、多媒介的、双向的。 本文基于增 强现实技术实现了语音、文字、图像等多媒介信息的 人机交互，并通过多窗口设计将用户意愿、机器感 知、机器执行、环境信息等都耦合到人机界面上来。 基于 ＯｐｅｎＧＬ 三维图形库构建出“智能房间”三 维模型，包含室内环境模型和服务机器人模型，如图 ５ 所示。 图 ５ “智能房间”模型 Ｆｉｇ．５ Ｉｎｔｅｌｌｉｇｅｎｔ ｒｏｏｍ ｍｏｄｅｌ 需注意以下 ２ 点：一是所建模型与真实环境保 持一致，需特别注意房间、门、室内固定物的位置和 尺寸，以及用户位置、机器人初始位置等；二是设置 服务机器人运动学参数，包括机器人位姿、角速度和 角加速度以及各关节的关节角、角速度以及角加速 度等。 利用实际机器人左右驱动轮电机编码器和数字 罗盘获得机器人在环境中的实时位姿，并经激光雷 达依据固定的墙和门框的位置实现同步定位，将经 过自定位修正的机器人的初始位姿数据通过无线局 域网传到人机界面实现模型机器人初始定位。 同 理，将经过标定修正的服务机器人各关节初始关节 角也传到人机界面上来，实现模型机器人手臂末端 的初定位。 ２．２ 人机耦合 人机耦合是指通过人与机器之间的信息传递与 反馈来实现人机同步映射与无缝衔接，达到人机间 自然互通，主要包括机器人前方作业视频传输、人机 消息对话的发送和“智能房间”同步运动三维模型 等。 下面仅对同步运动原理作一简单介绍。 假设该 服务机器人采用两轮差动驱动，其两主动轮角速度 分别为 ωｌ 及 ωｒ ，车轮半径为 ｒ ，轮距为 ｌ 。 相对于 世界坐标系，用 ２ 个车轮中点 Ｐ 的坐标 ｘ、ｙ 及 θ 来 描述机器人的位姿，则其正运动学模型为 ｘ · ｙ · θ · é ë ê ê ê ê ê ù û ú ú ú ú ú ＝ ｃｏｓθ ／ ２ ｃｏｓθ ／ ２ ｓｉｎθ ／ ２ ｓｉｎθ ／ ２ １ ／ ｌ － １ ／ ｌ é ë ê ê ê ê ù û ú ú ú ú ｒωｒ ｒωｌ é ë ê ê ù û ú ú （１） 因而相对于世界坐标系机器人位姿为 ｘ ＝ ｘ０ ＋ ｒ ２ ∫ ｔ ０ （ωｒ ＋ ωｌ）ｃｏｓθｄｔ ｙ ＝ ｙ０ ＋ ｒ ２ ∫ ｔ ０ （ωｒ ＋ ωｌ）ｓｉｎθｄｔ θ ＝ θ０ ＋ １ ｌ ∫ ｔ ０ （ωｒ － ωｌ）ｒｄｔ ì î í ï ï ï ï ï ï ï ï （２） 式 中： （ｘ０ ，ｙ０ ，θ０ ） 为 机 器 人 的 初 始 位 姿， （ ｒ ２ ∫ ｔ ｉ ０ （ ωｒ ＋ωｌ）ｃｏｓθｄｔ， ｒ ２ ∫ ｔ ｉ ０ （ωｒ ＋ ωｌ）ｓｉｎθｄｔ， １ ｌ ∫ ｔ ｉ ０ （ωｒ － ωｌ）ｒｄｔ） 为 ｔ ｉ 时刻反馈至人机界面的机 器人位姿，其中 ｔ ｉ ＝ ｔ ０ ＋ ｉ·Δｔ （ｉ ＝ ０，１，２，…） ， Δｔ 为 反馈的时间间隔。 将这些数据通过无线局域网传到 人机界面来驱动模型机器人，即可实现模型机器人 与实际机器人的同步运动。 通过物理学模拟与仿真 第 ５ 期 江济良，等：智能空间助老助残服务机器人人机协作导航 ·５６３·
·564. 智能系统学报 第9卷 来提高智能房间的智能水平，包括模型碰撞干涉测 例如当用户通过人机界面向服务机器人发出“用户 试、室内物品重力效应测试等。导航过程中，人机界 发出前进命令！”，机器人对其进行判断可行则执行 面上呈现虚实结合、实时交互的人机耦合智能空间， 前进运动，并向用户发出“机器人正处于前进运动 人在系统回路中同步感受机器人的位置、姿态和作 中！”消息，否则保持当前运动状态并向用户发出 业进程，了解环境状况，营造虚拟作业的“临场感”。 “机器人无法执行前进运动！”消息。 2)机器请求一用户协助是指机器执行过程中 人机协作导航工作机制 遇到困难向用户发出请求给予必要的协助。例如当 3.1人机消息对话 机器人陷入“局部死区”，则向用户发出“机器人陷 将人与机器（计算机或机器人）看成是平等协 入局部死区！”，用户发挥自身智能发送相应的协助 作的“新型伙伴”，提出人机消息对话机制如图6。 消息来帮助机器人脱离“局部死区”。 3)机器引导一用户确认是指机器向用户发出 ① 消息发送器 ② 年 的默认提示、意图识别等引导信息，用户向机器发出 人机 相应的选择与确认信息。例如当机器人导航运动道 卢患 交互 务机器 (客户端) ④「 ⑤ 消息接收器 路上存在多个房间选择，而用户并未指定目标房间， 则向用户发出“请问进入哪一房间？”，并在人机界 图6人机消息对话工作机制 面上依据概率大小列出所有房间号，用户发出选择 Fig.6 The mechanism of HRI in message dialogues 与确认房间号的消息。 表1列出了人机对话消息库中用户意愿一机器 4)机器自主一机器提示是指机器局部自主执 提示、机器请求一用户协助、机器引导一用户确认和 行过程中根据现场环境条件变化实时切换相应的行 机器自主一机器提示4种类型的人机对话消息，并 为动作，并同时向用户和机器本身发出相应的提示 给出对应的人机对话消息流向及格式。 消息。当机器人接收到提示消息时，则立即切换相 1)用户意愿一机器提示是指用户向机器下达 应的行为动作，用户实时感知这一变化。此类型人 意愿命令，机器予以执行并向用户发送提示消息。 机消息对话主要体现在机器局部自主导航中。 表1人机对话消息库 Table 1 Message dialogues database of human-robot interaction 人机对话消息类型 人机对话消息流向 人机对话消息格式 用户意愿一机器提示①③④一①③④、①3⑤一②③④用户向机器下达意愿命令，机器向用户发出相应提示信息。 机器请求一用户协助①③④一①③④、②③④一①③⑤机器向用户发出请求信息，用户给出相应的协助信息。 机器引导一用户确认①③④一①③④.②③④一①③⑤机器向用户发出引导信息，用户发出选择与确认信息。 机器自主-机器提示④-①③④、②③⑤-②③④ 机器自主执行任务，并向用户发出相应的提示信息。 3.2人机条件响应生成规则 中，机器人在用户的意愿命令下随机行走，只有当特 人机协作导航包括随机行走和自主导航2种运 定的条件成立时才停止运动，否则继续保持当前运 动模式。随机行走是指在不指定目标点情形下的人 动状态。在自主导航中，机器人依靠生物触角感知 机协作导航过程。自主导航是指在指定目标点情形 外界环境，激励触发产生相应的行走行为来实现定 下的机器人局部自主导航过程。2种运动模式既相 目标点自主导航。整个导航过程中机器人通过人机 互独立，根据用户需要自由进行切换：又相互补充， 消息对话给用户以提示。 根据现实环境需求进行配合，取长补短。 由生成规则7和17看出，用户根据自身需要自 表2为建立的人机条件响应生成规则库(4种 由切换运动模式，充分满足用户在真实环境中自由 行走行为和5种判断规则见1.3节)。在随机行走 移动的需要。随机行走模式适合工作在障碍物稀
来提高智能房间的智能水平，包括模型碰撞干涉测 试、室内物品重力效应测试等。 导航过程中，人机界 面上呈现虚实结合、实时交互的人机耦合智能空间， 人在系统回路中同步感受机器人的位置、姿态和作 业进程，了解环境状况，营造虚拟作业的“临场感”。 ３ 人机协作导航工作机制 ３．１ 人机消息对话 将人与机器（计算机或机器人）看成是平等协 作的“新型伙伴”，提出人机消息对话机制如图 ６。 图 ６ 人机消息对话工作机制 Ｆｉｇ．６ Ｔｈｅ ｍｅｃｈａｎｉｓｍ ｏｆ ＨＲＩ ｉｎ ｍｅｓｓａｇｅ ｄｉａｌｏｇｕｅｓ 表 １ 列出了人机对话消息库中用户意愿—机器 提示、机器请求—用户协助、机器引导—用户确认和 机器自主—机器提示 ４ 种类型的人机对话消息，并 给出对应的人机对话消息流向及格式。 １）用户意愿—机器提示是指用户向机器下达 意愿命令，机器予以执行并向用户发送提示消息。 例如当用户通过人机界面向服务机器人发出“用户 发出前进命令！”，机器人对其进行判断可行则执行 前进运动，并向用户发出“机器人正处于前进运动 中！”消息，否则保持当前运动状态并向用户发出 “机器人无法执行前进运动！”消息。 ２）机器请求—用户协助是指机器执行过程中 遇到困难向用户发出请求给予必要的协助。 例如当 机器人陷入“局部死区”，则向用户发出“机器人陷 入局部死区！”，用户发挥自身智能发送相应的协助 消息来帮助机器人脱离“局部死区”。 ３）机器引导—用户确认是指机器向用户发出 的默认提示、意图识别等引导信息，用户向机器发出 相应的选择与确认信息。 例如当机器人导航运动道 路上存在多个房间选择，而用户并未指定目标房间， 则向用户发出“请问进入哪一房间？”，并在人机界 面上依据概率大小列出所有房间号，用户发出选择 与确认房间号的消息。 ４）机器自主—机器提示是指机器局部自主执 行过程中根据现场环境条件变化实时切换相应的行 为动作，并同时向用户和机器本身发出相应的提示 消息。 当机器人接收到提示消息时，则立即切换相 应的行为动作，用户实时感知这一变化。 此类型人 机消息对话主要体现在机器局部自主导航中。 表 １ 人机对话消息库 Ｔａｂｌｅ １ Ｍｅｓｓａｇｅ ｄｉａｌｏｇｕｅｓ ｄａｔａｂａｓｅ ｏｆ ｈｕｍａｎ⁃ｒｏｂｏｔ ｉｎｔｅｒａｃｔｉｏｎ 人机对话消息类型 人机对话消息流向 人机对话消息格式 用户意愿—机器提示 ①③④—①③④、①③⑤—②③④ 用户向机器下达意愿命令，机器向用户发出相应提示信息。 机器请求—用户协助 ①③④—①③④、②③④—①③⑤ 机器向用户发出请求信息，用户给出相应的协助信息。 机器引导—用户确认 ①③④—①③④、②③④—①③⑤ 机器向用户发出引导信息，用户发出选择与确认信息。 机器自主—机器提示 ④—①③④、②③⑤—②③④ 机器自主执行任务，并向用户发出相应的提示信息。 ３．２ 人机条件响应生成规则 人机协作导航包括随机行走和自主导航 ２ 种运 动模式。 随机行走是指在不指定目标点情形下的人 机协作导航过程。 自主导航是指在指定目标点情形 下的机器人局部自主导航过程。 ２ 种运动模式既相 互独立，根据用户需要自由进行切换；又相互补充， 根据现实环境需求进行配合，取长补短。 表 ２ 为建立的人机条件响应生成规则库（４ 种 行走行为和 ５ 种判断规则见 １．３ 节）。 在随机行走 中，机器人在用户的意愿命令下随机行走，只有当特 定的条件成立时才停止运动，否则继续保持当前运 动状态。 在自主导航中，机器人依靠生物触角感知 外界环境，激励触发产生相应的行走行为来实现定 目标点自主导航。 整个导航过程中机器人通过人机 消息对话给用户以提示。 由生成规则 ７ 和 １７ 看出，用户根据自身需要自 由切换运动模式，充分满足用户在真实环境中自由 移动的需要。 随机行走模式适合工作在障碍物稀 ·５６４· 智 能 系 统 学 报 第 ９ 卷