第7卷第3期 智能系统学报 Vol.7 No.3 2012年6月 CAAI Transactions on Intelligent Systems Jun.2012 D0I:10.3969/i.issn.16734785.201110006 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120527.0848.001.html 基于认知模型的室内移动服务机器人 人机耦合协同作业机制 江济良12，屠大维2，张国栋2，赵其杰12 (1.上海大学机电工程与自动化学院，上海200072：2.上海大学上海市机械自动化及机器人重，点实验室，上海 200072)） 摘要：针对老年人和残疾人这类特殊用户群体与服务机器人构成的人机智能系统，提出了基于ACT-R(理性思维的 适应性控制)认知架构模型的室内移动服务机器人人机耦合协同作业机制.基于ACTR认知架构对人机一体化室内移 动服务机器人人机协同作业系统进行了总体设计，利用简单自然的人机效应通道，设计了基于ACTR认知架构的人机 耦合界面；通过人-机-环境空间感知耦合，提出并建立了室内移动服务机器人人机一体化协同决策作业机制.最后在室 内环境下进行移动服务机器人人机协同作业实验，系统安全高效地完成了作业任务，验证了该机制的有效性， 关键词：认知模型；ACTR认知架构；服务机器人；室内移动服务机器人；人机耦合；协同作业；人机一体化 中图分类号：TP242.6文献标志码：A文章编号：16734785(2012)03025108 A mechanism of human-robot coupling and collaborative operation for indoor mobile service robots based on a cognitive architecture model JIANG Jiliang2,TU Dawei,ZHANG Guodong'2,ZHAO Qijie2 (1.School of Mechatronic Engineering and Automation,Shanghai University,Shanghai 200072,China;2.Shanghai Key Laboratory of Manufacturing Automation and Robotics,Shanghai University,Shanghai 200072,China) Abstract:For developing a human-machine intelligent system consisting of mobile service robots and special users, such as the elderly and disabled,a mechanism of human-robot coupling and collaborative operation based on an a- daptive control of thought-rational (ACT-R)cognitive architecture model was put forward in this paper.A system of human-robot integration and collaborative operation for indoor mobile service robots was generally designed based on ACT-R cognitive architecture.A human-robot coupling intelligent interface was designed based on ACT-R cognitive architecture in this system through simple natural human-robot interaction modalities.An operation mechanism of human-robot integration and collaborative decision for indoor mobile service robots was proposed and established through human-robot-environment space perception coupling.Finally,an experiment of human-robot coupling and collaborative operation was conducted safely and efficiently in an indoor environment,thus verifying the feasibility of the mechanism. Keywords:cognitive architecture model;ACT-R cognitive architecture;service robot;indoor mobile service robot; human-robot coupling;collaborative operation;human-robot integration 随着社会人口老龄化，以及由于各种原因导致需求12].服务机器人是非结构化环境下为人类提 的大量肢残人士及运动、语障患者的出现，发展先进 供服务的集成多种高技术的智能系统，即具有一定 的助老助残服务机器人成为社会发展和进步的迫切 “智能”的自动化机械[3].但要发展具有完全自主行 为的智能机器人在当前及可预见的将来仍有一定的 收稿日期：2011-10-18.网络出版日期：201205-27. 困难41.20世纪90年代初，钱学森、戴汝为、路甬 基金项目：国家自然科学基金资助项目(51075252,6110117)：上海大学研 究生创新基金资助项目(SHUCX112205,SHUCX112209). 祥、陈鹰等专家学者从不同角度提出了“人机智 通信作者：屠大维.E-mail:tdwshu@staff.shm,ed.cm. 能”、“人机一体化智能系统”等概念的理论体系和
·252. 智能系统学报 第7卷 技术立论58).人机智能系统强调智能的“人”与智 善的感知运动模块是视觉和操作模块，例如看到一 能的“机器”共同感知、共同认知、共同决策、平等合 个房间，走了进来.记忆模块有2类，即说明性记忆 作，彼此执行自己最擅长的工作，实现人的智能与机 (declarative memory)模块和过程性记忆(procedural 器智能在决策层面融合，产生更高的智能形式.在那 memory)模块.说明性记忆也叫做陈述性知识，由事 以后的十几年，研究人员针对不同应用系统，寻求能 实陈述构成，如上面例子中关于房间的知识.过程性 发挥人类定性、判断、决策的智能，并与机器定量、计 记忆也叫过程性知识，是关于怎么做事情的知识，如 算、推理的智能相结合的人机一体化体系[91.例 上面例子中先走到房门位置，然后穿过房门，最后进 如，刘雁飞和吴朝晖基于ACT-R(adaptive control of 入房间的全过程.模式匹配是在知识库中搜索和缓 thought-rational)认知体系建立了符合真实驾驶认知 冲状态一致的生成规则，如果规则匹配则被模型触 行为的认知模型，并应用于车辆辅助驾驶系统[2]， 发.生成规则实质上是当条件满足时被激发的条件 AMANT等基于ACT-R认知行为架构，设计开发的 反射的触发规则，同一时间只有1个规则被触发，触 手机菜单人机交互模式极大地提高了交互效率)】 发结果修改缓冲状态从而改变系统的状态.缓冲是 对于行动不便的老人、肢残人士、运动和语障患 实现生成规则与其他基本模块交互的接口，缓冲的 者这些心智正常并具有基本认知行为能力的对象与 内容标识ACT-R目前的状态.ACT-R认知架构的认 服务机器人构成的人机智能系统，也需要设计一种 知过程实质上就是生成规则的不断触发 新的人机界面和工作机制.本文针对室内移动的助 本文从ACT-R认知架构模型及其实质出发，对 老助残服务机器人，提出了基于ACT-R认知架构的 移动服务机器人的人机一体化系统进行总体设计， 人机耦合协同作业机制，通过人机耦合，建立人机一 通过建立人机耦合协同作业平台，使人的智能和机 体化决策机制，实现在室内半结构化环境下人机协 器智能建立在共同的ACT-R认知架构下，达到人机 同路径规划、避障等功能， 协同决策的目的， 1ACT-R认知架构 2基于ACT-R的人机一体化系统 美国心理学家Anderson于1976年提出了ACT- 基于ACT-R认知架构的室内移动服务机器人 R(理性思维的适应性控制)认知架构模型，试图揭 的人机耦合协同作业系统如图2所示。 示人类组织知识、产生智能行为的思维运动规 ACT-R认知架构 律4，包括感知与注意力、学习和记忆、问题解决与 决策推理等.到目前为止，已发布多个ACT-R版本， 并实现了对不同系统操作平台的支持.ACT-R架构 移 主要有3种类型的部件组成：基本模块(modules)、 知模块 用户 环境作 缓冲(buffers)和模式匹配(pattern matcher),其工作 (老年人 残疾人 原理如图1所示， 人机效 患者等) 料合界 务 务 端 线 应通道 通信 端 执 感知模央 帘内环境 操作模块 块 缓 冲 图2移动服务机器人人机耦合协同作业系统 Fig.2 Human-robot coupling and collaborative opera- 过程性 陈述性 tion system for mobile service robot 知识 模式匹配 知识 该系统中人（用户）的行动不便，但具备基本的 认知能力，用户通过人机界面实现人与机器（计算 生成规则执行 机和机器人)之间的耦合，移动服务机器人处在室 内半结构化环境中，其环境特征为室内房间、走廊、 图1ACT-R认知架构 门窗等尺寸精确固定，室内家具、杂物等可以移动. Fig.1 ACT-R cognitive architecture 在ACT-R认知架构下用户通过人机效应通道与人 基本模块有感知运动模块（perceptual-motor 机耦合界面之间进行信息交互，人机耦合界面感知 modules)和记忆模块(memory modules)2种类型. 到人的意愿需求并将控制命令传达给移动服务机器 感知运动模块负责系统与外界的交互，ACT-R较完 人，机器人发挥局部自主智能执行对应的任务，同时
第3期 江济良，等：基于认知模型的室内移动服务机器人人机耦合协同作业机制 ·253· 将执行数据、作业环境等信息实时地反馈到人机耦 景中二维物体的轮廓及颜色、文字、符号等信息，又获 合界面，并能与人协同决策.人机耦合界面与移动服 得场景三维空间信息，两者在时间上同步，视场上重 务机器人之间的信息耦合通过基于C/S结构的无 合，且相互映射(mapping). 线通信来实现. CCD 2.1人机效应通道和人机耦合界面 对于老年人和残疾人这类特殊用户群体来说， 首先要解决人机效应通道问题，课题组面向助老、助 激光 残应用，研究开发了基于“视觉-眼动”、“听觉-语 雷达 音”等简单自然双向人机效应通道的人机交互装 置[5).其次，通过简单自然的人机效应通道，设计 了基于ACT-R认知架构的人机耦合智能界面，它主 图4移动服务机器人 要由横向排列的任务对话框和信息耦合界面组成。 Fig.4 Mobile service robot 任务对话框由一系列的任务列表组成，当用户通过 该移动机器人具有局部自主智能，一方面依赖 人机效应通道与人机耦合界面交互时，该任务对话 其内存中的室内固定环境电子地图，如走廊、门、墙 框可以进行智能展开和左右延伸并进行响应，自由 等的位置和尺寸；另一方面，利用其自身携带的传感 而充分地表达用户的意愿需求.信息耦合界面由简 器感知环境信息，特别是环境中的障碍物信息.移动 单自然的耦合窗口组成。 机器人局部自主路径导航和智能避障同样基于 此外，为降低老年人和残疾人这类特殊用户群 ACT-R认知架构，即系统采用以环境电子地图描述 体在交互过程中的负担，在人机界面设计上采用基 的固定信息为基础的陈述性知识和以传感器获得的 于ACT-R认知架构的主动引导、用户适应、机器学 场景信息为基础的过程性知识，通过缓冲，生成执行 习等智能模块.计算机（或机器人）在交互或执行任 规则，完成局部路径规划、避障等功能.执行规则是 务过程中遇到困难时，通过上下文提示、语义联想等 一系列特征匹配和预测控制算法19] 主动引导缺省信息，要求用户做出响应；针对不同用 户的行为特点和个性化参数，自适应修正系统参数， 3用户与机器人的空间环境耦合 提高系统可靠性；计算机（或机器人）通过不断学习 对室内移动机器人来说，用户与机器人在空间 获得新的陈述性知识和过程性知识.如图3所示. 环境耦合是实现人机协作导航进行避障的关键.利 用电子地图和左右电机编码器、GS、机载数字罗盘 用户 可以实现机器人在环境中的实时定位和姿态检测. (老人、残疾人、患者等 利用OpenGL三维动画技术构建移动服务机器人与 刀主机 室内环境的三维模型，当机器人在室内移动时同步 ACT-R 简单白然的人机双向效应通道 认知 翠 显示其在环境中的位置和姿态改变，将这一空间环 架构 户适应 动引导 境呈现在用户界面（见图5），实现用户与机器人在 交互界面 空间环境的耦合. 图3基于ACT-R的人机交互 Fig.3 Human-robot interaction based on ACT-R 2.2移动服务机器人 移动服务机器人安装了差动驱动的左右主动轮及 各种机载传感器，包括左右驱动电机编码器、LMS200 激光雷达、CCD、声呐、数字罗盘、GPS等.其中德国 SICK公司的MS2O0激光雷达在一个平面作水平扫描 获取该平面内场景的距离信息，笔者设计了一个摆动 机构使之俯仰摆动，成为三维激光雷达传感器，获取场 图5人机环境耦合 景三维图像(range image)[8,如图4所示.三维激光雷 Fig.5 Human-robot-environment coupling 达传感器与CCD传感器联合使用，使机器人既获得场 因此，必须不断地将移动服务机器人的执行数
254 智能系统学报 第7卷 据实时反馈到用户界面，并通过这些数据在人机耦 影响，执行数据的反馈和移动机器人三维模型的运 合界面实时驱动移动服务机器人三维模型的相应运 动均可看成是周期性的间歇过程.该系统控制器通 动.反过来也一样，当人机耦合界面中的移动服务机 过设置多个定时器操作保证了机器人三维模型与机 器人三维模型在用户的命令下发生运动时，实际环 器人实物之间的同步运动，并提出了位移闭环耦合 境中移动服务机器人也应该保持相应的同步运动. 控制策略.该策略下的这些执行数据实现实际移动 图6为移动机器人运动学分析，其左右主动轮 机器人的实时位移.在世界坐标系W下，假设机器 中心之间的距离为L,主动轮和从动轮之间的距离 人初始时刻的位姿为(xo,yo,),则时刻机器 为L,·图6中建立了2个坐标系W和P.W为世界 人的位姿(xyu,0)为： 坐标系{x。,0m,yn,P为机器人坐标系{xp,0p,yp}, 其中0，为机器人主动轮轴的中点，x,为主动轮轴线 =+线d, 方向，y。为机器人前进方向.在世界坐标系W下，机 器人的位姿为(x,y,0,),其中(，y,)为点0，在世 =yo+dt, 界坐标系W中的坐标，0。为坐标系P相对于世界坐 标系W的旋转角，称为机器人的航向角. 0n=0o+0,dt. (x.V) 左轮 石轮 式中：小小3，d为时刻反馈至人机 耦合界面的移动机器人实时位移，：=。+i× △t(i=0,1,…),△t为反馈的时间间隔.采用该耦 合控制策略便于移动服务机器人的运动耦合，从而 实现了移动服务机器人三维模型与实际移动服务机 从动轮 器人的同步运动， 4人机协同决策作业机制 图6移动机器人运动学分析 该系统采用人-机一体的技术路线，人与机器共 Fig.6 Kinematic analysis of the mobile service robot 同组成一个系统，人机共同感知、共同认知、共同决 对其左右主动轮进行运动分析，如图6所示.已 策、平等合作，彼此执行自己最擅长的工作；在充分 知左右轮的半径相同为R,设轮心01、0，的速度大小 发挥人的智能的基础上，适当地去开发机器的智能， 分别为V和V,由于轮子受非完整约束，其在地面 作无滑动的纯滚动，可得 旨在实现人的智能与机器智能在决策层面的融合， V=0R,V.=0R. (1) 以产生更高的智能形式.图7为基于ACT-R认知架 式中：0、0分别为左轮和右轮的角速度大小.由刚 构的移动服务机器人人机一体化决策模型.整个系 体的运动学知识得 统中，除了用户具有人的智能，人机耦合界面和机器 V,=(V+V,)/2, 人也具有基于ACT-R认知架构的智能， 0。=(V.-V)/La (2) 人机耦合界面主要由任务需求对话框和4个耦 在世界坐标系W中，0。点的速度V。为 合窗口组成，4个耦合窗口分别为CCD二维视频窗 V。=lVp|sin6。·xn+lV2lcos0。·ym:(3) 口、激光雷达三维图像窗口、人机-环境耦合三维模 式中：1V,为o。点的速度大小，由式(1)~(3)整理得 型窗口和环境几何地图窗口，如图8所示.视频窗口 Rsin0,/2 Rsine,/27 显示机器人前方视频图像：激光雷达三维图像窗口 Rcos0,/2 Rcos0,/2 01 (4) 显示三维激光雷达通过扫描获得的前方场景距离图 L0 R/L R/L 像；人机-环境耦合三维模型窗口显示与实际移动 式(4)为移动机器人的运动学模型，其中 服务机器人同步运动的三维作业模拟图像；环境几 何地图窗口显示室内环境电子地图.人机作业进程 中，在界面上就会产生虚实结合、多维、交互的人机 为输人变量 为输出变量.忽略通信延时的 耦合效果
第3期 江济良，等：基于认知模型的室内移动服务机器人人机耦合协同作业机制 255. 视觉模块 环境（作业对象） 操作模块 图9为移动服务机器人人机一体化决策协同作 业机制的原理图.用户通过“视觉眼动”、“听觉-语 移动服务机器人 音”等简单自然的人机效应通道与人机耦合界面进 ACT-R缓冲 行交互，人机耦合界面与机器人之间通过基于C/S 架构的无线通信实现信息耦合，机器人通过其操作 传 控制状 榄式匹配 控 陈述性知识 模块和感知模块与环境之间发生相互作用，用户和 器数据 生成规则 过程性知识 环境之间形成一条交互耦合通道，实现人机-环境 的空间耦合感知，以实现人机一体化决策。 人机耦合界面 移动服务机器人接收到用户的决策命令时，机 ACT-R缓冲 器人自身也进行决策，权衡用户决策的合理性和可 行性，如果合理可行，则执行用户的决策命令，否则 锵助信息 模式匹配 陈述性识 将机器决策的相关信息反馈到耦合界面供用户参 三 维维 何 生成规知 过程性识 考.机器人在执行任务过程中，当自身的局部智能遇 现模图地 频型像图意 到困难时，会通过消息发送器和消息对话框在人机 耦合界面上自主弹出消息，给予用户适当提示，请求 印户 老人、残疾人、患者等) 用户参与决策.表1列出了移动服务机器人人机协 同作业的条件响应生成规则.例如人机协同避障条 图7基于ACT-R的人机协同决策模型 件响应生成规则中，如果同时满足条件1)处于前 Fig.7 Human-robot decision model based on ACT-R 进、左转或右转运动状态；2)前方安全距离范围内 右延伸 检测到障碍物：3)机器智能有限不能避开这类障碍 左延伸当前位置 物，则触发人机协同避障进程，机器人在安全距离处 进后退停 左转右转原地原地 左转石转 停止运动，向人机界面发送消息“左转，右转？”，请 求用户参与避障决策.人机作业进程中，用户主要负 CCD二维 人-机-环境耦合 责定性判断和决策，例如转弯方向判断、目的地选择 视频窗口 三维模型窗口 等.移动服务机器人是作业任务的执行者，主要承担 定量计算和推理工作，它一方面将环境信息和相关 激光否达 环境几何 三维图像窗口 地图窗口 执行信息实时地反馈到人机耦合界面上，另一方面 运用陈述性知识和过程性知识，通过缓冲，生成规 则，发挥自主局部智能，例如转弯半径选择、自主避 图8 人机耦合界面设计 障等.用户和移动服务机器人通过人机协同决策和 Fig.8 Design of human-robot coupling interface 分工合作来完成复杂的作业任务 用户人机效应通道人机界面·无线通位机器人，执感知 环境（作业对象） 任务需求 控制命令 机器执彳 前进、左转、停止等 辅助信息 信息耦合 机器智 机器感知」 是否存在障碍物？ 能是否 消 消 白主 息 避障 Y自主避 对 发 处理？ 到闲难？ 话 N停止运动 是香存在多个房间达择： 策 用户参与决策 决策控制命令 Y执行决策命令 合理 左转、石转、房选择等 可行？ N保特当前状态 图9 人机一体化决策协同作业机制 Fig.9 Human-robot integrated and collaborative decision operation mechanism