第5卷第4期 智能系统学报 Vol.5 No.4 2010年8月 CAAI Transactions on Intelligent Systems Aug.2010 doi:10.3969/j.issn.16734785.2010.04.002 情感决策的智能家居虚拟人路径规划 黄晓丹，王粉花，王志良 (北京科技大学信息工程学院，北京100083) 摘要：智能家居环境中的虚拟人，目前在智能性和行为规划的研究中还存在许多不足，针对这两方面问题，首先， 提出了认知过滤层的概念，并建立了虚拟人行为模型.在此基础上，对模型中的认知行为部分进行了深入研究，并利 用现有情感模型将情感智能与虚拟人行为规划相结合.由于路径规划是一种基本且重要的行为，针对智能家居环境 中多环形障碍物的特点，对路径规划算法进行了改进.最后，通过三维仿真对上述模型和算法加以实现.仿真结果表 明，虚拟人的行为具有一定的智能性，情感的加入也使得虚拟人更加人性化 关键词：智能虚拟人；情感决策；行为表达；路径规划；智能家居 中图分类号：TP391.9文献标识码：A文章编号：16734785(2010)040292-11 Using affective decision-making for the path planning of virtual humans in a smart home HUANG Xiao-dan,WANG Fen-hua,WANG Zhi-liang Department of Electronic Information Engineering,School of Information Engineering,University of Science and Technology Beijing, Beijing 100083,China) Abstract:For virtual humans in a smart home,there are still many problems that must be solved before levels of apparent intelligence and social behavior are acceptable.To promote solutions,a cognition filtering layer was pro- posed and a behavioral model for virtual humans was established.Then,further study on cognition was performed, with current emotion models employed to study both emotional intelligence and behavioral planning of virtual hu- mans.To deal with the many circular obstacles in a smart home,improvements to path planning were proposed.Fi- nally,a 3-D simulation was used to test the proposed model and algorithm.Results showed that the behavior of vir- tual humans seemed more intelligent,while the inclusion of emotion made the virtual humans seem more human- ized. Keywords:virtual intelligent human;affective decision;behavior expression;path planning;smart home 自20世纪80年代初期虚拟现实技术出现以 境的关系提供了新的途径]. 来，其相关领域的研究一直为科学界和工程界所关 虚拟人技术的研究主要集中在4个方面：几何 注山，其涉及领域广泛，包括军事、工业、医疗、娱乐 模型表示、运动控制、行为表达以及智能交互.其中， 等多个方面.应用该技术的行业许多都需要考虑参 前两方面研究起步较早451，目前技术已较为成熟。 与者的人身安全、人体行为的理解以及如何与环境 在外形及动作的逼真性得到满足之后，近年来人们 和谐相处的问题2]，因此，就需要对人类自身进行 开始关注于虚拟人的行为表达和智能交互方面的研 研究.三维虚拟人的出现使虚拟现实技术不再是单 究，希望虚拟人的内在也能像真人一般，能够独立思 一的场景模拟，同时也为研究人类自身以及人与环 考与交流.因此，对虚拟人行为和智能的研究成为目 前虚拟人研究的热点[6 收稿日期：2009-1224. 智能虚拟人是指采用人工智能的方法构建具有 基金项目：国家“863”计划资助项目(2007AA01Z160):国家自然科学 基金资助项目(60573059). 自主行为的虚拟人，它应该具有自我判断的能力，可 通信作者：黄晓丹.E-mail:hrd10243005@sina.com
第4期 黄晓丹，等：情感决策的智能家居虚拟人路径规划 ·293· 以在虚拟环境中根据环境的变化做出合适的决 人的行为，人的行为应该是认知和反射2部分行为 策8)].本文将情感引入到虚拟人的智能研究中，通 的结合].基于此观点，本文建立了如图1所示的 过情感对虚拟人的行为产生影响，从而使虚拟人具 虚拟人个体行为模型 有简单的情感决策能力和自主行为规划能力，即具 模型将行为分为了反射行为和认知行为2种 有一定程度上的智能 类型，分别对应反射行为机制和认知行为机制.2部 本文将智能虚拟人具体应用于虚拟智能家居环 分机制的具体实现将在后面小节中进一步阐述.研 境中.智能家居是近年来消费类电子产业发展的一 究表明，反射行为的过程主要是感知+行为；而认知 个新的分支.随着科技的发展与生活水平的提高，人 行为是感知→认知→行为的过程.因此，模型加入认 们开始越来越多地关注于自身生活的舒适度与便捷 知过滤层.2部分行为在接受外部（真实环境）或内 性，于是智能家居的概念成为热点9.智能家电产 部（虚拟环境）的输入时，都需要经过认知过滤层， 品能够帮助人们改善他们日常生活的质量，降低生 该层对反射行为不起任何作用，因此过滤值设为0； 活成本，并提高安全性1，因此，将智能虚拟人应用 而对认知行为起完全作用，因此过滤值设为1. 于虚拟智能家居环境具有广阔的前景， 表情动作快财表 有限软念机制 行为透释算法 1智能虚拟人行为表达系统 1.1虚拟人行为模型 智能来源于人类活动的各种行为，而各种智能 认过滤层 又控制着人们的活动，智能与行为是相辅相成 的，即行为可以产生智能，同时智能又能控制行 直实人的 表情识别 为.因此，虚拟人行为建模并不是单一地对行为进行 拟 环 研究，而是研究行为表达和智能交互之间的关系.简 单地说，行为建模主要研究的是行为选择机制，又称 行为决策机制 图1虚拟人行为模型 虚拟人行为控制方面的建模目前主要包括：个 Fig.1 Behavior model of virtual humam 体行为建模和群体行为建模.个体行为建模研究的 加入认知过滤层主要有2点原因：其一是希望 目标是建立一般性行为模型，但由于人类的行为的 将感知与认知绑定在一起.例如，假设人手被热水烫 复杂性，即使是针对特定应用目前也尚没有良好的 到，人们会条件反射地将手收回，但假如这个人正好 行为模型，建立通用型的行为模型还需要更多的时 受到重大刺激或正在专注于某一重要事情时，可能 间以及对心理学、行为学等多门学科的更深入的研 就不会立刻反应.所以，可以设定，普通情况下，过滤 究和综合.群体行为建模主要研究多虚拟人环境中 器对于条件反射的行为无作用；当发生重大事件，情 的，各虚拟人相互影响后而形成的群体行为，如聚 绪受到影响时，对于这部分行为启动过滤器.其二是 集、跟随等.本文主要研究有关个体行为建模的问 考虑到一些经常发生的认知行为可能逐步转变为反 题，提出了一种基于情感决策的虚拟人行为表达模 射行为，即常说的“经验”，那么认知过滤层的值就 型 会由1变为0.而在转变的过程中，行为则是以一定 智能行为模型包括基于认知模型与基于行为模 概率值表现为反射行为或以一定概率值表现为认知 型2大类2]，其中基于行为模型对应简单反射行 行为，这时认知过滤层的值就应该处于0~1之间， 为.一些学者认为纯粹采用反射系统不能完全模拟 对应此概率值.由于具体的转变过程需要深入涉及
·294 智能系统学报 第5卷 到行为学和认知科学等方面的知识，将在今后的研 果是在进行交谈，则虚拟人向智能家居网络系统请 究中继续探索 求获得当前用户的表情；之后网络会向表情识别设 1.2虚拟人系统的设计 备发出请求，并将得到的识别结果输人到虚拟人系 智能科学是由脑科学、认知科学、人工智能等综 统中.得到表情识别结果后，虚拟人系统将对照表情 合形成的交叉学科.情感是人类智能的重要组成部 映射表，确定虚拟人应当以什么表情加以回应，并将 分，它曾被人们误认为是人类智能的一个阻碍.近年 需要输出表情的参数传人Candide表情合成这一进 来，心理学家不断探索，发现情感在人类的认知和智 程.表情输出完成后，返回到初始步骤，继续判断是 能推理过程中都发挥着重要的作用.它赋予智能虚 否处于交谈模式：如果仍在交谈则不断输出表情；直 拟主体更加拟人化的思考和行为方式，是一种更高 到交谈结束即不满足处于交谈模式的条件时则该部 层次的智能的体现45).研究表明人脑的控制模式 分程序结束 是：感知觉+情感决定行为16.如图1所示的行为 1.2.2认知行为的实现 模型，本文主要研究情感在2类行为中的控制模式 虚拟人只有拥有认知能力才能够真正体现智 1.2.1反射行为的实现 能，因此本文对虚拟人行为模型的实现更加关注于 反射行为机制主要应用于智能家居环境中虚拟 认知行为部分.认知行为机制主要应用于智能家居 人与真实人交谈的情景.通常，在与一个熟识的人交 环境中用户希望独处的情景下.这时虚拟人就成为 谈时，会发现其针对某类事件可能会产生某种表情， 家庭用户的一个静默的陪伴者，在用户偶尔需要虚 这是人们在与人交互、适应社会生活中形成的反射 拟人执行一些功能时，其从视频显示设备上跳出；其 行为.当然，人类的情感与表情是复杂的，不是一成 余时间虚拟人只需按照自己的意愿去做喜欢的事情 不变的，但针对某类事件，人们通常都会产生近似的 就可以了，它可以通过学习来成长，通过睡觉补充体 某类情感.因此，本文针对家居环境建立了如表1所 力等等 示的真实人表情与虚拟人表情行为的简单映射表， 当前 当前 输出墟拟 情感 后 行为规 路径规划，人路径 即当表情识别设备分辨出真实环境中用户的表情 决策 时，将其输入到虚拟人系统，虚拟人就能相应地给出 表情.例如，当用户很高兴时，虚拟人能以微笑表情 图2认知行为模块设计图 作为回应 Fig.2 Cognition behavior module 表1表情行为映射表 Tablel Mapping table of facial expression 认知行为机制下，系统的实现主要包括如图2 真实人表情 虚拟人表情 所示的3个模块：情感决策模块、行为规划模块和路 高兴 微笑 径规划模块.当虚拟人受到外界刺激时，虚拟人的情 悲伤 难过 绪首先发生相应的变化，该部分由情感决策模块完 羞愧 愤怒 成情绪的改变可能导致行为的改变，因此行为规划 兴奋 惊奇 模块负责产生虚拟人的自主行为.行为的变化有时 愤怒 恐惧 伴随着空间位置的转移，这时就需要进行路径规划， 严肃 平静 该项功能由路径规划模块实现 虚拟人系统将课题组原有的基于Candide模型 初始情况下，系统首先给定一个刺激值和行为 的人脸表情合成程序集成进来，用于表情的生成.程 状态值，将其输入到情感决策模块，产生虚拟人下一 序运行时首先会判断虚拟人是否处于交谈模式.如 时刻的情感；将新的情感值和当前的行为状态输入
第4期 黄晓丹，等：情感决策的智能家居虚拟人路径规划 ·295· 到行为规划模块后，得到虚拟人下一时刻的行为状 计算模型，制造出具有初步基本的人类情感或能近 态：行为规划模块还根据当前行为和上一行为判断 似模拟人类的基本情感、能产生和谐与生动有趣的 是否要进人路径规划模块.如果进入路径规划模块， 人机交互环境的情感机器，需要做一些基本的假设 系统将首先进行路径的二维投影，因为在智能家居 和限定 的虚拟仿真环境中，地面较为平坦，虚拟人的行走基 如果用N表示基本情绪总数，i=1,2,…,N表示 本发生在二维平面中，二维路径规划完成后再将路 基本情绪序号，情绪状态可用下面的状态集合表示 径映射回三维虚拟空间中 S={S1,S2,…,Sw}={1,2,…,N}, 本文将在以下章节中依次介绍认知行为机制下 S=i(i=1,2,…,N) 的各个模块涉及的相关理论和算法， 假设1情感机器只具有人类的几种基本情绪 状态.本文中设定N=4, 2虚拟人情感决策 假设2在外界刺激的作用下，情感机器的任 情感能力是人类智能的重要标志，它在人的感知、 意2种情绪状态之间是可以互相转移的. 推理、决策、计划、创造以及社交等诸多活动中起着不 假设3某种刺激确定性地只引发某一种情 可或缺的作用.Gardner提出了多智能概念，指出个 绪，即刺激V:只引发情绪.各种刺激用V:表示，刺 人的智能作为特有的一种人类智能能够处理个人和他 激集合为 人的交往和情感.Damasio通过对人类的脑神经研究， V={V1,V2,…,VM}={1,2,…,M}, 指出缺少情感反应能力的人通常会作出不符合常理的 Vm=m(m=1,2,…,M) 决策，严重的制约了他的社交能力.Mayer和Salovey提 假设4各种基本情绪状态是互相排斥的.即 出了重要的“情感智能”这一概念，后来Goleman引用 刺激m=i应使情绪状态i的强度增加，而其他情绪 了这个概念并形成了目前公认的观点：情感是人类智 状态=i,j=1,2,…,N)的强度减少 能中一个重要的组成部分4 假设5情感状态的变化包括2个过程：心情 现有的较为常用的人工情感计算模型有：MT 状态自发转移和情绪状态刺激转移。 的Juan D.Velasquez提出的Cathexis模型、英国伯明 假设6境状态自发转移的趋势是：总是向着 翰大学的A.Sloman提出的CogAff模型、MT的C. 平静心境状态转移。 Breazeal设计的Kismet模型、Ortony等人提出的 2.2基于马尔可夫链的情感状态自发转移过程 0CC模型等，各种情感模型有各自的优缺点.本文 在情感状态概率空间的基础上，情绪状态自发 采用了课题组研究的情感模型. 转移过程的基本方程为 该模型包括情感状态自发转移和情感状态刺激 P=pA'. (1)》 转移2个过程8].前者是用来模拟人们受到刺激后 式中：P=[p…pw]为初始时刻情绪状态概率分 一段时间内恢复平静的过程，后者是用来模拟人们 布向量；P=[pip吃…Pw]为t时刻情绪状态概率分 受到刺激时情绪的变化.因此，2个过程在实际中是 布向量；A”为t阶情绪状态自发转移矩阵； 交叉产生的，而情感则是随2个过程不断变化的，是 A的极限概率分布为行”=[π1π2…π。].由 时间的连续函数 式imP=云可知，π'表示情绪状态自发转移过程 2.1情感模型的基本假设 最终处于稳定时的心情状态概率分布， 人类的情感是十分复杂的，要想使情感机器具 在式(1)中，P和元°是事先给定的，只要确定 有像人类一样丰富的情感及表现，目前还是十分困 了A,就可利用式(1)计算任意给定时刻的情绪状 难的.为简化问题，建立便于机器实现的情感度量与 态概率分布向量P,当t+时，有P+r‘
296. 智能系统学报 第5卷 可以按照文献[18]中的计算方法，当W=4时， 外界刺激可以用HMM模型中的观察值、观察 可得状态转移矩阵如下： 值矩阵、观察值序列来描述，观察值集合也就是刺激 0π1-3 1 1 集合为 0T Om OT V={V,V2,…,VM}={1,2,…,M, 1 0m2-3 1 Vn=m(m=1,2,…,M). 0m2 0m2 0m2 0m2 A= 令观察值矩阵也就是刺激矩阵为 1 1 0m3-3 1 0m3 0m3 0m3 B(m,i)MxN 0m3 Γb(1) b2(1) …bw(1) 1 1 1 0m4-3 0m4 OT 0m4 0m4 b1(2) b2(2) …bw(2) 式中：0=100，元*=[1/41/41/41/4] 实际生活中，真实人的情绪在刺激事件影响后， Lb1(M)b2(M)… b(M)- 情绪需要一个自发回落至平静，因此使用情绪状态 式中：B(Vn)=[b1(m)b2(m)…bx（m)], 自发转移过程主要是为了模仿虚拟人在多个情绪刺 (1≤m≤M)称为对应第m种情绪状态的刺激向量. 激间隔时间内，情绪自动恢复平静的过程， B(V)刺激向量B(V.)的各个分量的值可确定刺 2.3基于HMM情感状态刺激转移过程 激的类型.且应满足： 根据心理学理论，在有外界情感信息刺激的情 况下，情感状态主要体现在情绪的变化，而情绪的变 (m）=1,1≤i≤M, 化又受到多方面的影响，概括地说，主要由外界情感 信息的刺激（类型、强度）、当前心情状态以及情感 习(m）=1.1≤m≤0， (3) 性格3个因素共同作用而发生影响，可表示为入= 外界刺激矩阵的具体确定根据式(4)： (N,M,π，A,B).其中，N表示基本情绪总数，M表 6,0=,i=》且a≥b, 示刺激类型总数，π是HMM模型中的初始概率分 lb,(i≠j) 布，A为情绪状态刺激转移矩阵，B表示刺激矩阵， =分，(>1). A为情绪状态刺激转移矩阵，它的极限概率用 行表示.具体可由式(2)来确定， 式中：r称为刺激影响因子.由式(3)得： rL,-(N-1) 1 a+(N-1)b=1. 6 L L 由式(5)和式(6)联合解得： 1 L2-(N-1) r A L L L [a=N-1+r ,r>1 1 1 Lw-(N-1) b=N -1+r T防；-(N-1) 只要确定r,就完全可确定刺激矩阵{B(m,i)}MxN 皖 品 W.Wundt将感情分为3个维度，本文将情绪分 m-(N-1) 1 品； 为4个维度：愉快不愉快，兴奋沉静，疲劳松弛，确 0ig 信-不确信，同时假设虚拟人具有学习、睡觉、玩游戏 m8-(N-1) 3种行为，行为可以产生对应上述情绪的4种类型 防N 刺激，因此，N=4,M=4. (2) 本文中其他参数取为如下值：