面向老人迟滞性特征的可信情感计算

工程科学学报，第39卷.第10期：1591-1597,2017年10月 Chinese Journal of Engineering,Vol.39,No.10:1591-1597,October 2017 D0I:10.13374/j.issn2095-9389.2017.10.019;htp://journals.ustb.edu.cn 面向老人迟滞性特征的可信情感计算 韩晶)，解仑)区，贺苗)，王志良”，任福继2) 1)北京科技大学计算机与通信工程学院，北京1000832)合肥工业大学情感计算与先进智能机器安徽省重点实验室，合肥230009 区通信作者，E-mail:xielun@usth.edu.cm 摘要根据老人认知心理特征中的迟滞性特征，结合基于Gss认知重评的情感计算模型，考虑迟滞性特征对个体情感状 态转移的影响，在认知重评参数的基础上，建立迟滞性因子，对当前情感状态下的认知重评能力进行修正，从而对情感计算模 型进行有效的修正，使人机交互更加自然和谐.为了实现情感计算模型的可信，结合现场可编程门阵列硬件平台和高级加密 标准密码算法对情感计算模型中的老人情感信息进行加密处理，实现情感计算过程中的数据可信.采用可编程片上系统技 术在现场可编程门阵列芯片EP4CE115F29C7中搭建功能实现所需的所有硬件组件，结合硬件组件编写逻辑程序并实现高级 加密标准密码算法，在情感计算过程中实现数据的实时传输和安全处理，实现可信的情感计算.最后实验结果表明受到迟滞 性特征影响下的情感计算模型与老人的真实情感具有高度一致性，且可信计算有助于提升老人的正向情感状态 关键词情感计算：迟滞性：可信计算：认知重评：高级加密标准密码算法 分类号TP751.1 Trusted affective computing based on hysteresis characteristics of the elderly HAN Jing,XIE Lun,HE Miao),WANG Zhi-liang),REN Fu-ji) 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Affective Computing and Advanced Intelligent Machines Key Laboratory,Hefei University of Technology,Hefei 230009,China Corresponding author,E-mail:xielun@ustb.edu.cn ABSTRACT By using the hysteresis characteristics in the cognitive psychological characteristics of the elderly,combined with an af- fective computing model based on Gross cognitive reappraisal,this paper takes consideration of the influence of the hysteresis charac- teristics on individual emotional state transition.It then establishes a hysteresis factor,based on cognitive reappraisal parameters,to correct the cognitive reappraisal ability of current emotional states,then simulates and analyzes the revised affective computing model using MATLAB.This improves the hysteresis factor effectively and revises the affective computing model resulting in more natural and harmonious human-robot interaction.To achieve the trusted affective computing model,this paper combines an FPGA hardware plat- form with an AES cipher algorithm for elderly affective information encryption processing,to realize the data trust in the affective com- puting.In this study,all the hardware components were built in the FPGA chip EP4CE115F29C7 using SOPC technology,the logic program was wrote,and the AES cipher algorithm was implemented with combination of the hardware components,to realize real-time data transmission and security during the process of affective computing,and its trust was improved.Finally,the experimental results show that the affective computing model under hysteresis characteristics is highly consistent with true elderly emotion,and trusted com- puting encourages a positive emotional state in the elderly. KEY WORDS affective computing;hysteresis;trusted computing;cognitive reappraisal;AES cipher algorithm 近年来，智能服务机器人的应用领域正逐步从工的情感交互成为一个最关键的步骤).智能服务机器 业和家庭转向个人服务，其中智能服务机器人与用户人通过有效的人机情感交互，能够极大地提高用户的 收稿日期：2016-12-15 基金项目：国家自然科学基金面上资助项目(61672093)：国家自然科学基金重点资助项目(61432004)：国家重点研发计划重点专项课题资助 项目(2016YFB1001404)

工程科学学报,第 39 卷,第 10 期:1591鄄鄄1597,2017 年 10 月 Chinese Journal of Engineering, Vol. 39, No. 10: 1591鄄鄄1597, October 2017 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2017. 10. 019; http: / / journals. ustb. edu. cn 面向老人迟滞性特征的可信情感计算 韩 晶1) , 解 仑1) 苣 , 贺 苗1) , 王志良1) , 任福继2) 1) 北京科技大学计算机与通信工程学院, 北京 100083 2) 合肥工业大学情感计算与先进智能机器安徽省重点实验室, 合肥 230009 苣通信作者, E鄄mail: xielun@ ustb. edu. cn 摘 要 根据老人认知心理特征中的迟滞性特征,结合基于 Gross 认知重评的情感计算模型,考虑迟滞性特征对个体情感状 态转移的影响,在认知重评参数的基础上,建立迟滞性因子,对当前情感状态下的认知重评能力进行修正,从而对情感计算模 型进行有效的修正,使人机交互更加自然和谐. 为了实现情感计算模型的可信,结合现场可编程门阵列硬件平台和高级加密 标准密码算法对情感计算模型中的老人情感信息进行加密处理,实现情感计算过程中的数据可信. 采用可编程片上系统技 术在现场可编程门阵列芯片 EP4CE115F29C7 中搭建功能实现所需的所有硬件组件,结合硬件组件编写逻辑程序并实现高级 加密标准密码算法,在情感计算过程中实现数据的实时传输和安全处理,实现可信的情感计算. 最后实验结果表明受到迟滞 性特征影响下的情感计算模型与老人的真实情感具有高度一致性,且可信计算有助于提升老人的正向情感状态. 关键词 情感计算; 迟滞性; 可信计算; 认知重评; 高级加密标准密码算法 分类号 TP751郾 1 Trusted affective computing based on hysteresis characteristics of the elderly HAN Jing 1) , XIE Lun 1) 苣 , HE Miao 1) , WANG Zhi鄄liang 1) , REN Fu鄄ji 2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Affective Computing and Advanced Intelligent Machines Key Laboratory,Hefei University of Technology, Hefei 230009, China 苣 Corresponding author, E鄄mail: xielun@ ustb. edu. cn ABSTRACT By using the hysteresis characteristics in the cognitive psychological characteristics of the elderly, combined with an af鄄 fective computing model based on Gross cognitive reappraisal, this paper takes consideration of the influence of the hysteresis charac鄄 teristics on individual emotional state transition. It then establishes a hysteresis factor, based on cognitive reappraisal parameters, to correct the cognitive reappraisal ability of current emotional states, then simulates and analyzes the revised affective computing model using MATLAB. This improves the hysteresis factor effectively and revises the affective computing model resulting in more natural and harmonious human鄄robot interaction. To achieve the trusted affective computing model, this paper combines an FPGA hardware plat鄄 form with an AES cipher algorithm for elderly affective information encryption processing, to realize the data trust in the affective com鄄 puting. In this study, all the hardware components were built in the FPGA chip EP4CE115F29C7 using SOPC technology, the logic program was wrote, and the AES cipher algorithm was implemented with combination of the hardware components, to realize real鄄time data transmission and security during the process of affective computing, and its trust was improved. Finally, the experimental results show that the affective computing model under hysteresis characteristics is highly consistent with true elderly emotion, and trusted com鄄 puting encourages a positive emotional state in the elderly. KEY WORDS affective computing; hysteresis; trusted computing; cognitive reappraisal; AES cipher algorithm 收稿日期: 2016鄄鄄12鄄鄄15 基金项目: 国家自然科学基金面上资助项目(61672093);国家自然科学基金重点资助项目(61432004);国家重点研发计划重点专项课题资助 项目(2016YFB1001404) 近年来,智能服务机器人的应用领域正逐步从工 业和家庭转向个人服务,其中智能服务机器人与用户 的情感交互成为一个最关键的步骤[1] . 智能服务机器 人通过有效的人机情感交互,能够极大地提高用户的

·1592· 工程科学学报，第39卷，第10期 认知能力，影响用户的情感状态[].在人机交互过程 修正，在交互过程中为智能服务机器人提供情感决策、 中运用情感计算技术可有效帮助认知服务机器人理解 表达和反馈依据. 情感，使得交互过程更加顺畅和自然.认知服务机器 1.1情感的认知重评策略 人通过情感计算技术获取情感信息和数据)，并且通 在自然的情感交互中，情感的变化会同时受到一 过模型进行分析识别后作用于人机交互过程，将分析 系列外在与内在因素的影响，它是一个复杂的情感状 结果作为一种感性的理解为用户提供反馈使认知服务 态转移过程].并且，它不仅受到外界情感刺激和当 机器人具备情感识别和情感表达，有效改善人机交互 前情感状态的影响，还与个体自身的情感认知能力有 体验，增加人机交互过程的智能化.随着年龄的增长， 关.心理学家Goss开创性的提出了情感调节策略，情 老人的神经系统将会退化，认知能力也会迅速下降，甚 感的调节伴随着情感的产生，是一个涉及情绪的潜伏 至出现认知功能性的障碍，可能发展为认知等方面的 期、发生时间、持续时间、行为表达、心理体验、生理反 较为典型的精神疾患，从而严重影响老人的正常生 应等改变的动态过程.其中，Goss[)认知重评调节策 活).针对老人迟滞性特征的情感计算模型能够有效 略依据个体的认知能力来理解事件，改变情感体验从 的修正认知重评过程，进而改进情感计算模型，使得服 而使事情合理化，是情感调节过程的关键. 务机器人的情感状态的变化过程能与老人实际的情感 个体的认知重评能力受到来自个性特征、周围环 状态变化保持同步性，从而保证人机交互过程的自然 境、情感类型等多种因素的影响[o).Goss认知重评策 和谐.信息技术的飞速发展使得人们面临着日益严重 略是指个体对于事件情感方面的理解，具有调节个体 的安全问题，在用户与服务机器人进行情感交互的过 情感的作用.在情感的推理阶段，它会改变（减弱或增 程中，采用迟滞性特征修正后的情感计算模型，使得人 强)原本即将被触发的情感，甚至可能会改变情感的 机交互更加和谐自然，但是快速更新的信息资源使得 性质产生情感状态的转移.目前，NEO-PI-R人格量 个人隐私、信息面临着日益严重的安全问题，从而影响 表在机器人的情感状态的研究中得到了广泛的关 着用户与智能机器人的关系，用户甚至不愿意或拒绝 注].本文利用该量表分析个体的人格五因素，得到 与智能机器人进行情感交互).因此为了保证服务机 的第i种人格的评估值在总评估值中所占的比例为c: 器人可信的情感模型，通过对用户的情感信息进行有 ∈[0,1]，i∈[1,5]).受到外界情感刺激时，来自性 效的加密处理，可以促进用户积极地参与智能服务机 格特征的认知重评参数值α与个体认知重评能力？呈 器人的人机情感交互. 正相关，因此我们设定认知重评策略的表达式为： 考虑到智能机器人的可信情感计算，目前密码学 3 是信息安全的核心技术，其中的分组密码算法既能实 arctan (1) 现用户情感信息的机密性和安全性，同时还能保障信 息的完整性[]，所以通过采用分组密码算法对用户情 个体情感状态空间为Q={Q,Q2,…,Q.},n是 感信息进行安全处理可以有效实现可信的情感计算模 情感状态的种类.在认知重评的作用下，情感会相互 型，但是智能机器人采用何种分组密码算法进行安全 作用并产生转移，形成情感状态转移网络.为了描述 处理是提高可信计算的基础.目前，大多数密码算法 这一过程，本文采用HMM模型模拟情感状态之间的 是仅仅通过软件编程来实现，实现方便，操作简单，但 这种关系，并依据转移概率矩阵B=[b]。x实现智能 是快速提升的网络传输速度，对算法执行速度的要求 机器人对老人情感状态的推理和理解].转移矩阵 也越来越高，然而仅仅靠软件实现密码算法得到的性 中第i种情感向第j种情感的转移概率b受到认知重 能远远不足以满足.因此，怎样通过软件与硬件两种 评影响的函数为b:=G(b,T),k∈[1,3]，其中函数 方式的结合，来实现完成密码算法，进一步使情感计算 G,依赖于外界刺激和情感类型（正向情感，中性情感 模型获得更高的性能、执行速度、扩展性和物理安全 性，成为实现可信的情感计算模型的关键问题。 和负向情感)的变化而改变，且满足三%=1 1针对老人迟滞性特征的情感计算模型 1.2情感的迟滞性分析 情感状态调节过程是一个动态过程，情感状态会 智能服务机器人通过人机情感交互获得情感信息 受到环境、性格、认可度等影响，并会随之发生变化 与数据，通过建模对情感信息进行分析与识别，对分析 在交互过程中，受到外界的刺激后个体将会对刺激进 结果进行推理达到感性的理解，将理解结果通过合理 行不断的认知重评.但是由于老人年龄的增长，认知 的方式表达出去也就完成了情感交流的全过程].其 能力的下降，导致思维、反应等的迟滞，直接影响老人 中，机器人情感推理和理解是情感状态不断转移的过 情感状态的转移变化.但是个体在认知重评时，没有 程，对输入刺激的逐步分析，使得情感状态实现转移和 考虑到老人的迟滞性特征，导致情感计算结果与真实

工程科学学报,第 39 卷,第 10 期 认知能力,影响用户的情感状态[2] . 在人机交互过程 中运用情感计算技术可有效帮助认知服务机器人理解 情感,使得交互过程更加顺畅和自然. 认知服务机器 人通过情感计算技术获取情感信息和数据[3] ,并且通 过模型进行分析识别后作用于人机交互过程,将分析 结果作为一种感性的理解为用户提供反馈使认知服务 机器人具备情感识别和情感表达,有效改善人机交互 体验,增加人机交互过程的智能化. 随着年龄的增长, 老人的神经系统将会退化,认知能力也会迅速下降,甚 至出现认知功能性的障碍,可能发展为认知等方面的 较为典型的精神疾患,从而严重影响老人的正常生 活[4] . 针对老人迟滞性特征的情感计算模型能够有效 的修正认知重评过程,进而改进情感计算模型,使得服 务机器人的情感状态的变化过程能与老人实际的情感 状态变化保持同步性,从而保证人机交互过程的自然 和谐. 信息技术的飞速发展使得人们面临着日益严重 的安全问题,在用户与服务机器人进行情感交互的过 程中,采用迟滞性特征修正后的情感计算模型,使得人 机交互更加和谐自然,但是快速更新的信息资源使得 个人隐私、信息面临着日益严重的安全问题,从而影响 着用户与智能机器人的关系,用户甚至不愿意或拒绝 与智能机器人进行情感交互[5] . 因此为了保证服务机 器人可信的情感模型,通过对用户的情感信息进行有 效的加密处理,可以促进用户积极地参与智能服务机 器人的人机情感交互. 考虑到智能机器人的可信情感计算,目前密码学 是信息安全的核心技术,其中的分组密码算法既能实 现用户情感信息的机密性和安全性,同时还能保障信 息的完整性[6] ,所以通过采用分组密码算法对用户情 感信息进行安全处理可以有效实现可信的情感计算模 型,但是智能机器人采用何种分组密码算法进行安全 处理是提高可信计算的基础. 目前,大多数密码算法 是仅仅通过软件编程来实现,实现方便,操作简单,但 是快速提升的网络传输速度,对算法执行速度的要求 也越来越高,然而仅仅靠软件实现密码算法得到的性 能远远不足以满足. 因此,怎样通过软件与硬件两种 方式的结合,来实现完成密码算法,进一步使情感计算 模型获得更高的性能、执行速度、扩展性和物理安全 性,成为实现可信的情感计算模型的关键问题. 1 针对老人迟滞性特征的情感计算模型 智能服务机器人通过人机情感交互获得情感信息 与数据,通过建模对情感信息进行分析与识别,对分析 结果进行推理达到感性的理解,将理解结果通过合理 的方式表达出去也就完成了情感交流的全过程[7] . 其 中,机器人情感推理和理解是情感状态不断转移的过 程,对输入刺激的逐步分析,使得情感状态实现转移和 修正,在交互过程中为智能服务机器人提供情感决策、 表达和反馈依据. 1郾 1 情感的认知重评策略 在自然的情感交互中,情感的变化会同时受到一 系列外在与内在因素的影响,它是一个复杂的情感状 态转移过程[8] . 并且,它不仅受到外界情感刺激和当 前情感状态的影响,还与个体自身的情感认知能力有 关. 心理学家 Gross 开创性的提出了情感调节策略,情 感的调节伴随着情感的产生,是一个涉及情绪的潜伏 期、发生时间、持续时间、行为表达、心理体验、生理反 应等改变的动态过程. 其中,Gross [9] 认知重评调节策 略依据个体的认知能力来理解事件,改变情感体验从 而使事情合理化,是情感调节过程的关键. 个体的认知重评能力受到来自个性特征、周围环 境、情感类型等多种因素的影响[10] . Gross 认知重评策 略是指个体对于事件情感方面的理解,具有调节个体 情感的作用. 在情感的推理阶段,它会改变(减弱或增 强)原本即将被触发的情感,甚至可能会改变情感的 性质产生情感状态的转移. 目前,NEO鄄鄄 PI鄄鄄 R 人格量 表在机器人的情感状态的研究中得到了广泛的关 注[11] . 本文利用该量表分析个体的人格五因素,得到 的第 i 种人格的评估值在总评估值中所占的比例为 ci 沂[0,1],i沂[1,5] [12] . 受到外界情感刺激时,来自性 格特征的认知重评参数值 琢 与个体认知重评能力 子 呈 正相关,因此我们设定认知重评策略的表达式为: 子 = 3 2仔 æ è çç arctan 3 | 琢 | 移 5 i = 1 c ö ø ÷÷ i . (1) 个体情感状态空间为 Q = {Q1 ,Q2 ,…,Qn }, n 是 情感状态的种类. 在认知重评的作用下,情感会相互 作用并产生转移,形成情感状态转移网络. 为了描述 这一过程,本文采用 HMM 模型模拟情感状态之间的 这种关系,并依据转移概率矩阵 B = [bij] n 伊 n实现智能 机器人对老人情感状态的推理和理解[13] . 转移矩阵 中第 i 种情感向第 j 种情感的转移概率 bij受到认知重 评影响的函数为 b忆ij = Gk ( bij,子),k沂[1,3],其中函数 Gk 依赖于外界刺激和情感类型(正向情感,中性情感 和负向情感)的变化而改变,且满足 移 n j = 1 b忆ij = 1. 1郾 2 情感的迟滞性分析 情感状态调节过程是一个动态过程,情感状态会 受到环境、性格、认可度等影响,并会随之发生变化. 在交互过程中,受到外界的刺激后个体将会对刺激进 行不断的认知重评. 但是由于老人年龄的增长,认知 能力的下降,导致思维、反应等的迟滞,直接影响老人 情感状态的转移变化. 但是个体在认知重评时,没有 考虑到老人的迟滞性特征,导致情感计算结果与真实 ·1592·

韩晶等：面向老人迟滞性特征的可信情感计算 ·1593· 的情感状态产生较大偏差. 的存在与否将会影响着最终的结果].情感计算模 个体在接受到外界刺激的过程中不断地进行认知 型中，老人情感信息是作为情感刺激，参与到情感计算 重评，然而在针对老人时，需要充分考虑老人的迟滞性 中，获得下一个时刻的情感状态，实现人机情感交互. 特征，使得情感状态转移符合老人的情感变化趋势. 然而老人考虑到自身的情感信息等隐私的安全，不可 本文通过引入迟滞性因子来修正机器人的认知重评能 避免地会给情感交互带阻碍.网络安全技术的发展增 力.考虑到随着时间的增加，最初交互的情感状态对 强了可信情感交互的可行性，然而仅仅依靠软件实现 个体的影响呈逐渐衰退趋势，因此我们在分析迟滞性 的可信加密方式会消耗较多的时长，使得服务机器人 的过程中选择性地将影响较小的时刻过滤掉，保障认 对于用户的反应变得迟缓，影响老人的交互体验.基 知计算准确性的同时减少算法迭代次数，尽可能提升 于此，我们结合现场可编程门阵列(field programmable 机器人情感交互性能.那么当时间T=k时迟滞性因 gate arrays,FPGA)采用可编程片上系统(SOPC)设计 子Y.可表示为： 技术建立数据传输方式获得老人实时情感数据，并通 n=exI (2) 过高级加密标准(advanced encryption standard,.AES) 算法对其进行安全处理，防止老人情感信息泄露，增强 其中，ε为T=k时刻时的情感刺激强度，t为当前时 了人机交互的可信度.如图1所示为可信情感计算实 刻.设定阈值δ，若IyI≥6则为有效值，若1y,I<8则 现的整体结构图，主要包含两个部分，一个是可编程片 忽略该时刻下的认知重评能力.修正后：时刻下情感 上系统的设计和实现，这个部分是整个可信交互实现 的认知重评能力a{将由前1-1个情感认知重评和当 的关键：另一部分是对可编程片上系统的输入输出端 前时刻情感认知重评α，共同决定，最终得到t时刻情 口的定义声明，建立同步动态随机存储器锁相环 感状态下的认知重评能力为： (SDRAM PLL)和连接Modelsim仿真器，这种软硬结合 a;= 言a (3) 的方式实现了算法性能和物理安全性的提升. 现场可编程门阵列具有可编程、高集成度、高速和 其中，Y。表示T=k时刻下的迟滞性因子，只影响认知 高可靠性的优点，在需要大数据吞吐量、数据并行运算 重评的大小，并不改变其正负.由此可知，修正后1时 等高性能应用中具有明显的优势[6]，我们在现场可 刻时机器人的认知重评表达式？，为 编程门阵列开发板上搭建基于NiosⅡ的SOPC系统实 T- arctan 时地接收用户数据、加解密密钥和标识信号以及发送 加解密处理后的数据.其中，数据是通过USB口进行 传输，所以采用Verilog HDL自定义USB芯片组件 cy7c67200,选择所需CPU和外设，搭建核心处理器块、 -arctan (4) 逻辑功能块和接口块，核心器件及其具体功能如表1 所示. 上式中，c∈[0,1]表示第i种人格在人格五因素的评 软件设计中，通过读写指令对硬件模块中的各组 估值中的比重值，由1.1部分可知 件进行初始化以及系统复位，并对预定的数据传输通 道的参数进行配置和使能，建立数据传输通道，从而能 2可信情感计算 够实时的接收和发送数据.从数据接收地址读取数 在情感交互过程中，信任是一个重要的元素，信任 据，通过数据解析获得用户数据、密钥和加解密标识并 SOPC系统 硬件模块 软件模块 输入输出端口 硬件初始化 数据解析 定义声明 接口块 参数配置 SDRAM PLL 核心处理器块 NiosⅡ 接收 加/解密 CPU 标识？ 数据 A Y001 0x02 AES加密 AES解密 Modelsim仿真 逻辑功能块 发送数据 图1认知服务机器人可信交互的整体框架图 Fig.1 Overall framework of cognitive service robot trusted interaction

韩 晶等: 面向老人迟滞性特征的可信情感计算 的情感状态产生较大偏差. 个体在接受到外界刺激的过程中不断地进行认知 重评,然而在针对老人时,需要充分考虑老人的迟滞性 特征,使得情感状态转移符合老人的情感变化趋势. 本文通过引入迟滞性因子来修正机器人的认知重评能 力. 考虑到随着时间的增加,最初交互的情感状态对 个体的影响呈逐渐衰退趋势,因此我们在分析迟滞性 的过程中选择性地将影响较小的时刻过滤掉,保障认 知计算准确性的同时减少算法迭代次数,尽可能提升 机器人情感交互性能. 那么当时间 T = k 时迟滞性因 子 酌k 可表示为: 酌k = 着 伊 1 k 伊 e - 着| k - t | . (2) 其中,着 为 T = k 时刻时的情感刺激强度,t 为当前时 刻. 设定阈值 啄,若| 酌k | 逸啄 则为有效值,若 | 酌k | < 啄 则 忽略该时刻下的认知重评能力. 修正后 t 时刻下情感 的认知重评能力 琢忆t 将由前 t - 1 个情感认知重评和当 前时刻情感认知重评 琢t 共同决定,最终得到 t 时刻情 感状态下的认知重评能力为: 琢忆t = 移 t-1 k = 1 酌k琢k + 琢t . (3) 其中,酌k 表示 T = k 时刻下的迟滞性因子,只影响认知 重评的大小,并不改变其正负. 由此可知,修正后 t 时 刻时机器人的认知重评表达式 子t 为 子t = 3 2仔 æ è çç arctan 3 琢忆t 移 5 i = 1 c ö ø ÷÷ i = 3 2仔 æ è çç arctan 3 移 t-1 k且| 酌k | 逸啄 酌k琢k + 琢t 移 5 i = 1 c ö ø ÷÷ i . (4) 图 1 认知服务机器人可信交互的整体框架图 Fig. 1 Overall framework of cognitive service robot trusted interaction 上式中,ci沂[0,1]表示第 i 种人格在人格五因素的评 估值中的比重值,由 1郾 1 部分可知. 2 可信情感计算 在情感交互过程中,信任是一个重要的元素,信任 的存在与否将会影响着最终的结果[14] . 情感计算模 型中,老人情感信息是作为情感刺激,参与到情感计算 中,获得下一个时刻的情感状态,实现人机情感交互. 然而老人考虑到自身的情感信息等隐私的安全,不可 避免地会给情感交互带阻碍. 网络安全技术的发展增 强了可信情感交互的可行性,然而仅仅依靠软件实现 的可信加密方式会消耗较多的时长,使得服务机器人 对于用户的反应变得迟缓,影响老人的交互体验. 基 于此,我们结合现场可编程门阵列( field programmable gate arrays,FPGA) 采用可编程片上系统( SOPC) 设计 技术建立数据传输方式获得老人实时情感数据,并通 过高级加密标准 ( advanced encryption standard, AES) 算法对其进行安全处理,防止老人情感信息泄露,增强 了人机交互的可信度. 如图 1 所示为可信情感计算实 现的整体结构图,主要包含两个部分,一个是可编程片 上系统的设计和实现,这个部分是整个可信交互实现 的关键;另一部分是对可编程片上系统的输入输出端 口的定 义 声 明, 建 立 同 步 动 态 随 机 存 储 器 锁 相 环 (SDRAM PLL)和连接 Modelsim 仿真器,这种软硬结合 的方式实现了算法性能和物理安全性的提升. 现场可编程门阵列具有可编程、高集成度、高速和 高可靠性的优点,在需要大数据吞吐量、数据并行运算 等高性能应用中具有明显的优势[15鄄鄄16] ,我们在现场可 编程门阵列开发板上搭建基于 Nios II 的 SOPC 系统实 时地接收用户数据、加解密密钥和标识信号以及发送 加解密处理后的数据. 其中,数据是通过 USB 口进行 传输,所以采用 Verilog HDL 自定义 USB 芯片组件 cy7c67200,选择所需 CPU 和外设,搭建核心处理器块、 逻辑功能块和接口块,核心器件及其具体功能如表 1 所示. 软件设计中,通过读写指令对硬件模块中的各组 件进行初始化以及系统复位,并对预定的数据传输通 道的参数进行配置和使能,建立数据传输通道,从而能 够实时的接收和发送数据. 从数据接收地址读取数 据,通过数据解析获得用户数据、密钥和加解密标识并 ·1593·

·1594· 工程科学学报，第39卷，第10期 表1可编程片上系统各组件功能表 密钥 Table 1 Component functions in the SOPC system (128位) 组件 功能 密钥扩展 明文 明文 作为嵌入式处理器，用于处理整个模块的指 CPU (128位) (128位) 令和数据 上 第10轮 通过异步先进先出来实现CPU时钟信号和 桥接器 轮密钥加 10.3引 轮密钥加 其他组件时钟信号之间的时钟逻辑 JTAG_UART 下载of硬件配置文件和f软件配置文件 第1轮7 逆向字节替换 字节楷换 SDRAM 存放输入输出数据 作为自定义组件，用于接收和发送USB接口 逆向行移位 cy7c67200组件 行移位 的数据 第9轮 列混合 逆向列混合 进行对应的加密或解密操作，将处理后的数据写人到 数据发送地址中，从而不间断的对数据进行安全循环 轮密钥加 4.7刀 轮密钥加 处理（如图2所示）.其中，由于高级加密标准算法在 实现上能够兼顾软硬件平台，并且在分析中能够有效 逆向字节替换 的抵抗差分与线性分析]，因此本文采用该算法对老 第9轮 字节替换 逆向行移位 人情感交互信息进行加/解密保护.高级加密标准算 法的分组长度为128位，采用代换-置换网络(substitu- 行移位 tion-permutation network,SPN)结构，密钥长度有l28 第1轮 位、192位和256位三个版本，对应的轮数分别为10 列混合 逆向列混合 Y 轮、12轮和14轮.在情感计算过程中选用高级加密标 轮密钥加 M36,39] 轮密钥加 准算法明文、密文和密钥都为128位，所以每次加解密 4 循环10轮.首先通过将初始密钥进行密钥扩展，生成 第10轮 行移位 逆向字节替换 11组子密钥参与每轮加解密过程中的“轮密钥加” 气 每轮加密过程中，首先将128位的用户数据构造成一 逆向行移位 字节替换 本 个4×4的状态矩阵(16进制)，如下图所示流程进行 操作，具体流程如图3所示1] 轮密朝加 40.431 轮密钥加 密文 密文 读取地址 (128位) (128位) 芯片cy7c67200初始化 ep2_receive_buf_address 中数据 图3高级加密标准加解密过程 文 Fig.3 AES encryption process 系统复位 数据解析获得用户数据、 密钥和加解密标识 ◆ 讶”，作为中性情感，Q,和Q分别表示负向情感中的 初始化设备状态 “生气”和“沮丧”.对应的由其他情感状态到这五种 DEVICE_STATUS AES加解密 情感状态的转移概率记作：ba、b2babu和bs·并且满 使能和配置传输参数 将安全模块处理后的数据写人 TRANSFER_FRAME 到epl send buf address 约束条件立4，=1.。本文设立两种情感刺激事 为奖励事件和惩罚事件，并采用Matlab软件分析老人 图2可编程片上系统的软件设计 迟滞性影响下的情感状态转移过程，获得仿真结果如 Fig.2 Software design of the SOPC system 图4和图5所示.图中横坐标为认知重评参数∈[- 3仿真分析 10,10],纵坐标为情感转移概率b,∈[0,1]，虚线表示 不受迟滞性影响的情感转移概率，实线表示受到迟滞 本文选取了Ekman基本情感状态中的“生气”、 性影响的情感转移概率 “惊讶”、“沮丧”和“高兴”.为了加强实验结果的对比 由以上两图可知，当刺激事件为奖励时，未引入迟 分析，引入一个正向情感“愉悦”，从而组成个体的基 滞性时高兴的转移概率从0.23上升到0.45，而引入后 本情感空间为Q={Q,Q2,Q,Q,Q},其中Q和Q2 的转移概率从0.24上升到0.41，变化幅度从0.22下 分别表示正向情感中的“高兴”和“愉悦”，Q表示“惊 降到0.17；同样地，愉悦的情感转移概率变化幅度从

工程科学学报,第 39 卷,第 10 期 表 1 可编程片上系统各组件功能表 Table 1 Component functions in the SOPC system 组件 功能 CPU 作为嵌入式处理器,用于处理整个模块的指 令和数据 桥接器 通过异步先进先出来实现 CPU 时钟信号和 其他组件时钟信号之间的时钟逻辑 JTAG_UART 下载 sof 硬件配置文件和 elf 软件配置文件 SDRAM 存放输入输出数据 cy7c67200 组件 作为自定义组件,用于接收和发送 USB 接口 的数据 进行对应的加密或解密操作,将处理后的数据写入到 数据发送地址中,从而不间断的对数据进行安全循环 处理(如图 2 所示). 其中,由于高级加密标准算法在 实现上能够兼顾软硬件平台,并且在分析中能够有效 的抵抗差分与线性分析[17] ,因此本文采用该算法对老 人情感交互信息进行加/ 解密保护. 高级加密标准算 法的分组长度为 128 位,采用代换鄄鄄置换网络(substitu鄄 tion鄄鄄 permutation network, SPN) 结构,密钥长度有 128 位、192 位和 256 位三个版本,对应的轮数分别为 10 轮、12 轮和 14 轮. 在情感计算过程中选用高级加密标 准算法明文、密文和密钥都为 128 位,所以每次加解密 循环 10 轮. 首先通过将初始密钥进行密钥扩展,生成 11 组子密钥参与每轮加解密过程中的“轮密钥加冶. 每轮加密过程中,首先将 128 位的用户数据构造成一 个 4 伊 4 的状态矩阵(16 进制),如下图所示流程进行 操作,具体流程如图 3 所示[18] . 图 2 可编程片上系统的软件设计 Fig. 2 Software design of the SOPC system 3 仿真分析 本文选取了 Ekman 基本情感状态中的“ 生气冶、 “惊讶冶、“沮丧冶和“高兴冶. 为了加强实验结果的对比 分析,引入一个正向情感“愉悦冶,从而组成个体的基 本情感空间为 Q = {Q1 ,Q2 ,Q3 ,Q4 ,Q5 },其中 Q1 和 Q2 分别表示正向情感中的“高兴冶和“愉悦冶,Q3 表示“惊 图 3 高级加密标准加解密过程 Fig. 3 AES encryption process 讶冶,作为中性情感,Q4 和 Q5 分别表示负向情感中的 “生气冶和“沮丧冶. 对应的由其他情感状态到这五种 情感状态的转移概率记作:bi1 、bi2 、bi3 、bi4和 bi5 . 并且满 足约束条件 移 5 j = 1 bij = 1. 本文设立两种情感刺激事件 为奖励事件和惩罚事件,并采用 Matlab 软件分析老人 迟滞性影响下的情感状态转移过程,获得仿真结果如 图 4 和图 5 所示. 图中横坐标为认知重评参数 琢沂[ - 10,10],纵坐标为情感转移概率 bij沂[0,1],虚线表示 不受迟滞性影响的情感转移概率,实线表示受到迟滞 性影响的情感转移概率. 由以上两图可知,当刺激事件为奖励时,未引入迟 滞性时高兴的转移概率从0郾 23 上升到0郾 45,而引入后 的转移概率从 0郾 24 上升到 0郾 41,变化幅度从 0郾 22 下 降到 0郾 17;同样地,愉悦的情感转移概率变化幅度从 ·1594·

韩晶等：面向老人迟滞性特征的可信情感计算 ·1595· 0.50m 人的情感状态变化更加趋向于老人实际的情感状态变 一高兴 0.45 受到迟滑性影响的高兴 悦 化，有利于促进人机交互过程更加自然友好 0.40 受到迟滞性影响的愉悦 要实现可信的情感计算必须保证加解密过程的有 0.35 惊讶 0.30 受到迟滞性影响的惊讶 效性和准确性，因此首先通过Modelsim仿真器对高级 0.25 加密标准加解密进行仿真，验证加解密的正确性和时 到迟滞性影响的生气 序性能.采用文本输人的方式，分别输入明文、密钥和 0.15 组丧 受到迟滞性影响的沮丧 密文及密钥进行仿真，加密波形仿真图如图6所示 0.10 其中，可观察到的信号有明文输入text_in和密文 0.05 0X0 输出texl_out,密钥信号key,时钟信号ck,复位信号 -20246810 认知重评参数 rst,加密开始信号load和结束信号done.在加密过程 图4刺激为奖励时的情感转移概率变化趋势 中，当加密开始信号load为低电平时，开始进行加密 Fig.4 Emotional transition probability change trend for reward stimu- 处理和密钥扩展过程，两个过程同时进行，整个过程总 lus 共进行10轮处理，每轮处理都会有个输出，但是当且 仅当done为1时，表示l0轮加密完成，最后的text_out 0.50 0.45 变脊迟清性影响的高兴 为最终加密输出结果.图6中所示，最后输出的仿真 0.40 结果同本文中所提供的数据一致，并且整个加密时长 0.35 愉悦 受到迟滞性影响的喻悦 为微秒量级，可知在128位数据宽度的仿真测试中，确 保加密过程准确性的同时还提升了计算速度，增强了 0.25 惊讶 迟滞性影响的惊讶 02 自然人机交互的可行性.解密过程同理可知. 0.15 到迟滞性影响的生气 4实验验证 0.10 受到迟滞性影响的沮丧 0.05 为进一步验证本文所提方法的可行性和有效性. 00 6 -4-20246810 我们以智能服务机器人为情感计算模型的载体，通过 认知重评参数 触摸屏和语音作为交互方式，基于Android系统开发 图5刺激为惩罚时的情感转移概率变化趋势 了针对表情的认知心理测试.该测试设立了五组不同 Fig.5 Emotional transition probability change trend for punishment 类型的认知测试，包括：表情学习、表情测试、表情模 stimulus 仿、表情拼图及情景测试.实验过程中，我们邀请了 0.19下降到0.13，负向情感的转移概率变化幅度也都 100位测试者与智能服务机器人进行交互，并依次体 有相应的减小.在刺激事件为惩罚时，未引入迟滞性 验了机器人的五种测试，在数据库中形成有效数据. 时厌恶的转移概率从0.46下降到0.23，而引入后的转 测试者随机分配成四组，第一组与采用迟滞性因子修 移概率从0.45下降到0.28，变化幅度从0.23下降到 正后的可信情感计算模型的认知服务机器人进行交 0.17:生气的变化幅度从0.16减小到0.12.由数据可 互，进行认知训练，第二组与采用未修正的可信情感计 知，无论何种情感刺激，引入迟滞性之前情感转移概率 算模型的认知服务机器人进行交互，第三组与未实现 的变化更为明显，情感状态的波动更加剧烈：引入迟滞 可信、采用迟滞性因子修正后的情感计算模型的认知 性之后情感转移概率的变化趋势逐渐平缓，情感状态 服务机器人进行交互，第四组与未实现可信、采用未修 的波动也趋于缓和，仿真结果与上文中的分析一致. 正的情感计算模型的认知服务机器人进行交互.交互 通过迟滞性因子对认知重评能力进行修正，获得机器 过程中，每个测试者按照五组认知测试依次进行训练， ®0阁溪I1⑧号日重s目严？声产8产国达当：个日)xL0:Fa里口x1阳d Value 0800D000800600i0 n127 0021002100g000100100 1t01161110100i001 图6加密波形仿真图 Fig.6 Waveform simulation diagram of AES encryption

韩 晶等: 面向老人迟滞性特征的可信情感计算 图 4 刺激为奖励时的情感转移概率变化趋势 Fig. 4 Emotional transition probability change trend for reward stimu鄄 lus 图 5 刺激为惩罚时的情感转移概率变化趋势 Fig. 5 Emotional transition probability change trend for punishment stimulus 0郾 19 下降到 0郾 13,负向情感的转移概率变化幅度也都 图 6 加密波形仿真图 Fig. 6 Waveform simulation diagram of AES encryption 有相应的减小. 在刺激事件为惩罚时,未引入迟滞性 时厌恶的转移概率从0郾 46 下降到0郾 23,而引入后的转 移概率从 0郾 45 下降到 0郾 28,变化幅度从 0郾 23 下降到 0郾 17;生气的变化幅度从 0郾 16 减小到 0郾 12. 由数据可 知,无论何种情感刺激,引入迟滞性之前情感转移概率 的变化更为明显,情感状态的波动更加剧烈;引入迟滞 性之后情感转移概率的变化趋势逐渐平缓,情感状态 的波动也趋于缓和,仿真结果与上文中的分析一致. 通过迟滞性因子对认知重评能力进行修正,获得机器 人的情感状态变化更加趋向于老人实际的情感状态变 化,有利于促进人机交互过程更加自然友好. 要实现可信的情感计算必须保证加解密过程的有 效性和准确性,因此首先通过 Modelsim 仿真器对高级 加密标准加解密进行仿真,验证加解密的正确性和时 序性能. 采用文本输入的方式,分别输入明文、密钥和 密文及密钥进行仿真,加密波形仿真图如图 6 所示. 其中,可观察到的信号有明文输入 text_in 和密文 输出 text_out,密钥信号 key,时钟信号 clk,复位信号 rst,加密开始信号 load 和结束信号 done. 在加密过程 中,当加密开始信号 load 为低电平时,开始进行加密 处理和密钥扩展过程,两个过程同时进行,整个过程总 共进行 10 轮处理,每轮处理都会有个输出,但是当且 仅当 done 为 1 时,表示 10 轮加密完成,最后的 text_out 为最终加密输出结果. 图 6 中所示,最后输出的仿真 结果同本文中所提供的数据一致,并且整个加密时长 为微秒量级,可知在 128 位数据宽度的仿真测试中,确 保加密过程准确性的同时还提升了计算速度,增强了 自然人机交互的可行性. 解密过程同理可知. 4 实验验证 为进一步验证本文所提方法的可行性和有效性. 我们以智能服务机器人为情感计算模型的载体,通过 触摸屏和语音作为交互方式,基于 Android 系统开发 了针对表情的认知心理测试. 该测试设立了五组不同 类型的认知测试,包括:表情学习、表情测试、表情模 仿、表情拼图及情景测试. 实验过程中,我们邀请了 100 位测试者与智能服务机器人进行交互,并依次体 验了机器人的五种测试,在数据库中形成有效数据. 测试者随机分配成四组,第一组与采用迟滞性因子修 正后的可信情感计算模型的认知服务机器人进行交 互,进行认知训练,第二组与采用未修正的可信情感计 算模型的认知服务机器人进行交互,第三组与未实现 可信、采用迟滞性因子修正后的情感计算模型的认知 服务机器人进行交互,第四组与未实现可信、采用未修 正的情感计算模型的认知服务机器人进行交互. 交互 过程中,每个测试者按照五组认知测试依次进行训练, ·1595·