【综述】人-AI交互 实现“以人为中心AI”理念的跨学科新领域

第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202012050 人一AI交互：实现“以人为中心AI”理念的跨学科新领域 许为，葛列众'，高在峰2 (1.浙江大学心理科学研究中心，浙江杭州310058：2.浙江大学心理与行为科学系，浙江杭州310058) 摘要：AI技术造福了人类，也给研发带来了挑战，如果开发不当，会伤害人类和社会。目前国内外还没有系 统的跨学科工作框架来有效地应对这些新挑战。为顺应学科发展的交叉趋势，中国国家自然科学基金委 2020年成立了交叉科学部。在这样的背景下，本文分析AI系统研发面临的新挑战，进一步阐述我们在2019年 提出的“以人为中心AI"(human-centered AI,HCAI)研发理念和设计目标。目前，HCAI研发理念在国外是AI界 的热门课题之一，为推动HCAI理念的落实，本文系统地提出了人-人工智能交互(human--AI interaction,HAII) 的跨学科新领域，定义了其目的、范围、研究和应用重点等。通过文献综述和分析，本文总结了国内外HⅡ研 究和应用的重点，提出了今后的主要研究方向。最后，针对今后HCAI理念和HAI领域的工作，提出了一系列 对策和建议。 关键词：人工智能；人-人工智能交互；自主化；以人为中心的人工智能：人机交互；人因工程；人AI系统交互： 以人为中心设计 中图分类号：TP3-05文献标志码：A文章编号：1673-4785(2021)04-0605-17 中文引用格式：许为，葛列众，高在峰.人-AI交互：实现“以人为中心AI”理念的跨学科新领域.智能系统学报，2021， 16(4):605-621. 英文引用格式：XU Wei,,GE Liezhong,.GAO Zaifeng.Human--Al interaction:An emerging interdisciplinary domain for enabling human-centered AIlJI.CAAI transactions on intelligent systems,2021,16(4):605-621. Human-AI interaction:An emerging interdisciplinary domain for enabling human-centered AI XU Wei,GE Liezhong',GAO Zaifeng? (1.Center for Psychological Sciences,Zhejiang University,Hangzhou 310058,China;2.Department of Psychology,Zhejiang Uni- versity,Hangzhou 310058,China) Abstract:The new characteristics of AI technology have brought new challenges to the research and development of AI systems.AI technology has benefited humans,but if improperly developed,it will harm humans.At present,there is no systematic interdisciplinary approach to effectively deal with these new challenges.This paper analyzes the new chal- lenges faced by AI systems and further elaborates the"Human-Centered AI"(HCAI)approach we proposed in 2019.In order to enable the implementation of the HCAI approach,we systematically propose an emerging interdisciplinary do- main of"Human-Al Interaction"(HAIl),and define the objective,methodology,and scope.Based on literature review and analyses,this paper summarizes the main areas of the HAII research and application as well as puts forward the fu- ture research agenda for HAIl.Finally,the paper provides strategic recommendations for future implementation of the HCAI approach and HAlI work. Keywords:artificial intelligence;human-artificial intelligence interaction;autonomy:human-centered artificial intelli- gence;human-computer interaction;human factors engineering;human-AI system interaction;human-centered design 人工智能(A)技术正在造福人类，但是，目前许多AI系统的研发主要遵循“以技术为中心” 的理念。研究表明不恰当的A技术开发导致 收稿日期：2020-12-28. 通信作者：许为.E-mail:xuweill@zju.edu.cn 了许多伤害人类的事故，AI事故数据库已经收集了

DOI: 10.11992/tis.202012050 人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 许为1 ，葛列众1 ，高在峰2 （1. 浙江大学 心理科学研究中心，浙江 杭州 310058; 2. 浙江大学 心理与行为科学系，浙江 杭州 310058） 摘 要：AI 技术造福了人类，也给研发带来了挑战，如果开发不当，会伤害人类和社会。目前国内外还没有系 统的跨学科工作框架来有效地应对这些新挑战。 为顺应学科发展的交叉趋势，中国国家自然科学基金委 2020 年成立了交叉科学部。在这样的背景下，本文分析 AI 系统研发面临的新挑战，进一步阐述我们在 2019 年 提出的“以人为中心 AI”（human-centered AI，HCAI）研发理念和设计目标。目前，HCAI 研发理念在国外是 AI 界 的热门课题之一，为推动 HCAI 理念的落实，本文系统地提出了人−人工智能交互（human-AI interaction，HAII） 的跨学科新领域，定义了其目的、范围、研究和应用重点等。通过文献综述和分析，本文总结了国内外 HAII 研 究和应用的重点，提出了今后的主要研究方向。最后，针对今后 HCAI 理念和 HAII 领域的工作，提出了一系列 对策和建议。 关键词：人工智能；人−人工智能交互；自主化；以人为中心的人工智能；人机交互；人因工程；人-AI 系统交互； 以人为中心设计 中图分类号：TP3-05 文献标志码：A 文章编号：1673−4785(2021)04−0605−17 中文引用格式：许为, 葛列众, 高在峰. 人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域[J]. 智能系统学报, 2021, 16(4): 605–621. 英文引用格式：XU Wei, GE Liezhong, GAO Zaifeng. Human-AI interaction: An emerging interdisciplinary domain for enabling human-centered AI[J]. CAAI transactions on intelligent systems, 2021, 16(4): 605–621. Human-AI interaction: An emerging interdisciplinary domain for enabling human-centered AI XU Wei1 ，GE Liezhong1 ，GAO Zaifeng2 (1. Center for Psychological Sciences, Zhejiang University, Hangzhou 310058, China; 2. Department of Psychology, Zhejiang Uni￾versity, Hangzhou 310058, China) Abstract: The new characteristics of AI technology have brought new challenges to the research and development of AI systems. AI technology has benefited humans, but if improperly developed, it will harm humans. At present, there is no systematic interdisciplinary approach to effectively deal with these new challenges. This paper analyzes the new chal￾lenges faced by AI systems and further elaborates the “Human-Centered AI” (HCAI) approach we proposed in 2019. In order to enable the implementation of the HCAI approach, we systematically propose an emerging interdisciplinary do￾main of “Human-AI Interaction” (HAII), and define the objective, methodology, and scope. Based on literature review and analyses, this paper summarizes the main areas of the HAII research and application as well as puts forward the fu￾ture research agenda for HAII. Finally, the paper provides strategic recommendations for future implementation of the HCAI approach and HAII work. Keywords: artificial intelligence; human-artificial intelligence interaction; autonomy; human-centered artificial intelli￾gence; human-computer interaction; human factors engineering; human-AI system interaction; human-centered design 人工智能 (AI) 技术正在造福人类，但是，目 前许多 AI 系统的研发主要遵循“以技术为中心” 的理念[1-5]。研究表明不恰当的 AI 技术开发导致 了许多伤害人类的事故，AI 事故数据库已经收集了 收稿日期：2020−12−28. 通信作者：许为. E-mail：xuwei11@zju.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021

·606· 智能系统学报 第16卷 1000多起事故向，这些事故包括：自动驾驶汽车撞 作用习 死行人，交易算法错误导致市场“闪崩”，面部识 可见，第3次浪潮开始围绕“人的因素”来开 别系统导致无辜者被捕等。美国工程院院士、计 发AL,促使人们更多地考虑“以人为中心AI”的理 算机教授Shneiderman将围绕“以技术为中心”还 念。因此，第3次浪潮呈现出“技术提升+应用开 是“以人为中心”理念开发AI系统的争议形象化 发+以人为中心”的特征回，意味着AI开发不仅是 地描述为“AI哥白尼革命”，提出AI开发应该将 一个技术方案，还是跨学科合作的系统工程。 人类放在中心，而不是算法和AI技术。 1.2智能时代的新型人机关系 近几年来，围绕“以人为中心A”理念、如何 AI可以开发成具有自主化(autonomy)特征的 避免AI伤害人类以及产生社会负面影响等方面 智能体。取决于自主化程度，AI系统可以拥有一 的研究引起越来越多的重视3s山，目前国内外还 定程度上的类似于人的认知、学习、自适应、独立 没有形成系统化的跨学科工作框架来有效应对这 执行操作等能力，在特定的场景下可以自主地完成 些新挑战及促进这方面工作的开展。中国国家自 一些特定任务，可以在一些设计未预期的场景中 然科学基金委员会在2020年成立了交叉科学部， 自主地完成以往自动化技术所不能完成的任务切。 在交叉科学高端学术论坛上，受邀的AI、人机交 这种智能自主化特征赋予人机系统中机器新 互(human-computer interaction)、人因工程(human 的角色。在非智能时代，人类操作基于计算技 factors engineering)等专家一致认为，学科交叉是 术，机器充当辅助工具角色。人与AI系统的交互 未来科学发展的必然趋势。 本质上是人与自主智能体的交互。随着AI技术 在这样的基于跨学科合作理念的背景下，本 提升，自主智能体有可能从一种支持人类操作的 文回答以下3个问题：与传统计算技术相比， 辅助工具的角色发展成为与人类操作员共同合作 AI技术带来了什么新挑战？应该如何促进“以人 的队友，扮演“辅助工具+人机合作队友”的双重新 为中心AI”理念在AI研发中的应用？从跨学科 角色。 合作角度我们应该采取什么策略？本文将进一步 因此，智能时代的人机关系正在演变成为团 阐述我们在2019年提出的以人为中心AI”(human- 队队友关系，形成一种“人机组队”(human-ma- centered AI,HCA)理念，系统地提出人-人工智 chine teaming)式合作2-l。智能时代的这种人 能交互(human-AI interaction,HAID这一新兴跨学 机关系区别于PC时代的人机交互，对AI研发是 科领域。希望通过倡导HCAI理念和HAI领域， 挑战和机遇，研发者需要在AI研发中要利用这种 促进AI研发造福于人类，避免潜在的负面影响。 人机合作，保证人类能够有效控制AI系统，避免 1AI技术带来的新变化和新挑战 伤害人类。 1.3人-非AI系统交互与人-AI系统交互的比较 1.1AI技术的跨时代特征 人机交互是PC时代形成的跨学科领域，它 AI界一般认为AI技术主要经历了3次浪潮。 研究人-非AI计算系统之间的交互。表1比较了 前两次浪潮集中在科学探索，局限于“以技术为中 人-非AI系统交互与人-AI系统交互之间的一些 心”的视野，呈现出“学术主导”的特征。深度机器 特征。人-AI系统交互所具备的特征是基于 学习、算力、大数据等技术推动了第3次浪潮的 AI系统具有较高的智能自主化程度，有些特征目 兴起。在第3次浪潮中，人们开始重视AI技术的 前还没实现。从表1可见，与人-非智能系统交互 应用落地场景，开发对人类有用的前端应用和人 相比，人-智能系统交互带来了许多新特征和新 机交互技术，考虑AI伦理等问题。同时，AI界开 问题，也给人一智能系统交互的研究和应用带来 始提倡将人与AI视为一个人机系统，引入人的 了新机遇。 表1人-非AI计算系统交互与人-AI系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人-非AI计算系统交互 智能时代的人一AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 按照固定算法、逻辑和规则产生确定的机器 具有不同程度的类似于人的认知能力（学习、自适 机器行为和智能 行为：不具备机器智能 应、自我执行等)：展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友

1 000 多起事故[6] ，这些事故包括：自动驾驶汽车撞 死行人，交易算法错误导致市场“闪崩”，面部识 别系统导致无辜者被捕等。美国工程院院士、计 算机教授 Shneiderman[4] 将围绕“以技术为中心”还 是“以人为中心”理念开发 AI 系统的争议形象化 地描述为“AI 哥白尼革命”，提出 AI 开发应该将 人类放在中心，而不是算法和 AI 技术。 近几年来，围绕“以人为中心 AI”理念、如何 避免 AI 伤害人类以及产生社会负面影响等方面 的研究引起越来越多的重视[2-3, 5-11] ，目前国内外还 没有形成系统化的跨学科工作框架来有效应对这 些新挑战及促进这方面工作的开展。中国国家自 然科学基金委员会在 2020 年成立了交叉科学部， 在交叉科学高端学术论坛上，受邀的 AI、人机交 互 (human-computer interaction)、人因工程 (human factors engineering) 等专家一致认为，学科交叉是 未来科学发展的必然趋势。 在这样的基于跨学科合作理念的背景下，本 文回答以下 3 个问题：与传统计算技术相比， AI 技术带来了什么新挑战？应该如何促进“以人 为中心 AI”理念在 AI 研发中的应用？从跨学科 合作角度我们应该采取什么策略？本文将进一步 阐述我们在 2019 年提出的“以人为中心 AI”(human￾centered AI，HCAI) 理念[2] ，系统地提出人−人工智 能交互 (human-AI interaction，HAII) 这一新兴跨学 科领域。希望通过倡导 HCAI 理念和 HAII 领域， 促进 AI 研发造福于人类，避免潜在的负面影响。 1 AI 技术带来的新变化和新挑战 1.1 AI 技术的跨时代特征 AI 界一般认为 AI 技术主要经历了 3 次浪潮。 前两次浪潮集中在科学探索，局限于“以技术为中 心”的视野，呈现出“学术主导”的特征。深度机器 学习、算力、大数据等技术推动了第 3 次浪潮的 兴起。在第 3 次浪潮中，人们开始重视 AI 技术的 应用落地场景，开发对人类有用的前端应用和人 机交互技术，考虑 AI 伦理等问题。同时，AI 界开 始提倡将人与 AI 视为一个人机系统，引入人的 作用[1, 3]。 可见，第 3 次浪潮开始围绕“人的因素”来开 发 AI，促使人们更多地考虑“以人为中心 AI”的理 念。因此，第 3 次浪潮呈现出“技术提升+应用开 发+以人为中心”的特征[2] ，意味着 AI 开发不仅是 一个技术方案，还是跨学科合作的系统工程。 1.2 智能时代的新型人机关系 AI 可以开发成具有自主化 (autonomy) 特征的 智能体。取决于自主化程度，AI 系统可以拥有一 定程度上的类似于人的认知、学习、自适应、独立 执行操作等能力，在特定的场景下可以自主地完成 一些特定任务，可以在一些设计未预期的场景中 自主地完成以往自动化技术所不能完成的任务[9-11]。 这种智能自主化特征赋予人机系统中机器新 的角色。在非智能时代，人类操作基于计算技 术，机器充当辅助工具角色。人与 AI 系统的交互 本质上是人与自主智能体的交互。随着 AI 技术 提升，自主智能体有可能从一种支持人类操作的 辅助工具的角色发展成为与人类操作员共同合作 的队友，扮演“辅助工具+人机合作队友”的双重新 角色[11]。 因此，智能时代的人机关系正在演变成为团 队队友关系，形成一种“人机组队”(human-ma￾chine teaming) 式合作[12-13]。智能时代的这种人 机关系区别于 PC 时代的人机交互，对 AI 研发是 挑战和机遇，研发者需要在 AI 研发中要利用这种 人机合作，保证人类能够有效控制 AI 系统，避免 伤害人类。 1.3 人−非 AI 系统交互与人−AI 系统交互的比较 人机交互是 PC 时代形成的跨学科领域，它 研究人−非 AI 计算系统之间的交互。表 1 比较了 人−非 AI 系统交互与人−AI 系统交互之间的一些 特征。人 −AI 系统交互所具备的特征是基 于 AI 系统具有较高的智能自主化程度，有些特征目 前还没实现。从表 1 可见，与人−非智能系统交互 相比，人−智能系统交互带来了许多新特征和新 问题，也给人−智能系统交互的研究和应用带来 了新机遇。 表 1 人−非 AI 计算系统交互与人−AI 系统交互的特征比较 Table 1 Comparative analysis between human interaction with non-AI systems and AI systems 特征 计算机时代的人−非AI计算系统交互 智能时代的人−AI系统交互 实例 办公软件、洗衣机、自动生产线等 智能音响、智能决策系统、自动驾驶汽车等 机器行为和智能 按照固定算法、逻辑和规则产生确定的机器 行为；不具备机器智能 具有不同程度的类似于人的认知能力(学习、自适 应、自我执行等)；展示特殊、可演化的机器行为 机器角色 主要作为一种辅助工具 也可能成为与人类合作的团队队友 ·606· 智 能 系 统 学 报 第 16 卷

第4期 许为，等：人-AI交互：实现“以人为中心A”理念的跨学科新领域 ·607· 续表1 特征 计算机时代的人-非AI计算系统交互 智能时代的人-AI系统交互 机器输出 具有确定性 具有不确定性 人类操作员角色 监视员、执行者 也可能成为与AI合作的队友（人应是最终决策者） 人机关系 人机交互 人机交互+人机组队式合作 也包括新型智能交互：语音交互、人脸识别、脑机 用户界面 图形用户界面、触摸屏交互、显式交互等 界面、隐式交互等 基于人的认知、行为、情感、场景上下文等信息，智 人机交互的行为特征由人启动的、基于显式界面的人机交互 能体也可以主动启动基于隐式界面的人机交互等 启动能力 人主动启动任务、行动，机器被动接受 人机双方均可主动地启动任务、行动 只有人针对机器的单向式信任、 人机之间双向式的信任、情景意识、意图，人机之 人机交互的方向性 情景意识、决策等 间可分享的决策控制权（人应拥有最终控制权） 智能互补性 机器无智能，人与机器之间无智能互补 机器智能与人的生物智能之间的互补 还呈现A黑匣子”效应，导致系统输出难以解释和 系统输出的可解释性主要取决于系统输出界面的可用性 理解 人、机器均可借助行为、情景意识等模型，预测对 人、机器的预测能力仅人类操作员拥有 方的行为、环境、系统等状态 自适应能力 仅人类操作员拥有 人、机器均可适应对方的行为及操作场景 目标设置能力 仅人类操作员拥有 人、机器均可设置或调整系统目标 替换能力 机器可以替换人的任务（借助于自动化 机器可以替换人的体力、认知任务（人机之间可主 技术，主要是体力方面) 动或被动地接管、委派任务等) 人机合作 有限 基于以上一些特征，可能产生更有效的人机合作 用户需求 主要包括可用性、心理、安全、生理等 还包括情感、隐私、伦理、决策自主权等 在人-非智能系统交互中，作为一种支持人类 交互161。尽管这些工作各有侧重点，但是都是 操作的辅助工具，机器依赖于事先设计的规则和 研究人与智能“机器”（智能体、智能代理等）之 算法。尽管人机之间也存在一定程度上的人机合 间的交互。所以，这种交互本质上就是人-AI交 作，但是作为辅助工具的机器是被动的，只有人 互(human-AI interaction,HAI)。目前还没有一 可以主动地启动这种有限的合作。 个系统的有关HAⅡ领域的工作框架，有必要正 AI系统智能体具备的自主化特征使得智能 式提倡将HAIⅡ作为一个新的多学科交叉领域来 体与人类之间可以实现一定程度上类似于人一人 推动。 团队之间的“合作式交互”。在特定的操作环境 2.1HAⅡ领域的理念：以人为中心AI 中，这种交互可以是由两者之间双向主动的、分 近几年，当“以技术为中心”方法影响着AI研 享的、互补的、可替换的、自适应的、目标驱动的 发的同时，研究者也在探索基于“以人为中心”的 以及可预测的等特征所决定的（见表1）。随着 AI开发方法，例如，以人为中心的算法、AI人文 AI技术的发展，未来AI系统将更多点地具备这 设计、包容性设计、基于社会责任的AI图。 些特征。 斯坦福大学在2019年成立了“以人为中心 由此可见，智能时代人-AI系统交互的新特 AI”(human-centered AI,.HCA)研究中心，目的 征以及研究的问题等已经远超出了目前人机交互 是通过技术提升与伦理化设计手段，开发出合乎 研究和应用的范围，需要一种新思维来考虑如何 人类道德伦理和惠及人类的AI系统m 更加有效地开展多学科合作来应对人-AI系统交 许为B1剧在2019年提出了一个“以人为中心 互以及AI系统研发中面临的一系列新特征和新 AI”(HCAI)的系统概念框架，该框架包括人、伦 挑战。 理、技术3个方面。Shneiderman'在2020年提 2HAⅡ领域的兴起及领域理念 出了一个为开发可靠、安全和可信赖的AI系统 的指导框架。HCAI就是指导HAIⅡ新领域的理 国外针对人-AI系统交互的研究和应用已 念。以下进一步阐述HCAI理念的3个方面：技 经展开211。例如：人-智能体交互，人一自主 术、人、伦理（见图1）。其中，图1概括了各方面 化交互(human-autonomy interaction)l,人-AI 工作的主要途径（见图1中围绕3个周边圆形部

在人−非智能系统交互中，作为一种支持人类 操作的辅助工具，机器依赖于事先设计的规则和 算法。尽管人机之间也存在一定程度上的人机合 作，但是作为辅助工具的机器是被动的，只有人 可以主动地启动这种有限的合作。 AI 系统智能体具备的自主化特征使得智能 体与人类之间可以实现一定程度上类似于人−人 团队之间的“合作式交互”。在特定的操作环境 中，这种交互可以是由两者之间双向主动的、分 享的、互补的、可替换的、自适应的、目标驱动的 以及可预测的等特征所决定的 (见表 1)。随着 AI 技术的发展，未来 AI 系统将更多点地具备这 些特征[13]。 由此可见，智能时代人−AI 系统交互的新特 征以及研究的问题等已经远超出了目前人机交互 研究和应用的范围，需要一种新思维来考虑如何 更加有效地开展多学科合作来应对人−AI 系统交 互以及 AI 系统研发中面临的一系列新特征和新 挑战。 2 HAII 领域的兴起及领域理念 国外针对人−AI 系统交互的研究和应用已 经展开[12-13]。例如：人−智能体交互[14] ，人−自主 化交互 (human-autonomy interaction)[15] ，人−AI 交互[ 1 6 ]。尽管这些工作各有侧重点，但是都是 研究人与智能“机器”(智能体、智能代理等) 之 间的交互。所以，这种交互本质上就是人−AI 交 互 (human-AI interaction，HAII)。目前还没有一 个系统的有关 HAII 领域的工作框架，有必要正 式提倡将 HAII 作为一个新的多学科交叉领域来 推动。 2.1 HAII 领域的理念：以人为中心 AI 近几年，当“以技术为中心”方法影响着 AI 研 发的同时，研究者也在探索基于“以人为中心”的 AI 开发方法，例如，以人为中心的算法、AI 人文 设计、包容性设计、基于社会责任的 AI[8]。 斯坦福大学在 2019 年成立了“以人为中心 AI”(human-centered AI，HCAI) 研究中心，目的 是通过技术提升与伦理化设计手段，开发出合乎 人类道德伦理和惠及人类的 AI 系统[17]。 许为[2, 18] 在 2019 年提出了一个“以人为中心 AI”(HCAI) 的系统概念框架，该框架包括人、伦 理、技术 3 个方面。Shneiderman[19] 在 2020 年提 出了一个为开发可靠、安全和可信赖的 AI 系统 的指导框架。HCAI 就是指导 HAII 新领域的理 念。以下进一步阐述 HCAI 理念的 3 个方面：技 术、人、伦理 (见图 1) [2]。其中，图 1 概括了各方面 工作的主要途径 (见图 1 中围绕 3 个周边圆形部 续表 1 特征 计算机时代的人−非AI计算系统交互 智能时代的人−AI系统交互 机器输出 具有确定性 具有不确定性 人类操作员角色 监视员、执行者 也可能成为与AI合作的队友(人应是最终决策者) 人机关系 人机交互 人机交互+人机组队式合作 用户界面 图形用户界面、触摸屏交互、显式交互等 也包括新型智能交互：语音交互、人脸识别、脑机 界面、隐式交互等 人机交互的行为特征 由人启动的、基于显式界面的人机交互 基于人的认知、行为、情感、场景上下文等信息，智 能体也可以主动启动基于隐式界面的人机交互等 启动能力 人主动启动任务、行动，机器被动接受 人机双方均可主动地启动任务、行动 人机交互的方向性 只有人针对机器的单向式信任、 情景意识、决策等 人机之间双向式的信任、情景意识、意图，人机之 间可分享的决策控制权(人应拥有最终控制权) 智能互补性 机器无智能，人与机器之间无智能互补 机器智能与人的生物智能之间的互补 系统输出的可解释性 主要取决于系统输出界面的可用性 还呈现AI“黑匣子”效应，导致系统输出难以解释和 理解 人、机器的预测能力 仅人类操作员拥有 人、机器均可借助行为、情景意识等模型，预测对 方的行为、环境、系统等状态 自适应能力 仅人类操作员拥有 人、机器均可适应对方的行为及操作场景 目标设置能力 仅人类操作员拥有 人、机器均可设置或调整系统目标 替换能力 机器可以替换人的任务(借助于自动化 技术，主要是体力方面) 机器可以替换人的体力、认知任务(人机之间可主 动或被动地接管、委派任务等) 人机合作 有限 基于以上一些特征，可能产生更有效的人机合作 用户需求 主要包括可用性、心理、安全、生理等 还包括情感、隐私、伦理、决策自主权等 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·607·

·608· 智能系统学报 第16卷 分的蓝色字体)，例如，人的需求、AI应用场景； (见图1中围绕“以人为中心AI”中心圆形部分的 图1也概括了这些工作要达到的HCAI设计目标 黑色字体)，例如，可用的AI、有用的AI。 算力 大数据 算法和模型 人机混合增强智能 AI与智能增强技术整合 技术 高效强大的A! 可扩展的A1 人类可控的A 增强人类能力 以人为中心 伦理化AI AI 有用的AI 有责任A1 可用的AI 跨学科方法 人的需求 标准和治理 伦理 AI应用场景 有效开发实践 人类拥有最终决控权 。人类认知模型 有意义的人类控制 人机交互技术和技术 图1以人为中心AI(HCA)理念 Fig.1 Human-Centered AI(HCAI)design philosophy 1)“技术”方面：强调3类智能的有机结合。 系统工程，开发出可靠的、安全的、可信赖的 ①机器智能：利用算法、大数据、算力等技术来开 AI系统B9 发机器智能。②人类智能：利用智能增强技术， 2.2HAⅡ领域的工作框架 借助心理学、脑神经技术等方法推动人类智能的 针对HAⅡ这一新兴领域，我们作出以下初步 增强。③人机混合增强智能：AI界已经认识到单 的定义。图2示意了人-人工智能交互(HA川)的 独发展AI技术的路径遇到了瓶颈效应，在高级人 领域框架，其中，蓝色圆圈部份代表跨学科的主 类认知方面难以达到人类的智能水平山，3，。因 要合作学科，白色长形部份代表本文所讨论的 此，HCAI理念强调将人的作用融入人机系统，通 HAⅡ研究和应用的主要问题。 过人机智能的互补，开发人机混合增强智能、 HAⅡ领域理念：以人为中心AI(HCAI): AI与人类智能增强技术的整合。目的是开发出 HAⅡ领域目的：作为一个跨学科交叉领域， 可持续发展、强大、人类可控的AI;AI开发的目 HAI利用AI、计算机科学、人机交互、人因工程、 的是提升人的能力，而不是取代人类。 心理学等学科技术和方法，致力于合作研发AI系 2)“人”方面：强调在AI系统研发中从人的需 统，优化人与AI系统之间的交互，注重机器与人 求出发，落实有效的应用场景，开发人类认知模 类智能的优势互补，全方位考虑AI伦理道德，强 型，在AI研发中实施基于“以人为中心”的人机交 调人对AI系统的最终决控权，通过提供一个跨学 互设计和方法（建模、设计、测试等）。目的是开 科的合作平台，在AI系统开发中实现HCAI开发 发出有用的（满足人的需求、有使用价值）、可用 理念，为人类提供安全、可靠、可信赖的AI。 的（易用、易学）、人类拥有最终决控权的AI系统。 HAⅡ研究和应用范围：狭义地说，HAI涉及 3)“伦理”方面：结合跨学科方法、有效开发实 到人与AI系统交互的研究和应用；广义地说，任 践、标准和治理等工作，通过工程设计手段（如 何涉及到由人来使用、影响人的AI研究发都属 “有意义的人类控制”)，保证AI开发遵循公平、人 于HAI的范畴，包括与人产生交互的AI系统的 的隐私、伦理道德、人的决策权等方面的权益。 研究和应用领域，如智能手机应用APP、智能人 目的是开发出伦理化、负责任的AI。 机交互技术、智能决策系统、智能物联网等。如 HCAI理念强调在AI开发中保持人的中心地 图2所示，HAⅡ从人-机-环境系统的角度来考虑 位，贯彻技术、人、伦理三方面相互依承的系统化 各种因素对人与AI交互的影响，全面了解这些影 AI开发思维，主张AI开发是一个跨学科协作的 响有助于发挥AI技术的优势，避免负面影响

分的蓝色字体)，例如，人的需求、AI 应用场景； 图 1 也概括了这些工作要达到的 HCAI 设计目标 (见图 1 中围绕“以人为中心 AI”中心圆形部分的 黑色字体)，例如，可用的 AI、有用的 AI。 算力 算法和模型 AI 与智能增强技术整合 大数据 人机混合增强智能 高效强大的 AI 人类可控的 AI 可扩展的 AI 增强人类能力 有用的 AI 可用的 AI 技术 以人为中心 伦理化 AI AI 有责任 AI 人类拥有最终决控权 伦理 人 人的需求 AI 应用场景 人类认知模型 人机交互技术和技术 跨学科方法 有意义的人类控制 有效开发实践 标准和治理 图 1 以人为中心 AI(HCAI) 理念 Fig. 1 Human-Centered AI (HCAI) design philosophy 1)“技术”方面：强调 3 类智能的有机结合。 ①机器智能：利用算法、大数据、算力等技术来开 发机器智能。②人类智能：利用智能增强技术， 借助心理学、脑神经技术等方法推动人类智能的 增强。③人机混合增强智能：AI 界已经认识到单 独发展 AI 技术的路径遇到了瓶颈效应，在高级人 类认知方面难以达到人类的智能水平[1, 3， 20]。因 此，HCAI 理念强调将人的作用融入人机系统，通 过人机智能的互补，开发人机混合增强智能、 AI 与人类智能增强技术的整合。目的是开发出 可持续发展、强大、人类可控的 AI；AI 开发的目 的是提升人的能力，而不是取代人类。 2)“人”方面：强调在 AI 系统研发中从人的需 求出发，落实有效的应用场景，开发人类认知模 型，在 AI 研发中实施基于“以人为中心”的人机交 互设计和方法 (建模、设计、测试等)。目的是开 发出有用的 (满足人的需求、有使用价值)、可用 的 (易用、易学)、人类拥有最终决控权的 AI 系统。 3)“伦理”方面：结合跨学科方法、有效开发实 践、标准和治理等工作，通过工程设计手段 (如 “有意义的人类控制”)，保证 AI 开发遵循公平、人 的隐私、伦理道德、人的决策权等方面的权益。 目的是开发出伦理化、负责任的 AI。 HCAI 理念强调在 AI 开发中保持人的中心地 位，贯彻技术、人、伦理三方面相互依承的系统化 AI 开发思维，主张 AI 开发是一个跨学科协作的 系统工程，开发出可靠的、安全的、可信赖的 AI 系统[2, 19]。 2.2 HAII 领域的工作框架 针对 HAII 这一新兴领域，我们作出以下初步 的定义。图 2 示意了人−人工智能交互 (HAII) 的 领域框架，其中，蓝色圆圈部份代表跨学科的主 要合作学科，白色长形部份代表本文所讨论的 HAII 研究和应用的主要问题。 HAII 领域理念：以人为中心 AI(HCAI)。 HAII 领域目的：作为一个跨学科交叉领域， HAII 利用 AI、计算机科学、人机交互、人因工程、 心理学等学科技术和方法，致力于合作研发 AI 系 统，优化人与 AI 系统之间的交互，注重机器与人 类智能的优势互补，全方位考虑 AI 伦理道德，强 调人对 AI 系统的最终决控权，通过提供一个跨学 科的合作平台，在 AI 系统开发中实现 HCAI 开发 理念，为人类提供安全、可靠、可信赖的 AI。 HAII 研究和应用范围：狭义地说，HAII 涉及 到人与 AI 系统交互的研究和应用；广义地说，任 何涉及到由人来使用、影响人的 AI 研究发都属 于 HAII 的范畴，包括与人产生交互的 AI 系统的 研究和应用领域，如智能手机应用 APP、智能人 机交互技术、智能决策系统、智能物联网等。如 图 2 所示，HAII 从人−机−环境系统的角度来考虑 各种因素对人与 AI 交互的影响，全面了解这些影 响有助于发挥 AI 技术的优势，避免负面影响。 ·608· 智 能 系 统 学 报 第 16 卷

第4期 许为，等：人-AI交互：实现“以人为中心AI”理念的跨学科新领域 ·609· 安全、可靠、可信赖的AI 环境 人-AI合作相 心理 人机混合增强智寵 人类智能增强 认知计算 人工 生理、 智能 智能人机交互技不 计算机 机交石 人工智能 科学 (HCI) 智能交互设升标准 情感、 社会 “人在环路”A 认知神 人-AI交面 人因 可解释A! 经科学 工程 (HAII) A机器行为 可用的A(易学易用 数据 设计 P认知 毫 科学 工程 有用的A1(有效应用场景 安全、 交互式机器华习 与社会 科学 伦理化设中 人类可控自主化 伦理等 有意义的人类控制 决策权等 技术 算法、模型、大数据5G系统架构等 了 了 “以人为中心A”(HCA)的开发理念 图2人-人工智能交互HAD领域示意 Fig.2 Illustration of the human-AI interaction(HAIl)domain HAⅡ领域方法：作为一个跨学科领域，通过 题&2刘 多学科方法（建模、算法、设计、工程、测试等）和 历史上，新技术促进了新领域的产生。进入 合作的流程来开发AI系统。这些方法来自这些 PC时代，传统“人机交互”(human-machine inter- 相关学科，例如计算模型、工程设计方法、行为科 action)领域过渡到新版的“人机交互”（人-计算机 学研究方法、人机交互设计等。 交互)，但是此“机”非彼“机2四。智能时代的机器 HAI领域人员：从事HAI研究和应用的人 过渡到AI系统，AI的新特征促使HAⅡ新领域的 员包括来自AI、计算机、数据科学、人机交互、心 产生，因此，HAⅡ的出现也是必然的。 理学、认知神经科学、社会科学等专业人员。广 我们并不建议将HAⅡ设置为一门独立的新 义地来说，大多数从事A!系统研发的人员都属于 学科，强调HAⅡ是一个新型跨学科领域，希望通 这个范畴，他们研发的AI系统或多或少都与人交 过该领域的跨学科、跨行业协同合作来落实 互，都是为了开发出有利于人类的AI系统。 HCAI理念。例如，HAIⅡ工作需要人机交互人员 2.3为什么需要HAⅡ新领域 的参与，他们必须采用新思维开展针对人与AI交 首先，HAⅡ领域为各学科提供了一个合作平 互的研究和应用。 台。HAI有助于在一个领域名称(HAID）下，联合 2.4实现HCAI理念面临的挑战和HAⅡ解决方案 参与AI系统研发的跨学科、跨行业专业人员，避 HAⅡ领域的工作并非刚刚兴起，AI界和其他 免易混淆的名称，这种跨学科合作有助于有效地 相关学科已经开展了一些工作。为进一步阐述 开发以人为中心的AI系统。 HAⅡ领域，基于文献综述和分析，表2概括了当 其次，HAⅡ领域强调其研究和应用的对象是 前HAⅡ研究和应用的重点、实现HCAI理念的挑 AL,不是传统的非A系统，有助于提醒人们注重 战、HAII领域可能的解决方案、期望的HCAI设 AI与非AI系统之间的特征差异，促使人们重视 计目标。表2也引用一些实例，详细内容在本文 AI技术带来的新挑战和新问题，采用有效的方法 第3部分讨论。 来解决AI系统开发中的独特问题。 从表2可知，首先，为实现基于HCAI理念的 最后，HAII领域有助于推动HCAI理念在 设计目标，HAI研究和应用有许多挑战期待解 AI研发中的落实。HAII强调AI研发中将人的中 决。不解决这些挑战我们就无法实现HCAI理 心作用整合到系统设计中，避免潜在安全风险问 念，无法开发出安全、可靠、可信赖的A

安全、可靠、可信赖的 AI 人 “以人为中心 AI” (HCAI) 的开发理念 环境商业 、文化 、组织 、社会 、法律 、安全 、伦理等 心理 、生理 、情感 、人格 、隐私 、公平 、决策权等 人工 智能 人机交互 (HCI) 人因 工程 设计 认知 与工程 与社会 科学 数据 科学 认知神 经科学 计算机 科学 人类智能增强 智能人机交互技术 智能交互设计标准 可解释 AI 可用的AI (易学易用) 有用的AI (有效应用场景) 人类可控自主化 有意义的人类控制 伦理化设计 交互式机器学习 AI 机器行为 “人在环路”AI 人工智能 认知计算 人机混合增强智能 人−AI 合作 人−AI 交互 (HAII) 技术 算法、模型、大数据 5G 系统架构等 图 2 人−人工智能交互 (HAII) 领域示意 Fig. 2 Illustration of the human-AI interaction (HAII) domain HAII 领域方法：作为一个跨学科领域，通过 多学科方法 (建模、算法、设计、工程、测试等) 和 合作的流程来开发 AI 系统。这些方法来自这些 相关学科，例如计算模型、工程设计方法、行为科 学研究方法、人机交互设计等。 HAII 领域人员：从事 HAII 研究和应用的人 员包括来自 AI、计算机、数据科学、人机交互、心 理学、认知神经科学、社会科学等专业人员。广 义地来说，大多数从事 AI 系统研发的人员都属于 这个范畴，他们研发的 AI 系统或多或少都与人交 互，都是为了开发出有利于人类的 AI 系统。 2.3 为什么需要 HAII 新领域 首先，HAII 领域为各学科提供了一个合作平 台。HAII 有助于在一个领域名称 (HAII) 下，联合 参与 AI 系统研发的跨学科、跨行业专业人员，避 免易混淆的名称，这种跨学科合作有助于有效地 开发以人为中心的 AI 系统。 其次，HAII 领域强调其研究和应用的对象是 AI，不是传统的非 AI 系统，有助于提醒人们注重 AI 与非 AI 系统之间的特征差异，促使人们重视 AI 技术带来的新挑战和新问题，采用有效的方法 来解决 AI 系统开发中的独特问题。 最后，HAII 领域有助于推动 HCAI 理念在 AI 研发中的落实。HAII 强调 AI 研发中将人的中 心作用整合到系统设计中，避免潜在安全风险问 题 [8, 20]。 历史上，新技术促进了新领域的产生。进入 PC 时代，传统“人机交互”(human-machine inter￾action) 领域过渡到新版的“人机交互”(人−计算机 交互)，但是此“机”非彼“机” [21]。智能时代的机器 过渡到 AI 系统，AI 的新特征促使 HAII 新领域的 产生，因此，HAII 的出现也是必然的。 我们并不建议将 HAII 设置为一门独立的新 学科，强调 HAII 是一个新型跨学科领域，希望通 过该领域的跨学科、跨行业协同合作来落 实 HCAI 理念。例如，HAII 工作需要人机交互人员 的参与，他们必须采用新思维开展针对人与 AI 交 互的研究和应用。 2.4 实现 HCAI 理念面临的挑战和 HAII 解决方案 HAII 领域的工作并非刚刚兴起，AI 界和其他 相关学科已经开展了一些工作。为进一步阐述 HAII 领域，基于文献综述和分析，表 2 概括了当 前 HAII 研究和应用的重点、实现 HCAI 理念的挑 战、HAII 领域可能的解决方案、期望的 HCAI 设 计目标。表 2 也引用一些实例，详细内容在本文 第 3 部分讨论。 从表 2 可知，首先，为实现基于 HCAI 理念的 设计目标，HAII 研究和应用有许多挑战期待解 决。不解决这些挑战我们就无法实现 HCAI 理 念，无法开发出安全、可靠、可信赖的 AI。 第 4 期 许为，等：人−AI 交互: 实现“以人为中心 AI”理念的跨学科新领域 ·609·