【人工智能基础】人工智能中的封闭性和强封闭性——现有成果的能力边界、应用条件和伦理风险

第15卷第1期 智能系统学报 Vol.15 No.1 2020年1月 CAAI Transactions on Intelligent Systems Jan.2020 D0L:10.11992tis.202001001 人工智能中的封闭性和强封闭性 现有成果的 能力边界、应用条件和伦理风险 陈小平 (中国科学技术大学计算机科学与技术学院，安徽合肥230026) 摘要：针对现有人工智能技术的两种代表性途径一一暴力法和训练法，以及它们结合的一种典型方式，给出 了规范化描述，AI研究中的知识被重新定义为从模型到现实场景的完闭降射，进而提出人工智能的封闭性准 则和强封闭性准则。封闭性准则刻画了暴力法和训练法在理论上的能力边界：强封闭性准则刻画了暴力法和 训练法在工程中的应用条件。两项准则还为开放性人工智能技术的进一步研究提供了新的概念基础。 关键词：人工智能；封闭性；强封闭性；知识：降射；决策论规划；推理；深度学习 中图分类号：TP18文献标志码：A文章编号：1673-4785(2020)01-0114-07 中文引用格式：陈小平.人工智能中的封闭性和强封闭性一一现有成果的能力边界、应用条件和伦理风险智能系统学报， 2020,15(1):114-120. 英文引用格式：CHEN Xiaoping.Criteria of closeness and strong closeness in artificial intelligence-一limits,application condi-- tions and ethical risks of existing technologies J.CAAI transactions on intelligent systems,2020,15(1):114-120. Criteria of closeness and strong closeness in artificial intelligence-limits,application conditions and ethical risks of existing technologies CHEN Xiaoping (School of computer science and technology,University of Science and Technology of China,Hefei 230026,China) Abstract:Criteria of closeness and strong closeness in artificial intelligence(AI)are proposed in this paper.The first criterion suggests that knowledge in AI takes conceptual root in a kind of pragmatic correspondence,called consum- mated grounding,from a model to the scenario that the model is expected to represent.Consummated grounding is crit- ical to advancing both development and explanation of intelligent systems.Under the condition of the second criterion, which aims at real-world applications,existing AI technology surpasses human beings in the same kind of ability,can be successfully applied to realize a lot of projects in current industries,and will not be out of control in itself.The criteria also set up a further conceptual basis for developing AI technology competent to deal with open scenarios. Keywords:artificial intelligence;closeness;strong-closeness;knowledge;grounding;decision-theoretical planning; reasoning;deep learning 在计算机科学中，以图灵可计算性为“可计 类似的可解性度量体系，而且这种需要已十分 算”的判别标准，以算法复杂度为实际“计算”的可 迫切。 行性度量，形成了一套完整的计算可解性度量体 然而，人工智能尚未形成对应于图灵机和 系，给出“计算”问题在不同抽象或具体层次上可 Church-Turing论题的人工智能理论基础，也没有 解的标准和条件。显然，人工智能也不可缺少 形成“智能”问题的可解性度量体系，迄今未获得 收稿日期：2020-01-02. 基金项目：国家自然科学基金项目(U1613216): “智能”问题在不同应用场景中的可解性判别标准 通信作者：陈小平.E-mail:xpchen(@ustc.edu.cn. 和可解性条件。为此，本文转换思路，以60多年

DOI: 10.11992/tis.202001001 人工智能中的封闭性和强封闭性——现有成果的 能力边界、应用条件和伦理风险 陈小平 （中国科学技术大学 计算机科学与技术学院，安徽 合肥 230026） 摘 要：针对现有人工智能技术的两种代表性途径——暴力法和训练法，以及它们结合的一种典型方式，给出 了规范化描述，AI 研究中的知识被重新定义为从模型到现实场景的完闭降射，进而提出人工智能的封闭性准 则和强封闭性准则。封闭性准则刻画了暴力法和训练法在理论上的能力边界；强封闭性准则刻画了暴力法和 训练法在工程中的应用条件。两项准则还为开放性人工智能技术的进一步研究提供了新的概念基础。 关键词：人工智能；封闭性；强封闭性；知识；降射；决策论规划；推理；深度学习 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2020)01−0114−07 中文引用格式：陈小平. 人工智能中的封闭性和强封闭性——现有成果的能力边界、应用条件和伦理风险 [J]. 智能系统学报, 2020, 15(1): 114–120. 英文引用格式：CHEN Xiaoping. Criteria of closeness and strong closeness in artificial intelligence——limits, application condi￾tions and ethical risks of existing technologies[J]. CAAI transactions on intelligent systems, 2020, 15(1): 114–120. Criteria of closeness and strong closeness in artificial intelligence——limits, application conditions and ethical risks of existing technologies CHEN Xiaoping (School of computer science and technology, University of Science and Technology of China, Hefei 230026, China) Abstract: Criteria of closeness and strong closeness in artificial intelligence (AI) are proposed in this paper. The first criterion suggests that knowledge in AI takes conceptual root in a kind of pragmatic correspondence, called consum￾mated grounding, from a model to the scenario that the model is expected to represent. Consummated grounding is crit￾ical to advancing both development and explanation of intelligent systems. Under the condition of the second criterion, which aims at real-world applications, existing AI technology surpasses human beings in the same kind of ability, can be successfully applied to realize a lot of projects in current industries, and will not be out of control in itself. The criteria also set up a further conceptual basis for developing AI technology competent to deal with open scenarios. Keywords: artificial intelligence; closeness; strong-closeness; knowledge; grounding; decision-theoretical planning; reasoning; deep learning 在计算机科学中，以图灵可计算性为“可计 算”的判别标准，以算法复杂度为实际“计算”的可 行性度量，形成了一套完整的计算可解性度量体 系，给出“计算”问题在不同抽象或具体层次上可 解的标准和条件[1-2]。显然，人工智能也不可缺少 类似的可解性度量体系，而且这种需要已十分 迫切。 然而，人工智能尚未形成对应于图灵机和 Church-Turing 论题的人工智能理论基础，也没有 形成“智能”问题的可解性度量体系，迄今未获得 “智能”问题在不同应用场景中的可解性判别标准 和可解性条件。为此，本文转换思路，以 60 多年 收稿日期：2020−01−02. 基金项目：国家自然科学基金项目 (U1613216). 通信作者：陈小平. E-mail：xpchen@ustc.edu.cn. 第 15 卷第 1 期 智 能 系 统 学 报 Vol.15 No.1 2020 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2020

第1期 陈小平：人工智能中的封闭性和强封闭性一一现有成果的能力边界、应用条件和伦理风险 ·115· 来人工智能研究成果的技术概括为基础，尝试给 确的符号结构。为了使用推理法，需要将精确模 出现有人工智能技术的能力边界和应用条件。 型M表达成一个知识库K;当采用搜索法时，需 人工智能研究已形成了至少几千种不同的技 要将M表达成一个状态空间K“。推理机和搜索 术路线，其中很多技术路线可用人工智能的两种 算法往往由专业团队长期研发而成，而K“则需 经典思维1加以概括。这种概括使得对人工智能 由每一个具体应用的开发者手工编写。 的认识不再局限于技术路线层面，而上升到“机器 以命题逻辑中的推理法为例。在命题逻辑( 思维”的高度。两种经典思维并不代表人工智能 中将M表达成一个知识库K“,相应的推理机 的全部，但它们在近期应用中具有关键作用，也 reasoner一般也是基于命题逻辑的，Q也要在命题 是本文构建人工智能可解性度量体系尝试的最可 逻辑中表达。对于任何q∈Q,当在命题逻辑中 依赖的现有基础，本文将概述人工智能两种经典 有Kkg时，reasoner回答yes;当K“,一q时， 思维以及它们的集成。在此基础上，本文提出封 reasoner回答no(其中一g代表g的否定)。因此， 闭性准则以可刻画现有人工智能技术的能力边 reasoner的开发并非仅仅依靠开发者的直觉，而是 界，提出强封闭性准则以刻画现有人工智能技术 以命题逻辑为严格标准，其正确性证明是有理论 的应用条件，并重点回答下列问题：现有人工智 保证的（虽然具体证明可能存在各种实际困难）， 能技术能解决什么问题、不能解决什么问题？现 这种情况在工程方法论中称为可证正确性。 有人工智能技术能不能大规模产业应用？什么条 例如，“就餐”场景的有关知识可以人工编写 件下可以应用、什么条件下难以应用？人工智能 为一个知识库，其中部分知识如表1所示，推理机 当前风险如何？最后，简要讨论封闭性准则和强 对一些问题的回答如表2所示，注意这些回答并 封闭性准则在人工智能基础研究、产业应用和伦 不包含在知识库中。 理体系建设中的意义与作用。 表1一个知识库的例子 Table 1 An example of knowledge base 基于模型的暴力法 就餐知识的逻辑表达 对应的语义解释 假设D是现实世界中的一个应用场景。D的 xvy (dish (x)A food (y)hold (x,y)) 餐具可以盛食物 一个领域模型M(D)=<M,Q,g>是一个三元组，其 food (rice) 米饭是食物 中M是一个数学结构，称为领域模型，由一组参 food(soup) 汤是食物 数和它们之间的关系构成；Q是D中的一组待解 dish (bowl) 碗是餐具 问题；g是一个广义映射，称为降射(grounding), 将M的参数和参数间关系对应于D的要素和要 表2一些问答的例子 素间关系，并保持参数间关系（参数p和p'在 Table 2 Instances of question-answer M中有关系r当且仅当g(p)和g(p)在D中有关 问题 问题的语义解释 回答 系g(r),使得Q描述的D中的现实问题可以在 hold (bowl,rice)? 碗能盛米饭？ yes M上抽象地求解。由于D通常不是一个数学论 hold (bowl,soup)? 碗能盛汤？ yes 域，所以一般情况下降射g不是数学映射，也无法 被形式化表达。M的参数和关系合称为M的元素。 hold (bowl,x)? 碗能盛什么？ rice,soup“ 第1种人工智能经典思维是基于模型的暴力 般地，如果一个逻辑系统具有可靠性，那么 法，其基本原理是：1)建立场景D的一个精确模 该系统中的推理具有保真性向。保真性的含义是 型M(D)=<M,Q,g>;2)构建一个表示M的知识库 “结论保持前提的真”，即只要推理的前提在任何 或状态空间选择一个推理机reasoner或一 一种意义上是“真的”，则推理的结论在相同的意 种搜索算法Islsearcher,得到扩展模型M(D)= 义上也是“真的”。所以，对于任何一个M(D)= <MD),K,reasoner/.searcher>,使得在K上reason-- <M(D),K,reasoner/searcher>,如果推理机reason- er的推理或searcher的搜索是计算可行的；3)对 er基于一个具有可靠性的逻辑系统，并且K“是 于Q中的任何问题q,在K“上用reasoner或 “真的”，则对Q中任何问题q的回答都是“真 searcher找出g的一个正确回答。使用推理机或 的”。这表明，一个具有保真性的推理系统可以应 搜索算法的暴力法分别称为推理法和搜索法。 用于任何一个具体场景一不管该场景中“真” 暴力法的基本前提是：应用场景存在一个精 的具体含义是什么，只要在该场景中“真”的含义 确模型MD)=<M,Q,g>,其中M是良定义的、精 保持一致就可以应用。这就为推理法的普遍应用

来人工智能研究成果的技术概括为基础，尝试给 出现有人工智能技术的能力边界和应用条件。 人工智能研究已形成了至少几千种不同的技 术路线，其中很多技术路线可用人工智能的两种 经典思维[3] 加以概括。这种概括使得对人工智能 的认识不再局限于技术路线层面，而上升到“机器 思维”的高度。两种经典思维并不代表人工智能 的全部，但它们在近期应用中具有关键作用，也 是本文构建人工智能可解性度量体系尝试的最可 依赖的现有基础，本文将概述人工智能两种经典 思维以及它们的集成。在此基础上，本文提出封 闭性准则以可刻画现有人工智能技术的能力边 界，提出强封闭性准则以刻画现有人工智能技术 的应用条件，并重点回答下列问题：现有人工智 能技术能解决什么问题、不能解决什么问题？现 有人工智能技术能不能大规模产业应用？什么条 件下可以应用、什么条件下难以应用？人工智能 当前风险如何？最后，简要讨论封闭性准则和强 封闭性准则在人工智能基础研究、产业应用和伦 理体系建设中的意义与作用。 1 基于模型的暴力法 假设 D 是现实世界中的一个应用场景。D 的 一个领域模型 M(D)=<M, Q, g>是一个三元组，其 中 M 是一个数学结构，称为领域模型，由一组参 数和它们之间的关系构成；Q 是 D 中的一组待解 问题；g 是一个广义映射，称为降射 (grounding)， 将 M 的参数和参数间关系对应于 D 的要素和要 素间关系，并保持参数间关系 (参数 p 和 p ′ 在 M 中有关系 r 当且仅当 g(p) 和 g(p′) 在 D 中有关 系 g(r))，使得 Q 描述的 D 中的现实问题可以在 M 上抽象地求解。由于 D 通常不是一个数学论 域，所以一般情况下降射 g 不是数学映射，也无法 被形式化表达。M 的参数和关系合称为 M 的元素。 第 1 种人工智能经典思维是基于模型的暴力 法，其基本原理是：1) 建立场景 D 的一个精确模 型 M(D)=<M, Q, g>；2) 构建一个表示 M 的知识库 或状态空间 K M ，选择一个推理机 reasoner [3- 4] 或一 种搜索算法[ 5 ] searcher，得到扩展模型 M * (D)= <M(D), K M , reasoner/searcher>，使得在 K M 上 reason￾er 的推理或 searcher 的搜索是计算可行的；3) 对 于 Q 中的任何问题 q，在 K M 上用 reasone r 或 searcher 找出 q 的一个正确回答。使用推理机或 搜索算法的暴力法分别称为推理法和搜索法。 暴力法的基本前提是：应用场景存在一个精 确模型 M(D)=<M, Q, g>，其中 M 是良定义的、精 确的符号结构。为了使用推理法，需要将精确模 型 M 表达成一个知识库 K M ；当采用搜索法时，需 要将 M 表达成一个状态空间 K M。推理机和搜索 算法往往由专业团队长期研发而成，而 K M 则需 由每一个具体应用的开发者手工编写。 ⊢ ⊢ 以命题逻辑中的推理法为例。在命题逻辑[6] 中将 M 表达成一个知识库 K M ，相应的推理机 reasoner 一般也是基于命题逻辑的，Q 也要在命题 逻辑中表达。对于任何 q∈Q，当在命题逻辑中 有 K M q 时 ，reasoner 回答 yes；当 K M ¬q 时 ， reasoner 回答 no(其中¬q 代表 q 的否定)。因此， reasoner 的开发并非仅仅依靠开发者的直觉，而是 以命题逻辑为严格标准，其正确性证明是有理论 保证的 (虽然具体证明可能存在各种实际困难)， 这种情况在工程方法论中称为可证正确性。 例如，“就餐”场景的有关知识可以人工编写 为一个知识库，其中部分知识如表 1 所示，推理机 对一些问题的回答如表 2 所示，注意这些回答并 不包含在知识库中。 表 1 一个知识库的例子 Table 1 An example of knowledge base 就餐知识的逻辑表达 对应的语义解释 ∀x∀y (dish (x)∧food (y)→hold (x, y)) 餐具可以盛食物 food (rice) 米饭是食物 food (soup) 汤是食物 dish (bowl) 碗是餐具 表 2 一些问答的例子 Table 2 Instances of question-answer 问题 问题的语义解释 回答 hold (bowl, rice)？ 碗能盛米饭？ yes hold (bowl, soup)？ 碗能盛汤？ yes hold (bowl, x)？ 碗能盛什么？ rice, soup… 一般地，如果一个逻辑系统具有可靠性，那么 该系统中的推理具有保真性[6]。保真性的含义是 “结论保持前提的真”，即只要推理的前提在任何 一种意义上是“真的”，则推理的结论在相同的意 义上也是“真的”。所以，对于任何一个 M * (D)= <M(D), K M , reasoner/searcher>，如果推理机 reason￾er 基于一个具有可靠性的逻辑系统，并且 K M 是 “真的” ，则对 Q 中任何问题 q 的回答都是“真 的”。这表明，一个具有保真性的推理系统可以应 用于任何一个具体场景−不管该场景中“真” 的具体含义是什么，只要在该场景中“真”的含义 保持一致就可以应用。这就为推理法的普遍应用 第 1 期 陈小平：人工智能中的封闭性和强封闭性——现有成果的能力边界、应用条件和伦理风险 ·115·

·116· 智能系统学报 第15卷 奠定了坚实的理论基础。 设计测试方法等。例如在ImageNet图像分类比 可证正确性是一种比可解释性强得多的数学 赛中，组织者对大量原始图片中的动物或物品标 性质，而且是迄今为止人类所建立的最强意义上 注一个分类号(0~999的整数)，如表3所示。其 的“可靠性”性质。换言之，在整个科学中没有比 中，将图片分成1000类不是由训练过程自主完 保真性更强的通用可靠性机制，工程上也没有比 成的，而是设计者做出的一项决策。 可证正确性更强的可靠性概念。这是暴力法在人 表3一个图像分类问题 工智能三次浪潮中延续不断，并占据第一次和第 Table 3 A sample problem of image classification 二次浪潮主流的根本原因。 原始数据 人工标注 通常认为暴力法的主要障碍在于知识获取网。 7种鱼的图片 0-6 一个知识库的“正确性”以及相对于一个应用场 公鸡、母鸡图片 7~8 景的“充分性”，至今没有形成公认的标准，也没 26种鸟的图片 有形成知识库建造的有效技术，致使知识库构建 9-34 比推理机构建困难得多4，刀，暴力法的理论优 势一保真性和可证正确性—的效力受到根 卫生纸图片 999 本性限制。 训练法的理论基础进展状况远远落后于暴力 2基于元模型的训练法 法，不仅没有可证正确性，甚至没有可解释性，这 是训练法基础理论研究面临的巨大挑战。 元模型(meta-model)是模型的模型。元模型 的表达形式可以是形式化的（如在二阶逻辑中建 3暴力法与训练法的互补集成 立的一阶逻辑系统的元模型)，但通常是非形式化 训练法和暴力法都存在明显短板。工程上， 的。训练法在不同情况下需要建立不同的元模 训练法的主要短板之一是需要对大量原始数据进 型，一个应用场景D的元模型通常至少包含一组 行人工标注，暴力法的主要短板是需要人工编写 包含标注的“标准数据”集T和一套评价准则E, 知识库或制定状态空间。一定条件下，暴力法和 记为M(D)=<T,E>。评价准则E规定了D的待解 训练法的结合可同时消除或减弱上述两大短板， 问题集Q及求解标准，如求解图像分类问题的一 AlphaGo Zero9是这种尝试的一个成功案例。“集 个基本评价指标是分类错误率。 成智能”已成为未来发展的首要优先方向。 第2种人工智能经典思维是基于元模型的训 AlphaGo Zero的暴力法模型是对经典MDP 练法，其基本工作原理是：I)针对应用场景D,设 模型的修改。一个经典MDP模型山的主要元素 计元模型M(D),采集标准数据集T、确定评价准 包括：状态s(代表棋局)、行动a(代表落子)、状态 则E;2)依据M(D),选择一种合适的人工神经网 转移函数T(s,a,s')、回报函数r、状态值函数 络m和一个合适的学习算法1，得到扩展的元模 (s)、行动值函数Q(s,a)等。AlphaGo Zero对这 型M(D)=<T,E,m,D;3)依数据拟合原理，以T中 些元素的定义做了修改，核心的改变是将状态值 部分数据为训练数据，用算法1训练人工神经网 函数(s)的定义从“棋局s的期望效用”改为“棋 络m的连接权重，使得训练后m的输出总误差最小。 局s下的己方平均胜率”，从根本上明确了A 如果依据M(D)=<T,E,m,D,训练后m达到 phaGo Zero的核心思想，为AlphaGo Zero各模块 了E规定的全部要求，则称M(D)是训练成功 的协调一致构建了统一的基础架构，为AlphaGo 的。M(D)训练成功意味着：依据E规定的标准， Zero的巨大成功奠定了坚实的理论基础（详细说 用训练法成功地解决了D中的待解问题。例如， 明见文献[3])。 在图像分类任务中，一些经过训练的深层神经网 经上述修改，形成了AlphaGo Zero暴力法模 络在给定数据集T上的分类错误率已低于人类的 型M(D)=<M,Q,g>中的M。M(D)中的待解问题 错误率，如果评价标准E是“在给定数据集T上的 Q是一个博弈策略π(s),其中π是从任意棋局s到 分类错误率低于人类的错误率”，则这个图像人类 落子a的射影，Q的直观含义是：对任意一个棋 任务是训练成功的。 局s,通过M上的推理或搜索，找出s上的最佳落 训练法隐含着必须人工完成的大量工作，包 子a=s)。表4总结了AlphaGo Zero的暴力法模 括：设计学习目标、决定评价准则、采集数据并标 型M(D)中M和Q的主要元素，以及与经典的围 注、选择/设计学习算法、选择测试平台和工具、 棋决策论规划模型的对照

奠定了坚实的理论基础。 可证正确性是一种比可解释性强得多的数学 性质，而且是迄今为止人类所建立的最强意义上 的“可靠性”性质。换言之，在整个科学中没有比 保真性更强的通用可靠性机制，工程上也没有比 可证正确性更强的可靠性概念。这是暴力法在人 工智能三次浪潮中延续不断，并占据第一次和第 二次浪潮主流的根本原因。 通常认为暴力法的主要障碍在于知识获取[4,7-8]。 一个知识库的“正确性”以及相对于一个应用场 景的“充分性”，至今没有形成公认的标准，也没 有形成知识库建造的有效技术，致使知识库构建 比推理机构建困难得多[ 4 , 7 ] ，暴力法的理论优 势−保真性和可证正确性−的效力受到根 本性限制。 2 基于元模型的训练法 M(D) 元模型 (meta-model) 是模型的模型。元模型 的表达形式可以是形式化的 (如在二阶逻辑中建 立的一阶逻辑系统的元模型)，但通常是非形式化 的。训练法在不同情况下需要建立不同的元模 型，一个应用场景 D 的元模型通常至少包含一组 包含标注的“标准数据”集 T 和一套评价准则 E， 记为 =<T, E>。评价准则 E 规定了 D 的待解 问题集 Q 及求解标准，如求解图像分类问题的一 个基本评价指标是分类错误率。 M(D) M(D) 第 2 种人工智能经典思维是基于元模型的训 练法，其基本工作原理是：1) 针对应用场景 D，设 计元模型 ，采集标准数据集 T、确定评价准 则 E；2) 依据 ，选择一种合适的人工神经网 络 m 和一个合适的学习算法 t，得到扩展的元模 型 M * (D)=<T, E, m, t>；3) 依数据拟合原理，以 T 中 部分数据为训练数据，用算法 t 训练人工神经网 络 m 的连接权重，使得训练后 m 的输出总误差最小。 M∗ (D) M∗ (D) M∗ (D) 如果依据 =<T, E, m, t>，训练后 m 达到 了 E 规定的全部要求，则称 是训练成功 的。 训练成功意味着：依据 E 规定的标准， 用训练法成功地解决了 D 中的待解问题。例如， 在图像分类任务中，一些经过训练的深层神经网 络在给定数据集 T 上的分类错误率已低于人类的 错误率，如果评价标准 E 是“在给定数据集 T 上的 分类错误率低于人类的错误率”，则这个图像人类 任务是训练成功的。 训练法隐含着必须人工完成的大量工作，包 括：设计学习目标、决定评价准则、采集数据并标 注、选择/设计学习算法、选择测试平台和工具、 设计测试方法等。例如在 ImageNet 图像分类比 赛中，组织者对大量原始图片中的动物或物品标 注一个分类号 (0~999 的整数)，如表 3 所示。其 中，将图片分成 1 000 类不是由训练过程自主完 成的，而是设计者做出的一项决策。 表 3 一个图像分类问题 Table 3 A sample problem of image classification 原始数据 人工标注 7种鱼的图片 0~6 公鸡、母鸡图片 7~8 26种鸟的图片 9~34 . . . . . . 卫生纸图片 999 训练法的理论基础进展状况远远落后于暴力 法，不仅没有可证正确性，甚至没有可解释性，这 是训练法基础理论研究面临的巨大挑战。 3 暴力法与训练法的互补集成 训练法和暴力法都存在明显短板。工程上， 训练法的主要短板之一是需要对大量原始数据进 行人工标注，暴力法的主要短板是需要人工编写 知识库或制定状态空间。一定条件下，暴力法和 训练法的结合可同时消除或减弱上述两大短板， AlphaGo Zero[9] 是这种尝试的一个成功案例。“集 成智能”已成为未来发展的首要优先方向[10]。 AlphaGo Zero 的暴力法模型是对经典 MDP 模型的修改。一个经典 MDP 模型[11] 的主要元素 包括：状态 s(代表棋局)、行动 a(代表落子)、状态 转移函数 T(s, a, s′ )、回报函数 r、状态值函数 V(s)、行动值函数 Q(s, a) 等。AlphaGo Zero 对这 些元素的定义做了修改，核心的改变是将状态值 函数 V(s) 的定义从“棋局 s 的期望效用”改为“棋 局 s 下的己方平均胜率”，从根本上明确了 Al￾phaGo Zero 的核心思想，为 AlphaGo Zero 各模块 的协调一致构建了统一的基础架构，为 AlphaGo Zero 的巨大成功奠定了坚实的理论基础 (详细说 明见文献 [3])。 经上述修改，形成了 AlphaGo Zero 暴力法模 型 M(D)=<M, Q, g>中的 M。M(D) 中的待解问题 Q 是一个博弈策略 π(s)，其中 π 是从任意棋局 s 到 落子 a 的射影，Q 的直观含义是：对任意一个棋 局 s，通过 M 上的推理或搜索，找出 s 上的最佳落 子 a =π(s)。表 4 总结了 AlphaGo Zero 的暴力法模 型 M(D) 中 M 和 Q 的主要元素，以及与经典的围 棋决策论规划模型的对照。 ·116· 智 能 系 统 学 报 第 15 卷

第1期 陈小平：人工智能中的封闭性和强封闭性一一现有成果的能力边界、应用条件和伦理风险 ·117· 表4 AlphaGo Zero决策论规划模型MD),及与经典决策论规划模型的对照 Table 4 Models of AlphaGo Zero and the standard MDPs 模型元素 经典决策论规划模型 AlphaGo Zerof的暴力法模型 回报r 胜负多少、行动代价等定量值 re{+1,-1}(表示胜/负) 状态值函数s) 棋局s的期望效用（效用的数学期望） 棋局s下己方的平均胜率 行动值函数Qs,a) 棋局s下落子a的期望效用 棋局s下落子a的平均胜率 Q(s.a)=r(s.a)+yEresT(s.a,s)V(s) Q(s,a）=∑rks-￥V(s)/N(s,a) 策略表示=() 符号表示 深层神经网络表示(S)尸<P(s,-),sP P(s,-)是19×19+1个可能落子的概率 同时，AlphaGo Zero还建立了一个训练法的 陷，得到一种宏观可解释性。例如，AlphaGo 元模型M(D)=<T,E>,T的初值设为空集，E只含 Zero系统的核心构件一建模、自博、搜索、强 一个指标“赢棋”，因为AlphaGo Zero只求获胜，不 化学习和围棋博弈决策，都是围绕平均胜率展开 考虑赢多少、用时多少等其他指标。AlphaGo 的，故平均胜率就是AlphaGo Zero系统的宏观解 Zero还建立了一个训练法的扩展元模型M(D)= 释，解释了该系统的宏观行为原理。欠缺的是微 <T,E,m,t>,其中T的数据是通过AlphaGo 观解释：为什么AlphaGo Zero的残差网络表示的 Zero的自博自动产生的，每一条数据包括一局自 是平均胜率？有什么保证？ 博所产生的棋局序列、落子序列和胜负结果，以 胜负结果(1/-1)作为标注；1是强化学习算法； 4封闭性 m是一个最终表示π(s)的残差网络，它的输入是 目前在人工智能中可定义两种封闭性—依 任意棋局s,输出是19×19+1个概率值，分别表示 模型封闭性和依训练封闭性。如果一个应用场景 棋局s下棋盘上19×19个点和pass的己方平均胜 依模型封闭或依训练封闭，则该场景具有封闭 率。训练好的m就是AlphaGo Zero的自学结果， 性。两种封闭性分别刻画了暴力法和训练法在理 也就是待解问题Q的“回答”（即博弈策略π(s)。 论上的能力边界一不具备封闭性的应用场景， 在训练完成后的对弈实战中，对任意棋局s,A1 在理论上无法用暴力法或训练法求解，至少不存 phaGo Zero选择m输出的概率最高的点或pass, 在可解的理论保证。因此，封闭性是一个极为重 作为自己的最佳落子位置（即最优博弈决策）。 要的理论性指标，故又称为封闭性准则山。 AlphaGo Zero的求解过程如下：I)构建围棋 4.1依模型封闭 的暴力法模型M(D)和训练法元模型M(D)=<T, 一个应用场景D是依模型封闭的，如果存在 E>。2)选择蒙特卡洛树搜索作为searcher,在 一个满足下列全部条件的模型M(D)=<M,Q,g>: M(D)上进行2900万局自博，自动收集每一局自 1)问题确定性：Q中任何一个问题q的回答 博所产生的棋局序列、落子序列和胜负结果作为 A(q)是唯一确定的；2)模型可计算性：存在扩展 T的一条数据。3)设置扩展的元模型M(D)=<T, 模型M(D)=<M(D),K“,reasoner/searcher>.,使得 E,m,>,其中T更新为第2步收集的数据集，1是 reasoner或searcher是图灵可计算的，并且推理/搜 强化学习算法，m是最终表示博弈策略π(s)的残 索的结果正确（以A(q)为标准）：3)降射完闭性： 差网络，以T中数据用1训练m,使m输出的总偏 g是完闭的，即每一个M元素e都在D中存在唯 差最小。 一、固定的对应物g(e),不同的e对应于不同的 AlphaGo Zero带来如下观察：l)一定条件下 g(e),并且对应物集合{g(e)eDe是M的一个元素} 暴力法可以克服训练法的人工标注难点，A 包含场景D的所有不可忽略的要素。 phaGo Zero利用暴力法的决策论规划模型和蒙特 “问题确定性”要求的必要性说明如下。在计 卡洛树搜索，自动获得了强化学习所需的数据及 算机科学中，称一个函数∫(x)是图灵可计算的， 精确标注。2)一定条件下训练法可以克服暴力法 首先预设对所有x,f(x)的值是确定的"。然而人 的知识获取难点，AlphaGo Zero无需人工编写大 工智能面对的很多场景不满足这个预设，例如在 量难以形式化的围棋博弈知识，而是通过强化学 开放领域人机对话中，Q包含哪些问题、这些问 习直接获得围棋博弈策略(s)。3)暴力法和训练 题的“正确”回答是什么，往往是不确定的，即使 法的结合可部分改变训练法缺乏可解释性的缺 对话系统对所有问题都给出了回答，也不能确定

M(D) M∗ (D) 同时，AlphaGo Zero 还建立了一个训练法的 元模型 =<T, E>，T 的初值设为空集， E 只含 一个指标“赢棋”，因为 AlphaGo Zero 只求获胜，不 考虑赢多少、用时多少等其他指标。AlphaGo Zero 还建立了一个训练法的扩展元模型 = <T, E, m, t>，其中 T 的数据是通过 AlphaGo Zero 的自博自动产生的，每一条数据包括一局自 博所产生的棋局序列、落子序列和胜负结果，以 胜负结果 (1/−1) 作为标注；t 是强化学习算法； m 是一个最终表示 π(s) 的残差网络，它的输入是 任意棋局 s，输出是 19×19+1 个概率值，分别表示 棋局 s 下棋盘上 19×19 个点和 pass 的己方平均胜 率。训练好的 m 就是 AlphaGo Zero 的自学结果， 也就是待解问题 Q 的“回答”(即博弈策略 π(s))。 在训练完成后的对弈实战中，对任意棋局 s，Al￾phaGo Zero 选择 m 输出的概率最高的点或 pass， 作为自己的最佳落子位置 (即最优博弈决策)。 M(D) M∗ (D) AlphaGo Zero 的求解过程如下：1) 构建围棋 的暴力法模型 M(D) 和训练法元模型 =<T, E>。2) 选择蒙特卡洛树搜索作为 searcher，在 M(D) 上进行 2 900 万局自博，自动收集每一局自 博所产生的棋局序列、落子序列和胜负结果作为 T 的一条数据。3) 设置扩展的元模型 =<T, E, m, t>，其中 T 更新为第 2 步收集的数据集，t 是 强化学习算法，m 是最终表示博弈策略 π(s) 的残 差网络，以 T 中数据用 t 训练 m，使 m 输出的总偏 差最小[3]。 AlphaGo Zero 带来如下观察：1) 一定条件下 暴力法可以克服训练法的人工标注难点， Al￾phaGo Zero 利用暴力法的决策论规划模型和蒙特 卡洛树搜索，自动获得了强化学习所需的数据及 精确标注。2) 一定条件下训练法可以克服暴力法 的知识获取难点，AlphaGo Zero 无需人工编写大 量难以形式化的围棋博弈知识，而是通过强化学 习直接获得围棋博弈策略 π(s)。3) 暴力法和训练 法的结合可部分改变训练法缺乏可解释性的缺 陷，得到一种宏观可解释性。例如， AlphaGo Zero 系统的核心构件−建模、自博、搜索、强 化学习和围棋博弈决策，都是围绕平均胜率展开 的，故平均胜率就是 AlphaGo Zero 系统的宏观解 释，解释了该系统的宏观行为原理。欠缺的是微 观解释：为什么 AlphaGo Zero 的残差网络表示的 是平均胜率？有什么保证？ 4 封闭性 目前在人工智能中可定义两种封闭性−依 模型封闭性和依训练封闭性。如果一个应用场景 依模型封闭或依训练封闭，则该场景具有封闭 性。两种封闭性分别刻画了暴力法和训练法在理 论上的能力边界−不具备封闭性的应用场景， 在理论上无法用暴力法或训练法求解，至少不存 在可解的理论保证。因此，封闭性是一个极为重 要的理论性指标，故又称为封闭性准则[11]。 4.1 依模型封闭 一个应用场景 D 是依模型封闭的，如果存在 一个满足下列全部条件的模型 M(D)=<M, Q, g>： 1 ) 问题确定性： Q 中任何一个问 题 q 的 回 答 A(q) 是唯一确定的；2) 模型可计算性：存在扩展 模型 M * (D)=<M(D), K M , reasoner/searcher>，使得 reasoner 或 searcher 是图灵可计算的，并且推理/搜 索的结果正确 (以 A(q) 为标准)；3) 降射完闭性： g 是完闭的，即每一个 M 元素 e 都在 D 中存在唯 一、固定的对应物 g(e)，不同的 e 对应于不同的 g(e)，并且对应物集合{g(e)∈D|e 是 M 的一个元素} 包含场景 D 的所有不可忽略的要素。 “问题确定性”要求的必要性说明如下。在计 算机科学中，称一个函数 f (x) 是图灵可计算的， 首先预设对所有 x，f (x) 的值是确定的[1]。然而人 工智能面对的很多场景不满足这个预设，例如在 开放领域人机对话中，Q 包含哪些问题、这些问 题的“正确”回答是什么，往往是不确定的，即使 对话系统对所有问题都给出了回答，也不能确定 表 4 AlphaGo Zero 决策论规划模型 M(D) 及与经典决策论规划模型的对照 Table 4 Models of AlphaGo Zero and the standard MDPs 模型元素 经典决策论规划模型 AlphaGo Zero的暴力法模型 回报r 胜负多少、行动代价等定量值 rT∈{+1, −1} (表示胜/负) 状态值函数V(s) 棋局s的期望效用(效用的数学期望) 棋局s下己方的平均胜率 行动值函数Q(s, a) Q(s,a) = r(s,a) +γ ∑ s ′ ∈S T (s,a,s ′ )V (s ′ ) 棋局s下落子a的期望效用 Q(s,a) = ∑ s ′ |a,s→s ′ V (s ′ ) /N (s,a) 棋局s下落子a的平均胜率 策略表示a=π(s) 符号表示 深层神经网络表示fθ (s)=<P(s, －), V(s)> P(s, −)是19×19+1个可能落子的概率 第 1 期 陈小平：人工智能中的封闭性和强封闭性——现有成果的能力边界、应用条件和伦理风险 ·117·

·118· 智能系统学报 第15卷 回答是否“正确”。因此，仅仅要求对话系统的 功的。 reasoner.或searcher是图灵可计算的，并不完全符 直观上，一个场景D是依训练封闭的，需要 合图灵可计算性的本意。 具备一套评价准则E、一个有限确定的代表集 降射完闭性是人工智能中最难以把握、最易 T°、一种合适的人工神经元网络m和一个合适的 被忽视、最具挑战性的。在简单场景的建模中， 学习算法1，使得以T°用1训练后m达到E的全 完闭性往往被不知不觉地违反，从而导致难以觉 部评价指标。其中，学习算法1被默认为图灵可 察的错误：而在很多复杂场景的建模中，满足完 计算的。一个场景D能否获得满足以上条件的 闭性要求通常是极其困难的。导致降射不完闭 E、T°、m和1，通常没有理论保障，只能依靠训练 的3种常见情况倒如下：1)对象不确定性一某 者的经验和摸索。 些对象变体的分类规则难以穷尽地显式表达，导 理论上，如果一个场景是依训练封闭的，则用 致分类困难，比如即使概念“杯子”在模型中的内 训练法可解：反之，如果一个场景不是依训练封 涵描述是明确的，其外延和降射却可能无法确 闭的，则是不可解的，或至少可解性没有理论保 定；2)属性不确定性—现实场景的某些属性是 证。例如，如果场景D不存在代表集T°，则“扩展 含糊的和场景依赖的，难以穷尽地显式表达，导 的元模型M(D)=<T°，E,m,>训练成功”是无定 致这些属性在真实世界中的对应物难以确定； 义的。 3)关联不确定性一对象/属性与场景在真实世 界中的关联难以确定，也难以穷尽地显式表达。 5强封闭性 这是暴力法在理论基础研究中遇到的深层挑战。 封闭性准则给出了暴力法和训练法在理论上 理论上，如果一个场景是依模型封闭的，则用 的能力边界。但是，封闭性准则要求的所有条件 暴力法是可解的，即存在推理机或搜索算法，对 都默认为理论上成立，这不符合实际应用的要 Q中每个问题给出正确的回答；反之，一个场景 求，导致满足封闭性准则的场景在工程上仍然不 只要不满足3个条件中的任何一条，就是非封闭 可解。例如，依模型封闭要求存在满足一定条件 的，该场景用暴力法在理论上是不可解的，或至 的扩展模型，其中的“存在”默认为理论上存在， 少没有可解的理论保证。 而不是在工程应用中实际地构建出来。 4.2依训练封闭 对封闭性准则的另一项重大挑战来自脆弱 首先定义“代表集”。任给训练法的一个扩展 性。自20世纪80年代以来，脆弱性已成为现有 的元模型M(D=<T,E,m,P,假设场景D的全体 人工智能技术实际应用的主要瓶颈，训练法和暴 相关数据的集合为T。T的一个子集T称为 力法都深受其害。脆弱性的主要表现是：如果智 D的一个代表集，如果T°的训练效果不低于T的 能系统的输入不在知识库或训练好的人工神经网 训练效果，即，如果以T中数据用1训练出的人工 络的有效范围内，系统可产生错误的输出。实际 神经元网络m能达到E的全部指标，则以T°中 应用中无处不在的感知噪声是脆弱性的一个主要 数据用1训练出的m也能达到E的全部指标。 原因。例如，在文献[12]报告的测试中，先用一 例如，假设D是一个图像分类任务，E规定的 个著名商用机器学习系统训练出一个深层神经网 指标是分类错误率ε。如果用T训练出的人工神 络，该网络可以很低的误识别率从照片中识别各 经元网络m的错误率不高于￡，那么用T训练出 种枪支。然后，人为修改这些照片上的少量像素 的人工神经元网络m的错误率也不高于&，则T° (代表感知噪声)，而这些修改对人眼识别没有任 是D的一个代表集。实际应用中，T通常是得不 何影响，可是训练好的深层神经网络对于被修改 到的，只能利用它的某个子集，可是并非T的任 照片的误识别率却大幅升高，而且会发生离奇的 意子集T都能够保证训练效果。故本文引入代表 错误。2013年以来，针对深度学习已发现大量类 集T°。 似的例子。 一个应用场景D是依训练封闭的，如果存在 上述困难目前在理论上无解，但一定条件下 D的一个元模型M(D)=<T°，E,满足下列2个条 是工程上可解的。本文将这些条件概括为强封闭 件：1)T°是D的一个代表集，并且是有限确定的， 性准则，在符合该准则的工程项目中可应用暴力 即T°是一个有限集，它的每一条数据的内容包括 法、训练法或它们的集成。 标注都是完全给定的；2)存在一个扩展的元模型 一个场景D在一个工程项目P中具有强封闭 M(D)=<T°，E,m,1>,使得M(D)是训练成 性，如果满足下列所有条件：1)场景D具有封闭

回答是否“正确”。因此，仅仅要求对话系统的 reasoner 或 searcher 是图灵可计算的，并不完全符 合图灵可计算性的本意。 降射完闭性是人工智能中最难以把握、最易 被忽视、最具挑战性的。在简单场景的建模中， 完闭性往往被不知不觉地违反，从而导致难以觉 察的错误；而在很多复杂场景的建模中，满足完 闭性要求通常是极其困难的[4]。导致降射不完闭 的 3 种常见情况[3] 如下：1) 对象不确定性−某 些对象变体的分类规则难以穷尽地显式表达，导 致分类困难，比如即使概念“杯子”在模型中的内 涵描述是明确的，其外延和降射却可能无法确 定；2) 属性不确定性−现实场景的某些属性是 含糊的和场景依赖的，难以穷尽地显式表达，导 致这些属性在真实世界中的对应物难以确定； 3) 关联不确定性−对象/属性与场景在真实世 界中的关联难以确定，也难以穷尽地显式表达。 这是暴力法在理论基础研究中遇到的深层挑战。 理论上，如果一个场景是依模型封闭的，则用 暴力法是可解的，即存在推理机或搜索算法，对 Q 中每个问题给出正确的回答；反之，一个场景 只要不满足 3 个条件中的任何一条，就是非封闭 的，该场景用暴力法在理论上是不可解的，或至 少没有可解的理论保证。 4.2 依训练封闭 M∗ (D) T ◦ T ◦ T ◦ 首先定义“代表集”。任给训练法的一个扩展 的元模型 =<T, E, m, t>，假设场景 D 的全体 相关数据的集合为 T *。T *的一个子集 称为 D 的一个代表集，如果 的训练效果不低于 T *的 训练效果，即，如果以 T *中数据用 t 训练出的人工 神经元网络 m 能达到 E 的全部指标，则以 中 数据用 t 训练出的 m 也能达到 E 的全部指标。 T ◦ T ◦ T ◦ 例如，假设 D 是一个图像分类任务，E 规定的 指标是分类错误率 ε。如果用 T *训练出的人工神 经元网络 m 的错误率不高于 ε，那么用 训练出 的人工神经元网络 m 的错误率也不高于 ε，则 是 D 的一个代表集。实际应用中，T *通常是得不 到的，只能利用它的某个子集，可是并非 T *的任 意子集 T 都能够保证训练效果。故本文引入代表 集 。 M(D) T ◦ T ◦ T ◦ M∗ (D) T ◦ M∗ (D) 一个应用场景 D 是依训练封闭的，如果存在 D 的一个元模型 =< , E>，满足下列 2 个条 件：1) 是 D 的一个代表集，并且是有限确定的， 即 是一个有限集，它的每一条数据的内容包括 标注都是完全给定的；2) 存在一个扩展的元模型 = < , E , m , t > ，使得 是训练成 功的。 T ◦ T ◦ T ◦ 直观上，一个场景 D 是依训练封闭的，需要 具备一套评价准则 E、一个有限确定的代表集 、一种合适的人工神经元网络 m 和一个合适的 学习算法 t，使得以 用 t 训练后 m 达到 E 的全 部评价指标。其中，学习算法 t 被默认为图灵可 计算的。一个场景 D 能否获得满足以上条件的 E、 、m 和 t，通常没有理论保障，只能依靠训练 者的经验和摸索。 T ◦ M∗ (D) T ◦ 理论上，如果一个场景是依训练封闭的，则用 训练法可解；反之，如果一个场景不是依训练封 闭的，则是不可解的，或至少可解性没有理论保 证。例如，如果场景 D 不存在代表集 ，则“扩展 的元模型 =< , E, m, t>训练成功”是无定 义的。 5 强封闭性 封闭性准则给出了暴力法和训练法在理论上 的能力边界。但是，封闭性准则要求的所有条件 都默认为理论上成立，这不符合实际应用的要 求，导致满足封闭性准则的场景在工程上仍然不 可解。例如，依模型封闭要求存在满足一定条件 的扩展模型，其中的“存在”默认为理论上存在， 而不是在工程应用中实际地构建出来。 对封闭性准则的另一项重大挑战来自脆弱 性。自 20 世纪 80 年代以来，脆弱性已成为现有 人工智能技术实际应用的主要瓶颈，训练法和暴 力法都深受其害。脆弱性的主要表现是：如果智 能系统的输入不在知识库或训练好的人工神经网 络的有效范围内，系统可产生错误的输出。实际 应用中无处不在的感知噪声是脆弱性的一个主要 原因。例如，在文献 [12] 报告的测试中，先用一 个著名商用机器学习系统训练出一个深层神经网 络，该网络可以很低的误识别率从照片中识别各 种枪支。然后，人为修改这些照片上的少量像素 (代表感知噪声)，而这些修改对人眼识别没有任 何影响，可是训练好的深层神经网络对于被修改 照片的误识别率却大幅升高，而且会发生离奇的 错误。2013 年以来，针对深度学习已发现大量类 似的例子。 上述困难目前在理论上无解，但一定条件下 是工程上可解的。本文将这些条件概括为强封闭 性准则，在符合该准则的工程项目中可应用暴力 法、训练法或它们的集成。 一个场景 D 在一个工程项目 P 中具有强封闭 性，如果满足下列所有条件：1) 场景 D 具有封闭 ·118· 智 能 系 统 学 报 第 15 卷