第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0:10.11992/tis.202007004 公平性机器学习研究综述 邓蔚2，邢钰晗'，李逸凡'，李振华3，王国胤 (1.西南财经大学统计研究中心，四川成都611130；2.重庆邮电大学计算智能重庆市重点实验室，重庆 400065,3.西南财经大学金融学院，四川成都611130) 摘要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理：算法偏见：公平性：公平性机器学习；公平性指标：公平性设计：公平性数据集：动态性 中图分类号：TP181文献标志码：A文章编号：1673-4785(2020)03-0578-09 中文引用格式：邓蔚，邢钰晗，李递凡，等.公平性机器学习研究综述八.智能系统学报，2020,15(3)：578-586. 英文引用格式：DENG Wei,XING Yuhan,LI Yifan,.etal.Survey on fair machine learningl..CAAI transactions on intelligent sys- tem3,2020,15(3:578-586. Survey on fair machine learning DENG Wei'2,XING Yuhan',LI Yifan',LI Zhenhua',WANG Guoyin' (1.Center of Statistical Research,Southwestern University of Finance and Economics,Chengdu 611130,China;2.Chongqing Key Laboratory of Computational Intelligence,Chongqing University of Posts and Telecommunications,Chongqing 400065,China; 3.School of Finance.Southwestern University of Finance and Economics.Chengdu 611130.China) Abstract:With the widespread applications of machine learning in our society,the problems of discrimination have caused widespread social controversy.It gradually arouses strong interests in fair machine learning in the industry and academia.Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learn- ing is still in their infancy.We makes a survey on fair machine learning.Starting from the definitions of fairness,it com- pares the different difinitions on fairness in different problems.Common datasets are also summarized.And the issues of fairness is analyzed.We classify and compare the existing methods of achieving fairness.Finally,we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords:algorithmic ethics;algorithmic discrimination:fairness:fair machine learning:fair indicator:fair design:fair dataset;dynamicity 随着机器学习算法被应用于金融、反恐、征问题引起国家、社会和公众的广泛关注”，如 税、司法、医疗、保险等公共领域，算法不仅为经 EEE(国际电气电子工程师学会)于2017年底发 济社会带来了许多进步，还决定着公民的福祉。 布的《人工智能设计的伦理准则》（第2版）⑧、欧 然而近些年来，由于种种原因导致不公平甚至是 盟于2018年发布的《人工智能、机器人与自动系 歧视现象的出现，如信用评分、犯罪预测和贷 统宣言》例、第40届数据保护与隐私专员国际大 款评估向等。算法伦理特别是机器学习的公平性 会于2018年发布的《人工智能伦理与数据保护 宣言》1，世界经济合作与发展组织(OED)于 收稿日期：2020-07-02. 基金项目：国家自然科学基金重点项目(61936001). 2019年发布的《人工智能原则》山、G20组织于 通信作者：王国胤.E-mail:wanggy(@cqupt.edu.cn. 2019年发布的Human-centred Al Principles、国
DOI: 10.11992/tis.202007004 公平性机器学习研究综述 邓蔚1,2，邢钰晗1 ，李逸凡1 ，李振华3 ，王国胤2 （1. 西南财经大学 统计研究中心，四川 成都 611130; 2. 重庆邮电大学 计算智能重庆市重点实验室，重庆 400065; 3. 西南财经大学 金融学院，四川 成都 611130） 摘 要：随着机器学习在社会中的广泛使用，带来的歧视问题引发广泛的社会争议，这逐步引起了产业界和学 术界对机器学习算法公平性问题的浓厚兴趣。目前对公平性度量和机器学习公平性机制的研究仍然处于初级 阶段。本文对公平性机器学习的研究进行了调研，首先从公平性的定义出发，比较了衡量公平性指标的方法， 然后调研了公平性数据集，对公平性问题的产生进行了分析，接下来对现有的公平性机器学习算法进行归类和 比较，最后总结了当前公平性机器学习研究中存在的问题，并对关键问题和重大挑战进行了讨论。 关键词：算法伦理；算法偏见；公平性；公平性机器学习；公平性指标；公平性设计；公平性数据集；动态性 中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2020)03−0578−09 中文引用格式：邓蔚, 邢钰晗, 李逸凡, 等. 公平性机器学习研究综述 [J]. 智能系统学报, 2020, 15(3): 578–586. 英文引用格式：DENG Wei, XING Yuhan, LI Yifan, et al. Survey on fair machine learning[J]. CAAI transactions on intelligent systems, 2020, 15(3): 578–586. Survey on fair machine learning DENG Wei1,2 ，XING Yuhan1 ，LI Yifan1 ，LI Zhenhua3 ，WANG Guoyin2 (1. Center of Statistical Research, Southwestern University of Finance and Economics, Chengdu 611130, China; 2. Chongqing Key Laboratory of Computational Intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 3. School of Finance, Southwestern University of Finance and Economics, Chengdu 611130, China) Abstract: With the widespread applications of machine learning in our society, the problems of discrimination have caused widespread social controversy. It gradually arouses strong interests in fair machine learning in the industry and academia. Nowdays the deep understanding of the basic issues related to fairness and mechanism of fair machine learning is still in their infancy. We makes a survey on fair machine learning. Starting from the definitions of fairness, it compares the different difinitions on fairness in different problems. Common datasets are also summarized. And the issues of fairness is analyzed. We classify and compare the existing methods of achieving fairness. Finally, we summarizes the problems in current fairness machine learning research and propose the key problems and important challenges in the future. Keywords: algorithmic ethics; algorithmic discrimination; fairness; fair machine learning; fair indicator; fair design; fair dataset; dynamicity 随着机器学习算法被应用于金融、反恐、征 税、司法、医疗、保险等公共领域，算法不仅为经 济社会带来了许多进步，还决定着公民的福祉[1-3]。 然而近些年来，由于种种原因导致不公平甚至是 歧视现象的出现，如信用评分[4] 、犯罪预测[5] 和贷 款评估[6] 等。算法伦理特别是机器学习的公平性 问题引起国家、社会和公众的广泛关注[ 7 ] ，如 IEEE(国际电气电子工程师学会) 于 2017 年底发 布的《人工智能设计的伦理准则》(第 2 版) [8] 、欧 盟于 2018 年发布的《人工智能、机器人与自动系 统宣言》[9] 、第 40 届数据保护与隐私专员国际大 会于 2018 年发布的《人工智能伦理与数据保护 宣言》[10] ，世界经济合作与发展组织 (OED) 于 2019 年发布的《人工智能原则》[11] 、G20 组织于 2019 年发布的 Human-centred AI Principles[12] 、国 收稿日期：2020−07−02. 基金项目：国家自然科学基金重点项目 (61936001). 通信作者：王国胤. E-mail：wanggy@cqupt.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020
第3期 邓蔚，等：公平性机器学习研究综述 ·579· 家新一代人工智能治理专业委员会于2020年发 民主思想与现存的公平概念结合，提出在不同社 布的《新一代人工智能治理原则一发展负责 会背景中某一特定的民主思想背景下，如何选取 任的人工智能》。在以上宣言或原则中，都不 公平性的评价标准，并指出反事实公平、无意识 同程度强调了算法的公平性问题。所谓公平性机 公平及基于组条件的公平更适用于竞争民主，个 器学习是将公平性植入到模型设计中，使得算法 体公平更适用于自由民主，基于偏好的公平更适 对敏感属性（如种族、性别宗教等）的分类预测结 用于平等民主。 果对人来说是公平或非歧视的。虽然模型的结果 1.4机会均等(equality of opportunity,.EO) 必须考虑准确性指标，但是也必须考虑其社会影 如果预测值满足P()=1S=0,Y=1)=P(S=1, 响，因此对机器学习的公平性的评估和分析显得 Y=1),则称算法实现了机会均等。比较在同类别 尤为重要4均 Y中的基于不同敏感属性S,预测标签的概率是否 相等，称为基于组条件精度的公平。不同的EO 1 公平性的定义 的衍生定义如表1所示。 公平性机器学习算法需要考虑两个密切相关 表1不同的机会均等定义 Table 1 Different definitions of EO 的方面：首先是在特定社会场景中如何定义公平 名称 数学定义 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： s的淮确率 P(Y=ylS=s.Y=y) S表示敏感属性或受保护属性；X表示除了受保 s的召回率 P(P=11S=s,Y=1) 护属性外的其他可观测属性；Y为要被预测的标 s-TNR P(P=0|S=s,Y=0) 签；P为对于Y的预测，是取决于S、X的随机 s-BCR [P(P=0S=3,Y=0+P(P=1S=s,Y=/2 变量。 Chouldechova2的目标是在敏感群体中实现 l.l无意识公平(fairness through unawareness,.FTU) 如果在算法中不使用受保护属性S进行训练 1-s-TPR和1-s-TNR值相等，即错误率平衡。在 及预测，则这个算法的公平满足FTU6。FTU模 敏感群体中如果实现了相同的s-TPR和1-s-TNR, 型简单，但是加入X包含类对S的歧视性信息，导 则称机会均衡。 致不公平。 l.5不同对待(disparate treatment) 通常法律通过两个不同概念来评估决策过程 l.2个体公平(individual fairness,.IF) IF是由Dwork在2012年提出的7。如果一 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 个算法对于相似个体的预测结果是相同的，就称 过程将导致不同对待。当决策系统为具有相同 其实现了个体公平。给定一个度量，如果个体 1和j是相似的，则对其预测也应该相似18-20。 (或类似)非敏感属性（或特征）值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Kim等改进了告知个人偏好的个体公平(pref Zafar等P参照上述两种概念定义，通过从决 erence-informed individual fairness,.PIF),即放松个 策过程中删除敏感属性避免不同对待，以及增加 体公平，允许偏离F但是要符合个人偏好，可以 公平约束消除不同影响进行研究。观察到标准的 为个人提供更为有利的解决方案。 公平约束是非凸的，其引入协方差将非凸问题转 l.3人口均等(demographic parity,DP)/不同影响 化为凸型，并通过参数来衡量输出结果及敏感属 (disparate impact,DI) 性，研究了多分类的敏感属性及多个敏感属性分 如果预测值氵满足P(S=O)=P(位S=1),则 析问题。 算法实现了人口均等(DP)P l.6不同误判率(disparate mistreatment,.DM) DI定义为P(立lS=O)/P(?S=1)。在二分类 在决策实现公平性中，如果历史数据中存在 中，所有非特权类被分组成一个单独的值S=0(例 偏见，那么不同影响及不同对待适合作为公平衡 如，“非白种人”)，与特权类S=1(例如，“白种人”) 量标准，但是当训练数据是基于历史事实而来， 进行比较。在多分类中，对特权组进行成对DI计 使用不同误判率指标来衡量公平性会更准确。当 算，并取这些计算的平均值作为最终值四。 分类器对于不同敏感属性输出错误率不同时，称 Zafar等2)在将不同影响解释为决策系统的 为不同误判率DM,公式为2 不同结果，对于具有敏感属性的某些人群，所产 P(2=1lY=0,S=0)+P(2=0Y=1,S=0)= 生的不同有益或有害的影响。Beretta等P将5种 P(Y=1IY=0,S=1)+P(P=0lY=1,S=1)
家新一代人工智能治理专业委员会于 2020 年发 布的《新一代人工智能治理原则−发展负责 任的人工智能》[13]。在以上宣言或原则中，都不 同程度强调了算法的公平性问题。所谓公平性机 器学习是将公平性植入到模型设计中，使得算法 对敏感属性 (如种族、性别宗教等) 的分类预测结 果对人来说是公平或非歧视的。虽然模型的结果 必须考虑准确性指标，但是也必须考虑其社会影 响，因此对机器学习的公平性的评估和分析显得 尤为重要[14-15]。 1 公平性的定义 Yˆ 公平性机器学习算法需要考虑两个密切相关 的方面：首先是在特定社会场景中如何定义公平 性，其次是社会可接受程度。通常假定敏感属性 为二元属性，以下对本文中使用的符号进行定义： S 表示敏感属性或受保护属性；X 表示除了受保 护属性外的其他可观测属性；Y 为要被预测的标 签 ； 为对于 Y 的预测，是取决于 S、X 的随机 变量。 1.1 无意识公平 (fairness through unawareness, FTU) 如果在算法中不使用受保护属性 S 进行训练 及预测，则这个算法的公平满足 FTU[16]。FTU 模 型简单，但是加入 X 包含类对 S 的歧视性信息，导 致不公平。 1.2 个体公平 (individual fairness, IF) IF 是由 Dwork 在 2012 年提出的[17]。如果一 个算法对于相似个体的预测结果是相同的，就称 其实现了个体公平。给定一个度量，如果个体 i 和 j 是相似的，则对其预测也应该相似[ 1 8 - 2 0 ]。 Kim 等 [21] 改进了告知个人偏好的个体公平 (preference-informed individual fairness，PIIF)，即放松个 体公平，允许偏离 IF 但是要符合个人偏好，可以 为个人提供更为有利的解决方案。 1.3 人口均等 (demographic parity, DP)/不同影响 (disparate impact, DI) 如果预测值 Yˆ 满足 P( Yˆ |S =0) = P ( Yˆ |S = 1)，则 算法实现了人口均等 (DP)[21]。 DI 定义为 P( Yˆ |S =0)/P ( Yˆ |S = 1)。在二分类 中，所有非特权类被分组成一个单独的值 S=0（例 如，“非白种人”），与特权类 S=1（例如，“白种人”） 进行比较。在多分类中，对特权组进行成对 DI 计 算，并取这些计算的平均值作为最终值[22]。 Zafar 等 [23] 在将不同影响解释为决策系统的 不同结果，对于具有敏感属性的某些人群，所产 生的不同有益或有害的影响。Beretta 等 [24] 将 5 种 民主思想与现存的公平概念结合，提出在不同社 会背景中某一特定的民主思想背景下，如何选取 公平性的评价标准，并指出反事实公平、无意识 公平及基于组条件的公平更适用于竞争民主，个 体公平更适用于自由民主，基于偏好的公平更适 用于平等民主。 1.4 机会均等 (equality of opportunity, EO) 如果预测值满足 P( γˆ = 1 |S=0,Y=1)= P( γˆ |S = 1, Y=1)，则称算法实现了机会均等。比较在同类别 Y 中的基于不同敏感属性 S，预测标签的概率是否 相等，称为基于组条件精度的公平。不同的 EO 的衍生定义如表 1 所示。 表 1 不同的机会均等定义 Table 1 Different definitions of EO 名称 数学定义 s的准确率 P(Yˆ = y | S = s,Y = y) s的召回率 P(Yˆ = 1 | S = s,Y = 1) s-TNR P(Yˆ = 0 | S = s,Y = 0) s-BCR [ P ( Yˆ = 0|S = s, Y = 0 ) + P ( Yˆ = 1|S = s, Y = 1 )] /2 Chouldechova[25] 的目标是在敏感群体中实现 1−s-TPR 和 1−s-TNR 值相等，即错误率平衡。在 敏感群体中如果实现了相同的 s-TPR 和 1−s-TNR， 则称机会均衡。 1.5 不同对待 (disparate treatment) 通常法律通过两个不同概念来评估决策过程 的公平性：不同对待和不同影响。如果决策过程 部分或全部基于受试者的敏感属性信息，则决策 过程将导致不同对待。当决策系统为具有相同 (或类似) 非敏感属性 (或特征) 值，但不同敏感属 性值的人群提供不同的输出结果时，称为不同对待。 Zafar 等 [23] 参照上述两种概念定义，通过从决 策过程中删除敏感属性避免不同对待，以及增加 公平约束消除不同影响进行研究。观察到标准的 公平约束是非凸的，其引入协方差将非凸问题转 化为凸型，并通过参数来衡量输出结果及敏感属 性，研究了多分类的敏感属性及多个敏感属性分 析问题。 1.6 不同误判率 (disparate mistreatment, DM) 在决策实现公平性中，如果历史数据中存在 偏见，那么不同影响及不同对待适合作为公平衡 量标准，但是当训练数据是基于历史事实而来， 使用不同误判率指标来衡量公平性会更准确。当 分类器对于不同敏感属性输出错误率不同时，称 为不同误判率 DM，公式为[23] P(Yˆ = 1|Y = 0, S = 0)+ P(Yˆ = 0|Y = 1,S = 0) = P(Yˆ = 1|Y = 0,S = 1)+ P(Yˆ = 0|Y = 1,S = 1) 第 3 期 邓蔚，等：公平性机器学习研究综述 ·579·
·580· 智能系统学报 第15卷 1.7基于组条件的校准度量 l.9事前公平(ex-ante fairness)及事后公平(ex- 在敏感值均衡中引入校准的概念，即如果 post fairness) p(Y=1P=p)=p,则输出事件概率？的预测因子 事前公平指一个算法A满足对于任意一对候 被称为经过良好校准。可以通过调节校准功能来 选人x和xn,其累积分布函数F(x)>F(x),则 确定公平性测量s2。 概率满足E[A(X)]≥E[A(Xxr小。 l.8反事实公平(counterfactual fairness) 事后公平指一个算法A满足对于任意一对候 由Kusner等提出，建立在给定结构方程模 选人xg和x,其累积分布函数F(x)>F(x),个 型(U,V,F)的基础上，其中U表示潜变量，V三 体只当xy也被选中时才被选中阿 SUX,F为一系列方程。如果预测值氵满足式 1.10综合分析比较 (1),则称为反事实公平： 许多不同公平性定义方法在本质上是相关 P(Ps;(U)=ylX=x.S=s)= 的。Friedler等w通过分析许多算法的公平性度 P(Ys(U)=ylX=x,S=s) (1) 量，度量了不同定义的相关性，发现不同的公平 该定义针对个体层面，如果在现实世界和反 性指标之间有着非常密切的相关性，分别在Ricci 事实世界中预测相同，那么对个人是公平的。 和Adut数据集上进行了实验，如图1所示。 ■1.0 1-accuracy TPR 0 Race-TPR TNR 0-accuracy 0 Race-TNR calibration+ BCR 0 accuracy -0.2 Ice-accuracy -0.4 e-calibration- CV -0.6 Dlbinary -0.8 Dlavgall (a)Ricci,Zafar (b)Adult,Feldman -1.0 图1不同公平性标准之间的关系 Fig.1 Examining the relationships between different measures of fairness 图1表示数据集和算法的相关性分析，展示 在某些情况下，期望在不同的公平性度 了不同的公平性度量如何相互关联。各种群体条 量之间进行权衡。Chouldechova!2s1和Klein- 件下的公平指标之间的关系非常密切。值得注意 berg等研究表明，假设不同人群比率不相 的是，对负结果的群条件校准测量(s-calibration) 等，则不可能同时实现校准和错误率平衡（组 与其他组条件测量相比，它与基准率测量的关系 间相同的假阳性率和相同的假阴性率)。Friedler 更为密切。 等通过一个实例检验了这种权衡。每种算 此外准确性指标与群体条件下的公平指标相 法的s-calibration与s-TPR之间存在明显的权 关性，表明公平性-准确性的权衡与基准率公平 衡，且不同的算法位于不同的权衡线上，如图2 度量更相关。 所示。 算法 0.16F Beldman-Decision Tre 0.14 Feldman-GaussianNB-Dlavgall 0.12 Feldman-GaussianNB-accuracy Feldman-LR Feldman-SVM 0.10 Feldman-SVM-Dlavgall Feldman-SVM-accuracy 0.08 GaussianNB Kamishima 0.06 Kamishima-Dlavgall Kamishima-accuracy 0.4 0.5 0.6 0.7 0.8 sex-TPR ZafarFairness 图2对于所有算法在Adult数据集中sex-calibration和sex-TPR指标之间的权衡 Fig.2 Trade-off between s-calibration and s-TPR for all algorithms on the Adult dataset
1.7 基于组条件的校准度量 p(Y = 1|Yˆ = p) =p Yˆ 在敏感值均衡中引入校准的概念，即如果 ，则输出事件概率 的预测因子 被称为经过良好校准。可以通过调节校准功能来 确定公平性测量[25-26]。 1.8 反事实公平 (counterfactual fairness) Yˆ 由 Kusner 等 [15] 提出，建立在给定结构方程模 型 (U,V,F) 的基础上，其中 U 表示潜变量，V ≡ S∪X，F 为一系列方程。如果预测值 满足式 (1)，则称为反事实公平： P(Yˆ S←s (U) = y|X = x,S = s) = P(Yˆ S←s ′ (U) = y|X = x,S = s) (1) 该定义针对个体层面，如果在现实世界和反 事实世界中预测相同，那么对个人是公平的。 1.9 事前公平 (ex-ante fairness) 及事后公平 (expost fairness) xi ′ j ′ F ′ j ( xi ′ j ′ ) E [ A ( X, xi j) ]⩾ E[A ( X, xi ′ j ′ )] 事前公平指一个算法 A 满足对于任意一对候 选人 xij 和 ，其累积分布函数 Fj (xij) > ，则 概率满足 。 xi ′ j ′ F ′ j ( xi ′ j ′ ) xi ′ j ′ 事后公平指一个算法 A 满足对于任意一对候 选人 xij 和 ，其累积分布函数 Fj (xij) > ，个 体 只当 xij 也被选中时才被选中[27]。 1.10 综合分析比较 许多不同公平性定义方法在本质上是相关 的。Friedler 等 [14] 通过分析许多算法的公平性度 量，度量了不同定义的相关性，发现不同的公平 性指标之间有着非常密切的相关性，分别在 Ricci 和 Adult 数据集上进行了实验，如图 1 所示。 1-accuracy TPR Race-TPR TNR 0-accuracy Race-TNR calibration+ BCR accuracy Ice-accuracy e-calibrationCV Dlbinary Dlavgall (a) Ricci, Zafar (b) Adult, Feldman 1.0 0.8 0.6 0.4 0.2 0 −0.2 −0.4 −0.6 −0.8 −1.0 图 1 不同公平性标准之间的关系 Fig. 1 Examining the relationships between different measures of fairness 图 1 表示数据集和算法的相关性分析，展示 了不同的公平性度量如何相互关联。各种群体条 件下的公平指标之间的关系非常密切。值得注意 的是，对负结果的群条件校准测量 (s-calibration) 与其他组条件测量相比，它与基准率测量的关系 更为密切。 此外准确性指标与群体条件下的公平指标相 关性，表明公平性−准确性的权衡与基准率公平 度量更相关。 在某些情况下，期望在不同的公平性度 量之间进行权衡。 Chouldechova[25] 和 Kleinberg 等 [28] 研究表明，假设不同人群比率不相 等，则不可能同时实现校准和错误率平 衡 (组 间相同的假阳性率和相同的假阴性率)。Friedler 等 [14] 通过一个实例检验了这种权衡。每种算 法 的 s-calibration 与 s-TPR 之间存在明显的权 衡，且不同的算法位于不同的权衡线上，如图 2 所示。 sex-calibration 0.16 0.14 0.12 0.10 0.08 0.06 0.4 0.5 0.6 0.7 0.8 sex-TPR 算法 Calders DecisionTree Feldman-DecisionTree Feldman-GaussianNB Feldman-GaussianNB-Dlavgall Feldman-GaussianNB-accuracy Feldman-LR Feldman-SVM Feldman-SVM-Dlavgall Feldman-SVM-accuracy GaussianNB Kamishima Kamishima-Dlavgall Kamishima-accuracy LR SVM ZafarFairness 图 2 对于所有算法在 Adult 数据集中 sex-calibration 和 sex-TPR 指标之间的权衡 Fig. 2 Trade-off between s-calibration and s-TPR for all algorithms on the Adult dataset ·580· 智 能 系 统 学 报 第 15 卷
第3期 邓蔚，等：公平性机器学习研究综述 ·581· 2公平性测试数据集 出不同阶段描述解决问题的策略机制。在输入阶 段，存在问题是输入数据集中存在偏差：在过程 公平性测试数据集和普通数据集的差别在于 阶段，存在程序的黑箱问题：而输出阶段存在算 具有敏感属性，目前国际上对公平性机器学习算 法决策产生的歧视性影响。 法的测试大多基于以下几个数据集。 3.1预处理公平性设计 2.1消防员晋升(ricei) 训练数据中存在的不公平是算法能学习的， 该数据集来源于美国最高法院诉讼案，是关 如使训练算法不能学习该偏差就能得到预处理公 于消防员是否会获得晋升的测试数据集，包括 平，可归为两类：1)更改训练数据中单个项目的 118条记录和5个属性，其中有一个敏感属性（种 敏感属性或类标签的值；2)将训练数据映射到转 族)，目标是预测晋升，同时实现对敏感属性的 换空间，在该空间中敏感属性和类标签之间的依 公平29 赖关系消失。 2.2成年人收入(adult income) Feldman等B对每个属性进行修改，使得基 该数据集包含1994年美国人口普查的个人 于给定敏感属性子集的边际分布都相等，并且这 信息，有45222条记录，14个属性（包括年龄、种 种改变不会影响其他变量，转换后的数据保留了 族、性别、受教育程度等)，还包含有一个二分类 非敏感属性的大部分特征信号，还提出交叉敏感 标签，表示每个个体的收入是否超过50000美元。 属性，并且两种敏感属性的影响不叠加。 2.3 德国人信用贷款(german credit) 其他方法包括具有二元敏感属性和二分类问 该数据集包含1000个记录和20个属性，标 题，对预处理技术进行改进，抑制敏感属性，通过 签描述了每个人的信用分类为好或坏。敏感属性 更改类标签来调整数据集，重新加权或重新采样 包含性别、年龄，性别不直接包含在数据中，但可 以从给定的信息中得到。 数据以消除歧视，而无需重新标记实例。Calmon 等B”提出了一种用于学习数据转换的凸优化，其 2.4预测再次被捕率 该数据是关于佛罗里达州布劳沃德县使用 目标有控制歧视、限制单个数据样本中的失真度 COMPAS风险评估工具评估的数据，包括6167人 以及保持效用。 的少年重罪数量、当前速捕的指控程度等信息， 3.2过程公平性设计 以及敏感属性（种族和性别），预测在第一次被捕 对特定机器学习算法的改进中，最常见的是 后的两年内被再次逮捕的概率。 给算法附加约束条件。Kusner等将因果模型 2.5预测再犯暴力 引入到算法中，并给出了3种实现不同等级算法 该数据描述了与上述累犯数据相同的情况， 公平性的方法。1)运用与敏感属性无直接或间接 但预测结果是两年内再次暴力犯罪的结果。预处 关联的属性来构建模型；2)通过潜在变量来构建 理后共有4010人，敏感属性为种族和性别的。 模型，潜在变量是可观测变量的非确定性因素； 2.6银行营销数据 3)通过具有潜变量的确定性模型（如加性误差模 该数据集有45211条记录，17个属性，还包含 型)进行建模。Zafar等1对不同误判率下的逻辑 一个二分类标签，表示每个客户是否有定期存款。 回归及支持向量机算法进行改进，基于历史信息 2.7纽约市阻止和搜身NYC stop and frisk) 不存在偏见，在基于不同误判率的公平性和准确 该数据集是阻止、搜索和搜身数据集，该网 性之间提供了灵活的权衡。当敏感属性信息不可 站提供了纽约警察局阻止的司机的人口学信息和 用时，此方法效果较好。Zemel等o结合预处理 其他信息，总共有45787条记录，具有73个特征， 和算法修改，学习规范数据表示以实现在分类 受保护属性为种族叫。 中实现高效，同时实现不受敏感属性值的影响。 2.8美国司法部数据 Kearns等2m结合事前公平及事后公平，利用不同 该数据集包含1990~2009年在美国75个人 个体的累积分布函数，给定一组个体的得分，根 口最多的县中40个保留了151461名重罪被告的 据候选人的经验值来提供置信区间，然后将使用 法院处理信息。 的偏差界限为候选人分配分数，运行NoisyTop算 3公平性机器学习设计 法提供近似的公平性。Kamishima等1引入以公 平性为中心的正则化项，并应用于逻辑回归分类 从算法的基本定义出发，用输入、过程及输 算法中。Calders等B为敏感属性的每个值构建
2 公平性测试数据集 公平性测试数据集和普通数据集的差别在于 具有敏感属性，目前国际上对公平性机器学习算 法的测试大多基于以下几个数据集。 2.1 消防员晋升 (ricci) 该数据集来源于美国最高法院诉讼案，是关 于消防员是否会获得晋升的测试数据集，包括 118 条记录和 5 个属性，其中有一个敏感属性 (种 族)，目标是预测晋升，同时实现对敏感属性的 公平[29]。 2.2 成年人收入 (adult income) 该数据集包含 1994 年美国人口普查的个人 信息，有 45 222 条记录，14 个属性 (包括年龄、种 族、性别、受教育程度等)，还包含有一个二分类 标签，表示每个个体的收入是否超过 50 000 美元[30]。 2.3 德国人信用贷款 (german credit) 该数据集包含 1 000 个记录和 20 个属性，标 签描述了每个人的信用分类为好或坏。敏感属性 包含性别、年龄，性别不直接包含在数据中，但可 以从给定的信息中得到[31]。 2.4 预测再次被捕率 该数据是关于佛罗里达州布劳沃德县使用 COMPAS 风险评估工具评估的数据，包括 6167 人 的少年重罪数量、当前逮捕的指控程度等信息， 以及敏感属性 (种族和性别)，预测在第一次被捕 后的两年内被再次逮捕的概率[32]。 2.5 预测再犯暴力 该数据描述了与上述累犯数据相同的情况， 但预测结果是两年内再次暴力犯罪的结果。预处 理后共有 4 010 人，敏感属性为种族和性别[32]。 2.6 银行营销数据 该数据集有 45211 条记录，17 个属性，还包含 一个二分类标签，表示每个客户是否有定期存款[33]。 2.7 纽约市阻止和搜身 (NYC stop and frisk) 该数据集是阻止、搜索和搜身数据集，该网 站提供了纽约警察局阻止的司机的人口学信息和 其他信息，总共有 45 787 条记录，具有 73 个特征， 受保护属性为种族[34]。 2.8 美国司法部数据 该数据集包含 1990~2009 年在美国 75 个人 口最多的县中 40 个保留了 151 461 名重罪被告的 法院处理信息。 3 公平性机器学习设计 从算法的基本定义出发，用输入、过程及输 出不同阶段描述解决问题的策略机制。在输入阶 段，存在问题是输入数据集中存在偏差；在过程 阶段，存在程序的黑箱问题；而输出阶段存在算 法决策产生的歧视性影响。 3.1 预处理公平性设计 训练数据中存在的不公平是算法能学习的， 如使训练算法不能学习该偏差就能得到预处理公 平，可归为两类：1) 更改训练数据中单个项目的 敏感属性或类标签的值；2) 将训练数据映射到转 换空间，在该空间中敏感属性和类标签之间的依 赖关系消失。 Feldman 等 [35] 对每个属性进行修改，使得基 于给定敏感属性子集的边际分布都相等,并且这 种改变不会影响其他变量，转换后的数据保留了 非敏感属性的大部分特征信号，还提出交叉敏感 属性，并且两种敏感属性的影响不叠加。 其他方法包括具有二元敏感属性和二分类问 题，对预处理技术进行改进，抑制敏感属性，通过 更改类标签来调整数据集，重新加权或重新采样 数据以消除歧视，而无需重新标记实例[36]。Calmon 等 [37] 提出了一种用于学习数据转换的凸优化，其 目标有控制歧视、限制单个数据样本中的失真度 以及保持效用。 3.2 过程公平性设计 对特定机器学习算法的改进中，最常见的是 给算法附加约束条件。Kusner 等 [15] 将因果模型 引入到算法中，并给出了 3 种实现不同等级算法 公平性的方法。1) 运用与敏感属性无直接或间接 关联的属性来构建模型；2) 通过潜在变量来构建 模型，潜在变量是可观测变量的非确定性因素； 3) 通过具有潜变量的确定性模型 (如加性误差模 型) 进行建模。Zafar 等 [16] 对不同误判率下的逻辑 回归及支持向量机算法进行改进，基于历史信息 不存在偏见，在基于不同误判率的公平性和准确 性之间提供了灵活的权衡。当敏感属性信息不可 用时，此方法效果较好。Zemel 等 [20] 结合预处理 和算法修改，学习规范数据表示以实现在分类 中实现高效，同时实现不受敏感属性值的影响。 Kearns 等 [27] 结合事前公平及事后公平，利用不同 个体的累积分布函数，给定一组个体的得分，根 据候选人的经验值来提供置信区间，然后将使用 的偏差界限为候选人分配分数，运行 NoisyTop 算 法提供近似的公平性。Kamishima 等 [38] 引入以公 平性为中心的正则化项，并应用于逻辑回归分类 算法中。Calders 等 [39] 为敏感属性的每个值构建 第 3 期 邓蔚，等：公平性机器学习研究综述 ·581·
·582· 智能系统学报 第15卷 了单独的模型，并根据相应输入的属性值来适当 值。Kamiran等通过在训练后修改决策树中的 选择模型，在CV度量下评估迭代组合模型的公 叶子标签，以满足公平约束。Woodworth等)采 平性。Bose等o1针对现有的图嵌入算法无法处 取了一阶矩的统计和计算理论学习非歧视预测， 理公平约束的问题，在确保学习表示与敏感属性 提出了统计上最佳的二阶矩程序，同时在二阶矩 不相关的条件下，通过引入对抗框架来对图嵌入 上对非歧视性较为松弛，使得算法易于学习。 进行公平性约束，使用复合框架去除掉更多的敏 3.4公平性算法分类 感信息。 部分算法比较如表2所示。Corbett-.davies 3.3后处理公平性设计 等将公平性算法定义分为3类，即反分类(anti- Hardt等彻考虑在敏感属性情况下，对不公平 classfication)、分类均等(classification parity)、校准 类别的概率估计进行后处理，学习不同敏感属性 (calibration),并指出3种公平性算法的定义都受 下的不同决策阈值，并在决策时应用这些特定阈 到统计上的限制，如表3所示。 表2算法之间的比较 Table 2 Comparison between algorithms 算法 S是否是多分类？ 一次能处理多个S吗？ 其他分类数量 分类器 FeldmanB35] 数值型 任何 Kamiran,Calders X 数值型 基于打分的分类器 Calmont37 × 分类及数值 任何 Kamishima × 数值型 逻辑回归 Calders,Verwe × 分类及数值 朴素贝叶斯 ZafarP1 V 数值型 基于凸边缘分布的分类器 Kusnerlis] 分类及数值 构建结构方程 Kamiran42 分类及数值 决策树 Hardt4n 分类及数值 任何 Woodworth43 分类及数值 任何 表3公平性算法的分类 Table 3 Algorithm classifications of fair machine learning 公平性算法分类 特点 缺陷 规定算法不考虑受保护的特征， 1)此策略可确保决策不明确依赖于组成员身份： 反分类 如种族、性别或其代理人 2)即使不使用受保护的特征，明显的歧视行为是可能的 要求某些常见的预测性能指标在被 1)当风险分布不同时，强制执行分类均等常常会降低所有 分类均等 保护属性限制的群体中是相等的 群体的效用：2)误解假正率是一个群体总体福祉的合理代表 要求结果是独立于保护属性， 不足以确保风险分数是准确的或决定是公平的， 校准 控制估计的风险 在评估离散风险评分的校准时必须小心谨慎 4 公平性机器学习应用研究 试，展示了如何在一个简单、程式化的环境中，使 用小额货币支付来激励个人公平的特定概念。 4.1环境演化与动态性公平 Davies等46在分类中采用公平的福利最大化观 大多数的公平性算法任务关注于一次性的分 点，并描述了附加统计公平约束的成本。 类任务，但是在现实的算法系统中包含着很多相 在动态环境中，Google提出了ML-fairness-. 互影响的因素。在某些场景中，学习算法本身会 gym仿真框架.4，可以帮助理解算法如何动态 作用于复杂环境的动态演化，而公平性也会相应 地影响信息系统的环境以及人类行为者的动机。 地在不同群体间变化。 以公平性为导向适用于马尔可夫决策过程框架， 在静态环境中，Kannan等4进行了初步尝 具有很高的泛化能力
了单独的模型，并根据相应输入的属性值来适当 选择模型，在 CV 度量下评估迭代组合模型的公 平性。Bose 等 [40] 针对现有的图嵌入算法无法处 理公平约束的问题，在确保学习表示与敏感属性 不相关的条件下，通过引入对抗框架来对图嵌入 进行公平性约束，使用复合框架去除掉更多的敏 感信息。 3.3 后处理公平性设计 Hardt 等 [41] 考虑在敏感属性情况下，对不公平 类别的概率估计进行后处理，学习不同敏感属性 下的不同决策阈值，并在决策时应用这些特定阈 值。Kamiran 等 [42] 通过在训练后修改决策树中的 叶子标签，以满足公平约束。Woodworth 等 [43] 采 取了一阶矩的统计和计算理论学习非歧视预测， 提出了统计上最佳的二阶矩程序，同时在二阶矩 上对非歧视性较为松弛，使得算法易于学习。 3.4 公平性算法分类 部分算法比较如表 2 所示。Corbett-davies[44] 等将公平性算法定义分为 3 类，即反分类 (anticlassfication)、分类均等 (classification parity)、校准 (calibration)，并指出 3 种公平性算法的定义都受 到统计上的限制，如表 3 所示。 表 2 算法之间的比较 Table 2 Comparison between algorithms 算法 S是否是多分类? 一次能处理多个S吗? 其他分类数量 分类器 Feldman[35] √ √ 数值型 任何 Kamiran，Calders[36] × × 数值型 基于打分的分类器 Calmon[37] √ × 分类及数值 任何 Kamishima[38] × × 数值型 逻辑回归 Calders,Verwer[39] × × 分类及数值 朴素贝叶斯 Zafar[23] √ √ 数值型 基于凸边缘分布的分类器 Kusner[15] × × 分类及数值 构建结构方程 Kamiran[42] × × 分类及数值 决策树 Hardt[41] √ × 分类及数值 任何 Woodworth[43] × × 分类及数值 任何 表 3 公平性算法的分类 Table 3 Algorithm classifications of fair machine learning 公平性算法分类 特点 缺陷 反分类 规定算法不考虑受保护的特征， 如种族、性别或其代理人 1) 此策略可确保决策不明确依赖于组成员身份； 2) 即使不使用受保护的特征，明显的歧视行为是可能的 分类均等 要求某些常见的预测性能指标在被 保护属性限制的群体中是相等的 1) 当风险分布不同时，强制执行分类均等常常会降低所有 群体的效用；2) 误解假正率是一个群体总体福祉的合理代表 校准 要求结果是独立于保护属性， 控制估计的风险 不足以确保风险分数是准确的或决定是公平的， 在评估离散风险评分的校准时必须小心谨慎 4 公平性机器学习应用研究 4.1 环境演化与动态性公平 大多数的公平性算法任务关注于一次性的分 类任务，但是在现实的算法系统中包含着很多相 互影响的因素。在某些场景中，学习算法本身会 作用于复杂环境的动态演化，而公平性也会相应 地在不同群体间变化。 在静态环境中，Kannan 等 [45] 进行了初步尝 试，展示了如何在一个简单、程式化的环境中，使 用小额货币支付来激励个人公平的特定概念。 Davies 等 [46] 在分类中采用公平的福利最大化观 点，并描述了附加统计公平约束的成本。 在动态环境中，Google 提出了 ML-fairnessgym 仿真框架[47-48] ，可以帮助理解算法如何动态 地影响信息系统的环境以及人类行为者的动机。 以公平性为导向适用于马尔可夫决策过程框架， 具有很高的泛化能力。 ·582· 智 能 系 统 学 报 第 15 卷