AI内参_27_026_ICML_2018论文精读聊一聊机器学习算法的公平性问题

你好，我是洪亮杰。

今天我和你分享的主题是ICML二零一八论文精读聊一聊机器学习算法的公平性问题。

在上一次的分享里，我们介绍了今年ICML大会的一篇最佳论文。

这篇一篇非常优秀的机器学习和计算机安全相结合的论文。

这篇论文剖析了目前在白盒攻击的场景下，攻击方如何绕过一种叫做混淆梯度的情况来实现有效攻击的目的。

所以我们来分享ICML二零一八的另一篇最佳论文。

这篇论文主要探讨了公平在机器学习中的应用，论文的五位作者都来自加州大学伯克利分校。

这篇论文所探讨的主题是机器学习的公平性问题。

近些年这个主题受到了学术界越来越多的关注。

但是对于普通的人工智能工程师和数据科学家来说，这个议题依然显得比较陌生和遥远。

所以我先来简单梳理一下这方面研究的核心思想。

机器学习有一个重要的应用，就是在各类决策场景中提供帮助，例如申请贷款、大学入学、警察执行等。

一个不可否认的特点是，这些决策很有可能会对社会或者个人产生重大的、不可逆转的后果。

其中一个重要的后果就是针对不同的人群，有可能会产生意想不到的不公平的境况。

比如有一些普遍使用的算法，在帮助警察判断一个人是否可能是罪犯的时候，系统会认为美国黑人相对于白人更容易犯罪，这个判断显然存在一定的问题。

机器学习研究者已经注意到了这种算法中的公平问题，并且开始探讨没有任何限制条件的机器学习算法是否会对少数族裔产生不公平的决策判断。

基于这些探索，研究者们提出了一系列的算法，对现有的各种机器学习模型增加了和公平相关的限制条件。

希望通过这种方法来解决各种不公平定义下的决策问题。

这篇论文从理论角度展开讨论。

基于什么样假设和条件下的具有公平性质的积极学习算法，在决策场景中能够真正为少数族群带来长期的福祉。

值得注意的是，这里所谓的少数族裔是一个抽象化的概念，指的是数目相对较少的，或者在某种特性下比较少的一组数据群体。

这篇论文并不直接讨论社会学意义下的少数族群的定义。

作者们主要是比较两个人群，a和b在不同的公平条件下看这两组人群的某种效用的差值会发生什么变化。

这个差值可以是正的，没变化或者是负的论文的主要结论是在不同的公平条件下效用差值会有各种可能性，这其实是一个非常重要的结论。

有一些公平条件，直觉上我们感觉会促进少数族群的效用。

但这篇论文向我们展示了即便出发点是好的，在某些情况下，效用差值也可能是负的。

除此以外，这篇论文还探讨了测量误差对效用差值的影响。

作者们认为，测量误差也应该被纳入整个体系中去思考公平的问题。

需要指出的是，论文的分析方法主要是建立在时序关系的一步预测基础上的。

也就是说，我们利用当前的数据和模型，对下一步的决策判断进行分析，并不包括对未来时间段所有的预测。

从理论上来说，如果在无限未来时间段的情况下结论有可能发生变化。

这篇论文的核心思路是探讨针对人群a和b所采取的一种策略，是怎么样影响这两组人群的效用差别的。

如果某种策略会导致某个群体的效用差别为负，那么我们就说这个策略对群体产生了绝对损坏作用。

如果效用差别是零，就说明这个策略对群体产生了停滞作用。

如果效用差别是正的，就说明这个策略对群体产生了推动作用。

除此以外，我们认为有一种不考虑人群a和b具体特征的期望，最大化效用的策略称之为最大化效用。

这种策略其实就是在没有约束条件的情况下，利用一般的积器学习算法达到的效果。

我们需要把新策略和这个策略进行比较。

如果新的策略比这个策略好，就是产生了相对推动。

反之。

我们说新的策略产生了相对损害。

为了进一步进行分析，作者们引入了一个叫结果曲线的工具来视觉化策略和效用差值的关系。

具体来说，曲线的横轴就是因为策略所导致的对某一个群体的选择概率，纵轴就是效用差值。

当我们有了这个曲线之后，就能非常直观的看到效用差值的变化。

点击文稿可以看到可视化的曲线。

从这个曲线上我们可以看到，效用差值的确在一个区间内是相对损害的。

而在另一个区间是相对损害的，在最右边的一个区间内是绝对损害的。

那么这就打破了我们之前的一个看法，认为有一些选择策略会一致性的，导致唯一结果。

在此基础上，我们专门来看这两种特殊的策略，第一种叫种族公平思路，是希望在两个人群中保持一样的选择概率。

另一种策略叫公平机会，思路是希望某个人群中成功的概率，例如申请到贷款、学校录取等和人群无关。

这两种策略都是典型的试图利用限制条件来达到公平的方法。

我们希望来比较的就是这两种策略，以及之前说的最大化效用之间的一些关系，得出以下三个主要结论。

第一个比较出乎意料的结论是最大化效用，这个策略并不是导致绝对损害。

意思就是说，和人们之前的一些想法不同，最大化效用也有能够让少数族裔的效用得到提升或者不变。

第二个结论是，这两种公平策略都可能会造成相对推动，这也是推出这两种策略的初衷，希望能够在选择概率上进行调整，从而让少数族裔的效用得到提升。

第三个结论是，这两种公平策略都可能会造成相对损害。

这是本篇论文的一个重要结论。

正式的证明了公平策略在某个区间上其实并没有带来正向的推动，反而是损害了少数族群。

作者们进一步比较了种族公平和公平机会，这两个策略发现公平机会可以避免绝对损害，而种族公平则无法做到。

今天我为你讲了今年ICML的另一篇最佳论文，我们一起来回顾一下要点。

第一，这篇论文讨论了计算机算法的公平性问题。

第二，我们详细介绍了论文提出的两种策略以及得出的主要结论。

最后给你留一个思考题，研究算法的公平性，对我们日常的应用型工作有什么启发作用呢？欢迎你给我留言，和我一起讨论。