美国有一个公司northpointe出了套compas算法，用于预测犯人的再犯罪概率，这个指标在美国通常是法官量刑的一个重要依据。为了避免种族歧视，这个算法的训练数据里罪犯的属性里，连种族的属性都没有。看上去这个算法十分公正，而且有些指标，比如对高再犯率的预测，其实黑人白人 比例基本相同。但是，这个算法还是被告了种族歧视。因为有个公益组织发现，在接下来两年内，实际未再犯的，而当时被标了高概率会重犯的群体中，黑人比例高达45%，而白人只有23%。
其实这个事实有概率学上的解释，只是有点绕，我们看一个更简单明了的逻辑。这个算法是通过学习历史数据来做预测的，而现实数据的情况就是，黑人实际的总体再犯罪率就比白人高（可以想象，相对白人，黑人出狱后找到工作更难，因此再犯罪比率也就更高），算法模型学了大量这类数据，在做预测的时候，对具有类似社会背景、犯罪形态，而且有高比率会重犯罪的黑人群体（即使算法不知道这个人的种族），很可能会连累到那些不会重犯的黑人群体，做出“误伤“的预测。
这个逻辑解释并不是重点，重点是，现实情况就是当前美国黑人整体上因为社会地位，家庭条件等等相对白人就是差一些，在一些负面指标上，本来就相对高一些，算法无非是真实反应了这个现实而已。就像google “黑人是….“ 出来的负面词比较多，这是谷歌在歧视黑人，故意放很多负面词跟在”黑人“这种词后面吗？当然不是，谷歌无非是把整个网络里这种句子的模式显示出来而已，歧视黑人的，是整个网络。
因为数据反应的是现实，现实就是有歧视的，根据反应歧视现实训练出来的模型，又怎么会没有歧视呢？这就像我们用一个镜子希望能照出真实的面相，所以我们尽量把镜子做的平整光滑明亮无偏差，而照出来之后，我们又嫌镜子照的我们丑，那我们到底是希望镜子能真实反应现实，还是我们只要自己想看到的效果呢？这到底是镜子的问题，还是人长得丑的问题呢？算法真实反应了社会的现状，然后有意无意躲避现实的人，就说算法有歧视，AI有问题，这算不算是甩锅给AI呢？—— 仅代表尹智个人观点，KEN's personal view only
