算法霸权横行，让偏见与伤害更精准定点投射

书名：《算法霸权：数学杀伤性武器的威胁》

作者：（美）凯西·奥尼尔

译者：马青玲

出版社：中信出版集团

出版日期：2018年9月

范德堡大学一名名叫凯尔·贝姆因躁郁症治疗而退学。康复后，凯尔进入了另一所学校继续学习，并寻求去美国一家大公司从事兼职工作。凯尔在两所大学的成绩都十分优秀，而且还有自己的朋友供职于求职的那家公司，按道理，他的申请应当很快通过。

但凯尔却没有接到面试邀请，原因是未通过对方公司设置的人格测试，测试就外向性、宜人性、严谨性、神经质、开放性五方面给测试者打分。之后，凯尔又先后申请了美国其他几家著名企业的工作机会，也均因没通过人格测试而遭淘汰。最终，凯尔的律师父亲向法院起诉了上述多家企业，认为他们在招聘环节使用人格测试属于非法操作。

人格测试是科技化招聘这一新兴产业的重要项目，通过特定的程序、题库来筛选求职者。招聘平台企业、软件公司会千方百计的游说用人单位采用包括人格测试在内的各类招聘辅助程序，宣称将降低筛选成本，能够更快的识别出符合公司需求、提升业绩和忠诚度的员工。

但事实上，人格测试的准确性是相当糟糕的。美国艾奥瓦大学商学院教授弗兰克·施密特根据人格测试数据，对照样本企业、员工的业绩数据发现，人格测试的预测准确度很低，甚至只相当于认知测试的1/3。不仅如此，人格测试还涉嫌歧视和违法。美国执法部门发现，有公司以这种方式来筛选可能患有精神疾病、心理疾病倾向的求职者。

美国数据科学家凯西·奥尼尔在从哈佛大学获得数学博士学位后，进入华尔街服务于著名的对冲基金公司德劭集团，之后转入互联网行业，为电商等企业担任数据科学家，预测消费者的购买与点击趋势。

凯西·奥尼尔基于长期的数据预测、挖掘与分析实践发现：算法、数学模型在各领域广泛采用，虽然许多情况下都大大增进了效率，但也不乏错误和漏洞。更危险的是，因为算法和数学模型常常被等同于绝对精密、正确和科学，所以相当多数的公共管理部门、金融机构、各行业企业和社会组织都不再像过去对由人工计算、估算、评估得出的结论的审查那样，对算法结果进行正误、精确性判断，由此在许多行业领域都带来了严重的问题。

就拿科技化招聘来说，不但人格测试等项目会造成大量的“误伤”，而且懂得算法原理的求职者完全可以针对性的包装自己的简历。因为科技化招聘被先行界定为是“科学”的，所以用人单位即便通过人格测试筛除了类似于凯尔·贝姆这样的求职者，后者哪怕通过自身努力在别的用人单位或是自行创业获得了成功，也几乎不可能因此为科技化招聘的算法模型提供纠错的数据。

凯西·奥尼尔所著的《算法霸权：数学杀伤性武器的威胁》一书，近日由中信出版集团引进出版。这本书详细梳理了算法和数学模型在缺乏必要的审查机制、纠错机制前提下在各行各业的滥用状况，指出这产生了令人担忧的“算法霸权”，让算法和数学模型本身成为饱受诟病的“数学杀伤性武器”。

值得一提的是，书中加入了美国联邦和地方政府，以及其他许多行业的企业近年来在响应科技创新、数字经济浪潮过程中，导致“算法霸权”频频出现的诸多实例，详细剖析了算法出错、问题模型出现及难以被纠错的深层次原因。书中内容对于正在加快推动算法和数学模型在管理、运营流程中应用的我国各行业，以及相关的监管部门，均具有重要的警示意义。

书中列举了“算法霸权”的各种表现方式。一种情况是算法和数学模型可以让现有依赖人为评价、测算的复杂化流程变得简单，却不可避免遗漏了难以量化的关键要素。

比如，美国华盛顿特区2009年起采用基于算法模型的教师评估体系，学生学业进步或退步，教师会获得相应的奖励或惩罚，排名最后的教师会被除名。但这一模型仅仅是将学生成绩等易于采集的数据纳入，却没有意识到很多孩子的成绩波动是受到家庭因素、社区环境等非教师因素影响，所以使得那些服务于少数族裔居民集中社区的学校的教师，被无辜开除。

第二种情况是，算法模型不恰当的增加、强化了人为偏见。美国司法部门纳入算法模型，将治安巡查数据、犯罪记录等信息纳入再犯模型，这项举措曾被认为有助于消除种族歧视、阶层歧视，更加精准的识别对于社会安全有威胁的罪犯。

凯西·奥尼尔指出，再犯模型的框架由大量假设构成，其中许多假设本身就带有偏见，比如治安巡查通常会集中在穷人、少数族裔集中的街区，因为假设这类街区的犯罪率较高，所以居住在这类街区的居民会被更多的盘问，一些因为轻微违规、违法而被纳入记录的人们，就很容易被认定为惯犯——这种认定会极大的妨碍穷人、少数族裔街区的居民找到工作，从而让很多人无法通过自己的努力改变命运，这最终导致这些人真的走投无路，只能去干合法经济以外的行当。

第三种情况比较集中的出现在金融市场，表现为对历史数据的迷信、对风险累积的无视。《算法霸权：数学杀伤性武器的威胁》书中详细回顾了2008年美国金融危机爆发前，包括书作者就职的德劭集团在内的美国华尔街各大投行、对冲基金，因为算法模型和历史数据而对风险视而不见，还自欺欺人的建立了若干个错误假设，比如，不会有许多贷款人在同一时间违约。

这本书还介绍了搜索引擎企业、电子商务企业、数据挖掘商等企业是通过数据挖掘、购买，来研判用户、消费者的喜好和消费倾向，从而精准投放广告、营销活动甚至予以定制化的引导等具体操作。

尤其是近年来，随着自然语言是被算法的进步，被称为“掠夺式广告商”的企业肆意利用“算法霸权”来误导、操控、愚弄消费者，比如，引导潜在的学生客户在搜索大学时找到收费很高的院校（高收费高校往往才有钱在搜索引擎企业投放关键字广告），而将那些不做广告、教学质量和毕业生就业前景更高的院校放在搜索页面的后段甚至首页以后。

中国网民对这类做法显然并不陌生，搜索引擎企业在财务上严重依赖于医疗企业的广告订单，所以不但将各类关键词卖给了医疗企业客户，而且还频频对用户明确的搜索关键词而给出错误的搜索结果。

在全书结语部分，书作者指出“算法霸权”严重伤害了广大用户、消费者、网民的利益，尤其是中低收入者会成为算法模型滥用而生成的入职测试、商业广告、公共管理等多方面流程、程序的牺牲品。

当然，不光是中低收入者，不少高收入者在金融投资中也因“算法霸权”造成难以挽回的损失。书作者呼吁，我们应当推动算法和数学模型在各领域的合理利用，要避免对算法本身的迷信和盲从，要建立必要的审查机制、试错机制、纠错机制，让算法应用与人类思考、道德原则更好的结合起来。

抱朴藏剑胆

犀利说财经