算法和新冠大流行
蛋友Neil投稿
来源：https://www.ft.com/content/16f4ded0-e86b-4f77-8b05-67d555838941
政府对“自动决策工具”的使用引起了反对声音。
英国教育大臣在周三宣布，“在今年我们将更信任老师，而不是算法“。
英国政府正试图避免去年发生在英格兰学校的混乱。当时由于疫情导致中小学考试被取消，政府负责考试管理的部门Ofqual推出了一种算法。 这种算法通过标准化教师给出的成绩以阻止由于考试取消导致的普遍成绩提高。
对于很多学生来说，这个算法是个灾难。算法的使用导致很多成绩被压低，这引起了一场政治风暴。面对学生们的抗议(“Fuck the algorithm”),Ofqual妥协了。 评分算法被停止使用，学生们得到了由教师评定的成绩，项目负责人也被解职。
这场关于英国教育系统的震动代表了这场疫情的一个潜在却影响深远的趋势。
疫情危机加速了政府对更加自动的决策方式的使用。通常，这些新系统由于没有得到足够的讨论而不被采用，但疫情提供了进行尝试的动力。于此同时，疫情也为监控技术公司更大规模的使用他们的产品以“为社会造福”提供了机会。
但是反对声也汹涌而来。除了英国教育系统的这场最受瞩目的胜利，从警察部门到社会福利，活动家和律师们已在欧洲和美国取得了数场胜利，但他们认为未来这样的争论会变得更多。“这些新决策方式从未征求过大众的意见”，数字权利组织Foxglove的联合创始人Martha Dark表示，该组织在评分算法被撤销前就威胁采取法律手段，“其中隐藏了很多重大的政治问题”。
不全都是“黑镜”
虽然经常被与TikTok或是Facebook这些社交媒体联系起来，但实际上从复杂的神经网络到更简单的系统，算法在各种领域已被广泛地应用。“你想的是黑镜中的那些玩意儿，但实际上大多数时间只是简单的精算工具。“数字自由基金会的法律顾问Jonathan McCully表示。这家基金会在欧洲参与有关保护数字权利的诉讼。
而非营利组织AlgorithmWatch的Fabio Chiusi表示，正因为算法无处不在，使用他们时才需要深思熟虑。“这不意味着我们就要倒退回中世纪，但我们要在考虑这些算法是否让社会更有效率的同时，思考他们是否也在让社会变得更好。”
英国教育系统的算法使用揭示了这种判断有多么困难。研究人工智能和大数据对社会影响的Ada Lovelace Institute主任Carly Kind表示，“他们考虑了很多有关公平与正义的论据，但是选取了其中一个特别的方向：这种算法应该提高不同学年的学生之间的公平性，而疫情之前的学生不应该处在不公平的不利地位。“
这种方法意味着系统将把老师预估的英国高考成绩调低40%，这激起了愤怒。更糟糕的是，这看起来会对来自贫穷背景的学生更不利，而对那些考试成绩比日常成绩好的学生来说也是不利的。
“这是第一次人们在街头反对算法，也是很多人们第一次意识到权利以算法的形式被使用。“
但是英国教育系统的政策转变已不是数字权利组织Foxglove在算法领域的第一个胜利。几天前，英国内政部撤销了一项应用于签证申请的不透明算法。在法律意见中，Foxglove提出系统中的“可疑国籍”秘密清单等同于“白人更有(移民)优势”。
在美国，活动者们也针对一项更广为人知也更有争议性的算法技术，人脸识别，取得了胜利。人脸识别技术应用长期被批评为具有种族倾向，其可靠性和隐私性也备受质疑。六月份，由于人脸识别的错误，黑人居民Robert Williams被错误逮捕，密歇根美国人权联盟随即提出了一项行政申诉。“长期以来，很多人已经意识到了人工智能和人脸识别技术的危险性，在这两年已经看到了很多针对人工智能的反对措施。”
诸如奥克兰和旧金山后，马萨诸塞州的一些城市也通过了禁止使用人脸识别技术的法律。加州的人权组织ACLU已经成功阻止了全面允许在加州使用人脸识别的法案的通过。
去年，欧洲的活动者们也取得了一些影响深远的成功，其中最受瞩目的当属SyRI案。SyRI是荷兰政府用以检测福利诈骗的自动工具。而在二月，海牙的区域法院因其使用了荷兰公共部门的大量隐私数据判决其为非法 。这些数据包括教育水平，住房条件，以及其是否完成了“融入社会”项目(这是申请入籍的必要条件) 。
“就像其他的系统一样，SyRI系统从一开始就假设人们正在福利欺诈。”申诉本案的荷兰人权律师学会的Jelle Klaas表示。尽管取得了一些成功，但是Klaas警告法庭判决不会结束活动者与政府部门的斗争，“我认为我们的确创造了一个先例，但同时也明白大量其他的算法正在被使用(于这样的用途)，问题还会接踵而至。”
人工智能军备竞赛
“早在疫情之前，自动决策工具和算法的使用量已经快速增长了数年”，约克大学难民法律实验室的Petra Molnar说，“从地缘政治的角度讲，国家间正在进行某种军备竞赛。这推动了这个行业最前沿领域的创新。”
但疫情加速了这一趋势，政府机构开始乐于试验这些系统并认为这提高了运作效率。“我们确实看到，疫情被用作了一座关于人民权利和自由的科技试验场”，欧洲数字权利组织的Ella Jakubowska表示，“我们的公共空间，脸和身体都成为了实验的一部分。”
她指出的措施包括在巴黎最繁忙的地铁站Châtelet-Les-Halles用以识别人们是否佩戴口罩的摄像头。这一措施在六月被法国的数据保护机构CNIL判定其违反了欧洲通用数据保护条例GDPR。
法国数字权利法律组织La Quadrature du Net的法律专家Martin Drago也认同“军备竞赛”的观点，“法国已成为错误使用生物信息监控的典型，而当我们向向警方指出滥用的危害时，他们则说我们的斗争将让法国输掉这场与中美之间的(人工智能)竞赛。”
LQDN组织细数了他们去年取得的成果。在二月，他们反对监控系统接入位于南法的两座初中，赢得了在法国反对使用人脸识别技术的第一案。“数据保护机构CNIL认定无法证明使用人脸识别技术是必要的，以及这项技术能比一个人做的更多。”
但是应用算法的监控行为仍在法国广泛存在。最受活动者关注的是Traitement des Antécédents Judiciairesu犯罪数据库，一个包含可用来面部识别的八百万面部信息的数据库。“这个数据库包含了一项调查中的每一个人的(面部信息)，无论其是否被宣判有罪，这让人毛骨悚然。”
Drago正在关注备受争议的法国安全法中有关数字使用的新条例。新条例将合法化无人机和摄像头与警方指挥中心之间的数据实时传输，这将为面部识别或其他图像分析技术打开便利。
该法案已于去年十一月在法国议会下院投票通过，在三月前它还需要通过上院。但Drago表示，“如果对法案文本有争议，下院将拥有最终的决定权。”
“每当谈到某种算法技术的使用，中国总是被当做替罪羊。‘我们不会像中国做的那样’，但是我们有了犯罪数据库，有了用于机场和火车站的人脸识别闸口。这很奇怪。”
Domen Savic，斯洛文尼亚非盈利组织Drzavljan D的首席执行官，表示这些新措施不太可能随着疫情消失。“在后疫情时期，我们需要回到过去，看看我们因为疫情而做了什么并且判断是否应该做。但当这些措施被应用到了一个程度，离开他们将很困难。越来越多的技术应用已经没有了关闭的选项。”
私营部门的机会
对于监控技术公司及其相关企业，疫情也为他们出售公共健康管理工具提供了机会。比如说，检测武器的摄像机被用为检测潜在感染者的热量扫描仪。“我们看到911后以及疫情期间，企业看到了人们的恐慌，这对他们是商机。他们会说，‘这是用来保证你们的安全的’，即使很多产品背后的科学原理并不可靠。”
在法国，Drago认为疫情已被监控技术公司用作2024巴黎奥运会前优化系统的机会。“很多法国公司想要这么一部促进生物监控实验的法律，好让他们在奥运会期间大展手脚。”
在英国，数据贩子们正试图帮助地方政府挖掘他们充满公共和私人信息的富矿，比如识别挣扎于危机创伤后或是存在违反自我隔离规定风险的人。
在一份英国信息专员Elizabeth Denham十月发表的声明中，数据贩卖被批评为“使得数百万英国人失去了对自己隐私数据的控制权”。
“我们是否乐见有关我们生活的决策在数据贩子的协助下做出，依靠监控和对我们的数据采集？”英国非盈利性组织Big Brother Watch主任Silkie Carlo表示，“疫情正在让这些事正常化，变成由于特殊情况而可以接受。”
活动者们特别关注于那些关于移民与难民的技术。“比如说在美墨边境上，就有所谓‘智能边境’技术。地中海和爱琴海也在成为这些技术的试验场。”这些措施反映了公共健康问题与民粹政治的汇流。“移民和难民长期以来就被与带来疾病挂钩，(这种逻辑下)因此他们就需要被监控，跟踪并控制。”
这些边境上的技术包括从军事级无人机到预测人口流动的社交媒体监控，以及“人工智能测谎”，其宣称能通过监测面部表情来测谎。匈牙利，拉脱维亚以及希腊的边检正在试用这种技术。
“我不知道这些系统怎么应对跨文化的沟通，以及人们通常并不连贯的讲述故事。未经审查就应用这些技术令人不安。”
不过Molnar表示最近在监管这些技术上取得了进展，“我们正在构建概念化算法监管的框架，但是离认清利用这些技术所作出的决策对人们权利的影响还很遥远。”