【文献与探索】人工智能责任：让算法承担责任
类别：网络治理
导言
人工智能（AI）算法以微妙而又根本的方式支配着我们的生活方式，并正在改变我们的社会。利用大数据潜在的高效、低成本或“中立”的解决方案，已促使公共机构在提供公共服务时采用算法系统。在最新一项研究中，通过对公共部门从业人员的深度访谈，荷兰莱顿大学Madalina Busuioc教授指出，由于人工智能算法已经渗透到我们公共存在的高风险方面，从招聘和教育决策到政府使用执法权力（警务）或限制自由的决定（保释和判刑）。这必然会引发重要的问责制问题：人工智能算法系统带来了哪些问责制挑战，以及我们如何在算法决策中保护问责制？本文为公共部门从业人员提供了与公共部门决策中使用人工智能系统相关的明显问责挑战的见解。从明确的公共行政角度出发，并考虑到目前在这一领域已明显出现的挑战，批判性地反思并以概念指导的方式描绘出这些系统对公共问责制的影响和它们造成的限制，提供了确保算法问责制的具体政策建议。这将对管理员维护监督系统功能的能力，以及他们为算法决策向公民履行账户赋予职责的能力变得至关重要。论文发表在PAR上面。
（文献来源：Busuioc, M. (2021), Accountable Artificial Intelligence: Holding Algorithms to Account. Public Administration Review. online first, 1-12. DOI: https://doi.org/10.1111/puar.13293）。
研究主题
在私人部门和公共部门使用算法系统中遇到越来越多偏见的例子，例如，将“医生”与“父亲”、“护士”与“母亲”联系在一起；人们一直发现，面部识别算法在少数族裔中显示的错误率要高得多(Buolamwini和Gebru，2018；Lohr，2018；Snow，2018；Medium，2019)，这可能导致在警务使用中造成错误逮捕和对已经处于边缘地位群体的歧视（Garvie和Frankle，2016)；用于大学招生、预测考试成绩的算法最近显示出严重失败，对来自弱势背景的优秀学生有不同的负面影响(Broussard，2020；Katwala，2020)。这正是本文要解决的主题。
同时，人工智能（AI）的算法系统无疑是建立在巨大的技术创新基础上的，人工智能被认为可以“加速发现过程”（Appenzeller，2017），上述例子强调了监督人工智能算法决策的重要性。随着算法系统在公共部门变得越来越普遍，它们引起了人们对有意义的监督和问责制的重要关注（Bullock，2019；Diakopoulos，2014；European Parliament Study，2019；Pasquale，2015；Yeung，2018；Yeung和 Lodge，2019；Young,Bullock和Lecy，2019），并需要首先识别和诊断与这些系统相关的问责制缺陷可能存在的地方。
本文采用公共管理视角的主题,但利用更广泛的多学科的文献,包括计算机科学相关文献。讨论对问责制至关重要的核心方面(具体来说，人工智能算法的解释和可解释性)，以便在确保问责制的技术现实和挑战方面充分地为我们的讨论奠定基础。
算法的兴起和制衡的需要
虽然媒体报道的世界末日场景并没有在现实中出现，但人工智能已经出现了。人工智能算法以更微妙但更根本的方式支配着我们的生活方式，并正在改变我们的社会。数据、计算和机器模式识别(依赖于一系列被称为“深度学习”或“神经网络”的方法)带来的巨大技术进步，使得人工智能算法在构建技术和人类交互方面无处不在。
这项技术存在于一系列普通的应用中：从我们手机上的文本预测器，或语音转语音的翻译，再到在Netflix上向我们推荐电影的算法。但它并不局限于这些常见的、“低风险”的应用。算法也控制着我们的互联网搜索引擎的运作——它们检索和排序搜索信息，并最终决定用户和社交媒体可以获得哪些信息。高频交易算法运行着我们的电子市场；算法为自动个人信贷决策和关键健康决策提供信息，并管理半自动驾驶（Pasquale，2015）。他们还将对道德的生死决定进行编码，例如，在发生事故的情况下，自动驾驶汽车是否应该优先保护司机/乘客或行人（Bonnefon，Shariff和Rahwan，2016)。
重要的是，这样的算法不仅日益成为推动这一领域创新的私人参与者的权限，也越来越受到政府和公共（监管）机构的依赖(AI Now Institute NYU，2018；Citron，2008；Eubanks，2018；European Parliament Study，2019；O’Neil 2016；Richardson,Schultz和Crawford，2019; Shark，2019；UK Government Office for Science，2016; Yeung，2018; Yeung和Lodge，2019)。利用大数据潜在的高效、低成本或“中立”的解决方案，已促使公共机构在提供公共服务时采用算法系统（Eubanks，2018；Ferguson，2017；O’Neil，2016），这对公共管理具有根本意义:数字技术在公共部门的影响已经被公认为变革,AI将大大加速和深化这些过程,从根本上影响公共服务的结构、公共服务价值观、行使行政裁量权和专业判断(Bullock，2019；Busch和Henriksen，2018)，从而影响公共官僚机构的本质。
与此相关，人工智能算法也被发现陷入了难以发现、突破和/或自我纠正的负反馈循环。例如，如果一个算法错误地预测了一个特定的地区为“高犯罪率”，由此增加的警力将导致该地区逮捕更多的人，这将成为算法的新的训练数据，重新确认和加强其先前的预测。如果最初的预测有偏差，例如，由于人类对训练数据的偏见（例如，一个历史上过度监管的社区)，这就变得尤其有问题：算法的预测变成了“自我实现的预言”。与此同时，由于此类系统的黑箱操作以及固有的复杂性，算法偏差和故障已经被证明是很难诊断和挑战的。
这有可能使“治愈方法”比“疾病”更糟糕：历史歧视和人类偏见通过自动化传播，同时变得更加难以发现和挑战，同样的偏见现在被重新包装在算法黑盒中，表面上是中立和数学客观性的。因此，要求提高人工智能算法透明度和公共监管机制的呼声急剧上升——例如，人脸识别(由领先的计算机科学家)，甚至呼吁暂停该技术的使用(如2019年英国下议院科学和技术委员会，Medium 2019)，以及最近在业界主导下，暂停了其在监管(Amazon,Mircrosoft)和市场退出(IBM)方面的使用。
与此同时，重要的是要承认，人工智能算法将会有而且正在有非常真实和突破性的社会和个人层面的影响。正是“算法权力”的崛起(Diakopoulos，2014)，即“权力越来越多地通过算法来表达”的事实(Pasquale 2015, 8)，带来了对这种权力进行监督的相应需求。随着人工智能算法渗透到我们存在的关键公共方面，这必然会引发重要的问责制问题：人工智能算法系统带来了哪些问责制挑战，在它们的运行中出现了哪些具体的缺陷，以及我们如何在公共部门的算法决策中保护问责制？
问责制：一个概念框架
问责制是指对别人负责，有义务解释和为自己的行为和不作为辩解(Olsen 2014, 107)。权力的行使（交出权力的能力）要求问责制。然而，即使在更传统的情况下，问责制可能带来的后果也并非总是直接的。正因为如此，近年来，越来越多的公共行政学者致力于对公众问责进行“狭义”或“最小限度”的界定，以促进其在实践中的研究(Bovens，2007；Bovens, Schillemans和 Goodin，2014)。在这种理解中，问责制被定义为“行动者与论坛（Forum）之间的一种关系，行动者有义务解释和证明自己的行为，论坛可以提出问题和作出判断，行动者可能面临后果” (Bovens 2007, 450)。虽然在脑海中有更多传统的问责背景(如政治-官僚关系)，但这一概念似乎直接适用于算法决策。
本质上，一个有意义的问责过程由三个阶段组成:信息、解释或证明，以及(可能的)结果。这些“有效问责的要求” (Olsen 2014, 113)是对外部权威行使的。换句话说，无论是正式的还是非正式的，行动者——无论是官僚机构、私人提供者还是公共部门机构——都必须有义务向问责论坛作出交代。问责制是一种关系(Bovens 2007; Schillemans and Busuioc 2015)，各种关系可以以这种方式加以概念化：例如，在官僚主义背景下，一个机构向从其母部、议会、公民到法院或媒体等各种论坛提供解释。在人工智能的背景下，这样的论坛可以类似地包括传统的机构论坛，如法院、议会委员会、监察员等，但也有专门建造的论坛，如人工智能伦理、标准化机构和审计机构，监测人工智能系统的设计和运行。
人工智能、算法决策和权力：注意正在出现的问责缺口
算法本质上是按照顺序实现的任何规则集(无论是计算规则还是其他规则)，以达到特定的结果。与我们研究的核心算法不同的是，这些算法自己学习支配自己行为的规则。他们发现数据中隐藏的模式，将特定的数据输入与输出配对，通过释放大量的训练数据（所谓的训练集），有效地学习输入-输出关系或“映射”。他们使用这些训练数据来确定和修改模型——各种影响结果的“特征”和它们对应的权重（系数），然后他们使用学习到的输入-输出映射，对尚未看到的数据做出预测。是什么使他们如此普遍和受欢迎的是,一系列的问题都可以在这些投入产出框架条款：图像识别及其各种应用（如视频监控、DNA测序,或肿瘤映射）风险评估模型（信用卡或犯罪）或推荐系统（新闻、购物和社交媒体）。
这种算法在公共和私人决策中越来越受到依赖。算法决策是指使用算法作为人类分析的辅助或替代，来制定或提供（并提高）决策或行动的质量。原则上，算法决策可以是完全自动化的，也可以是混合的，也就是说，需要一个人工决策者或在循环中的审查员（Citron，2008）。虽然这两种类型都可能出现在公共部门（Citron，2008），但公共部门最常见的算法往往是为人类决策提供信息，而不是在没有人类干预的情况下做出最终的全自动决策(参见Edwards和Veale2017, 45)。事实上，在一些司法管辖区，如欧盟，有权利(尽管有例外)不受完全基于自动决策的约束（即欧盟一般数据保护条例，GDPR）。
正是出于这个原因——经验相关性——调查明确地聚焦于混合决策，其中AI算法为公共部门的人类决策提供信息。这是目前公共部门使用人工智能算法的相关紧迫背景，特别是从问责制的角度来看，考虑到其在非常规高风险场景中的依赖性。因此，当我们在问责的意义上谈论行动者时，我们仍然在这个语境中，像在传统语境中一样谈论人类行动者。由于算法尚未实现感知或意识——尽管媒体大肆炒作，但在所谓的“人工一般智能”（AGI）或“人类水平的人工智能”（Ng，2018）方面几乎没有明显进展——公共部门算法的使用和操作的责任必然在于人类行为者：人工智能系统供应商、公共部门采用者以及用户，了解他们创建并分别购买和部署的算法系统的操作及含义。
当我们谈到混合算法决策时，需要注意的是，我们必须谈到两个层次：人工智能算法输出、推荐或决定（实现这些的算法过程）以及随后算法输出和人类决策者之间的互动。因此，混合系统的算法问责制涉及并需要审查两个相互关联的阶段：最初的算法结果和如何得出这些结果。例如，AI模型设计、设置和操作的透明度和合理性，这必然决定了算法结果。以及这些算法建议在人类决策和/或行动中所扮演的角色。
后一个方面对有意义的监督也特别重要，不应低估。正如我们将在下面的文章中看到的，在两者的结合处，有可能出现意想不到的新偏差来源。换句话说，要使基于算法输入和评估的决策和行动对有意义的询问、解释和论证开放(例如，根据算法生成的“热点地图”，决定将警察资源部署到特定区域)，就需要对算法过程和人-算法交互进行拆解。
信息：不对称组成的
深度学习工具固有的不透明性。从信息的角度来看，一个特别有问题的特性是许多系统固有的不透明性。给定特定的输入，我们知道最终的算法输出，即做出的“分类”（例如，“高风险”或“低风险”），达成的决策(例如，“拒绝信用”)，或预测的具体结果(例如，风险评估评分)。然而，算法是如何得出特定的预测结果的（它认为输入数据的哪些部分对预测结果很重要）通常是不透明的。当然，并非所有人工智能算法模型都需要不透明。虽然“黑匣子”算法带来了复杂的不透明性和可解释性挑战，更简单的可解释ML算法却没有，但通常也被认为功能不那么强大（Rudin，2019)。不透明性是“深度学习”算法的一个关键子集，也是“人工智能革命的主要驱动力”（Ford 2018, 10）。神经网络由多个隐藏的（或中介）人工神经元层组成，这些神经元将输入和输出联系起来，通常被称为“黑盒”，即“向用户隐藏其内部逻辑的系统”（Guidotti等，2019）。这种系统的不透明性也是由于这样一个事实，即当模型的相关“特征”（有助于预测的参数）由系统自身通过筛选大量数据来识别时，它们可以逃避人类的解释——也逃避设计者的解释。其有效性的关键正是其不透明性的根源：机器分析的特征可能无法被人类意识识别为有效或可识别的特征。
保密和专有算法。让事情变得更加困难的是，由于算法往往是专有的，包括在公共部门使用时，信息的可用性可能会受到进一步的限制。商业算法是由私人盈利性公司开发和销售的，其工作原理通常不会被公开披露（Carlson，2017；Citron，2008)。Pasquale（2011, 237）在这种背景下追溯了从“合法性——通过透明——到保证——通过保密”的转变，并“对信息时代社会秩序的基础产生了深刻的困扰”。并重申：“目前的法律阻碍了对自动权力机构的问责”。因此，即使算法的功能和操作是可以理解的（比如使用决策树等简单的人工智能算法），但由于专利原因，这些功能和操作仍然是保密的:“商业机密是理解算法等自动授权的核心障碍”（Diakopoulos 2014, 12）。在美国《信息自由法》(FOIA)（Diakopoulos，2014）和欧盟GDPR（Wachter, Mittelstadt和Floridi，2017）中，商业秘密豁免限制了获取信息的权利。例如,《信息自由法》商业秘密豁免“允许联邦政府拒绝对其系统中集成的任何第三方软件的透明度要求”（Diakopoulos 2014, 12）,和商业秘密的保护算法提出的制造商为了逃避披露义务（Carlson，2017）或拒绝参加独立测试算法的性能。公共机构实际上正在牺牲其对算法操作和功能进行有意义的监督的能力，以及其履行自己的透明性和合理性义务的能力。
算法的复杂性。此外，除了系统特征不透明和/或公开披露问题之外，ML模型的复杂性还带来了重大的信息挑战。鉴于其体系结构的复杂性和规模的参数空间,如前所述,它可以成为几乎不可能对人类决策者掌握交互的复杂特性,即使在最好的情况下(不可能实现)场景模型特性做人类理解和系统的源代码是公开的。换句话说，当“成百上千个特征对一个预测有重大贡献时，期望任何用户理解为什么会做出预测是不合理的，即使可以检查单个权重”（Ribeiro, Singh和Guestrin2016, 1137）。由于人类信息处理的局限性，使得任何监管系统都存在的传统信息不对称问题更加严重。
具有永久记忆的互动空间争论和辩护：“审问”算法决策的困难
源于算法固有的不透明性，复杂性或专有性，这些信息缺陷对下一阶段的问责制具有直接影响：解释或辩护。解释导致特定决策结果的基本原理的能力是审问和挑战此类结果的关键。正是这一阶段将问责制与透明性或仅提供上述信息区分开来：能够筛选，推动和窥探行动和决策背后的逻辑。可解释的和可辩解的算法？然而，由于人工智能算法的内在操作，解释正是尤其难以实现的。对于深度学习算法来说尤其如此。毫无疑问，这些技术挑战的另一个原因是，传统上，算法性能的主要评估标准是基于设计人员确定的指标，如“预测精度”，而不是模型的可解释性。然而，计算机科学学者们越来越意识到对可解释性的需要：“如果一个人计划根据预测采取行动，或者选择是否部署新模型，那么理解预测背后的原因(……)是至关重要的。（Ribeiro, Singh和 Guestrin 2016, 1135）”开发人员越来越意识到，这种系统的持续依赖和扩散将归结为用户对其输出的信任，而算法的可理解性是其中的一个重要组成部分。随着深度学习黑箱模型继续成为最成功的算法方法，计算机科学学者一直致力于使这些模型更容易理解。正在进行的潜在方法包括特征可视化技术——旨在可视化神经元相互作用的隐藏层的工作，从而使内部过程更加明确(例如Zeiler 和Fergus，2014或谷歌和OpenAI的激活地图集)——到将“黑匣子”算法与“解释器算法”相结合（Ribeiro，Singh和Guestrin，2016；美国国防部高级研究计划局的XAI计划），即本质上使用算法来解释算法。例如，“解释算法”可以通过生成一个更简单的算法（比如决策树）来解释黑盒，从而解压缩黑盒。“解释者”算法有效地将黑匣子的特征重新消化为人类头脑可以理解的特征。然而，解释模型也有重要的缺点。这种类型的技术可能要求“解释中的‘输入变量’与实际黑盒模型的特征不同”，以便使它们易于理解(Ribeiro, Singh和Guestrin 2016, 1137)。事后解释可以依靠不同的关键变量来模拟黑盒决策逻辑——换句话说，完全不同的模型。因此，解释模型本质上并不是原始模型的完全忠实表示，而是原始模型的“近似”，这必然同时降低了它们的解释潜力（Rudin，2019）。更重要的是，对于解释需要什么，目前还没有一个共同的标准，“尽管这具有根本的重要性，但没有一项工作认真地解决量化人类解释的可理解性等级的问题。”（Guidotti等2019, 36）
从隐性到显性的价值权衡。模型的解释或论证也必然延伸到模型功能中经常被遗忘的方面：模型设计中固有的价值权衡。虽然人工智能算法通常被视为“中立设备”，但算法系统必须编码重要的价值权衡（例如回忆和准确性，精确与公平），甚至是相同价值的不同概念之间的权衡(例如，不同的公平概念)。决定如何在这些因素之间取得平衡，必然是一种政治行为，而非纯粹的技术行为：根据优先考虑的价值或概念，算法将达到不同的结果，并将成本和利益强加给不同的个人或社会团体（另见Bovens和Zouridis，2002；Young，Bullock和Lecy，2019）。因此，算法输出在很大程度上是其中所设计的价值选择的产物。外部审查此类决策的先决条件是首先了解此类价值选择。
算法输出：对人类决策的行为影响是什么？重要的是，解释算法决策的挑战不仅涉及到算法模型的建立和操作，还涉及到算法输入和人类决策之间的接口。如上所述，算法结果经常作为人类决策的输入。这意味着，如果我们想要理解和解释基于算法的决策，我们不仅需要了解人工智能算法的操作，还需要了解算法结果对（约束）人类决策的影响。然而，令人惊讶的是，我们对它们对决策者和实际决策过程的影响知之甚少。决策制定者如何，以何种方式，受到算法输入和建议的影响？算法结果在多大程度上限制了我们的决策自主权和/或偏见我们质疑它们的能力？当法官使用算法风险分数作为决策的输入时，这些分数对他们的决策有什么影响？
算法决策的后果
最后，问责过程的最后阶段是通过判断——赞成、谴责或谴责某一特定行为——在这种程度上，判断是消极的，有意义的问责要求施加制裁，并为那些受到负面影响的人提供补偿。在算法决策的情况下，问责制的这一维度也变得有问题，因为它的运作密切依赖于前两个元素的存在：信息和辩解。由于复杂的信息困难，加上上述确定的相当多的解释问题，这给诊断系统故障和(错误)行为以进行有效的补救行动带来了相关的挑战。提供补救措施的第一步是诊断故障，但就算法性能而言，这并非易事。
没有理解算法特征和操作的能力，包括受算法决策不利影响的非专业观众，就无法有意义地挑战或挑战基于其决策而获得的补救措施。如果没有这些“火灾警报”，算法系统将进一步缺乏急需的纠正和学习反馈。如果没有模型的透明度和操作的基本逻辑的解释，领域专家(公共部门用户)也将无法“捕捉”错误的模型，导致对其的过度依赖。这将严重限制他们作为有意义的决策调解人的能力。在这种情况下，假设一个人进入决策循环可能会成为一个空洞的检查，在这种情况下，人类调解员实际上对系统的功能(或故障)知之甚少，从而失去了有意义的控制权。
然而，重要的是，这并不免除公共行政官的责任——恰恰相反。为行政决定提供理由的责任是官僚合法性的一个标志，是管理者不能外包或违背的。采用人工智能工具在公共部门责任落在地方公共部门的雇员参与决策过程：采纳者(管理者)应负责要求和购买符合其作用的公共性的工具，并使公共行政人员能够继续履行其对公民的责任。这种责任延伸到确保这些系统进行适当和独立的审查，它们的运作得到不断的监测，公共部门工作人员得到充分的培训，以了解他们所依赖的工具。相应地，在混合系统中，政府内部的个人决策者对决策结果负责。他们仍然有责任理解模型功能的广泛参数和潜在的失败（如果他们在行政决策中依赖或遵从它的输出）并意识到这类系统的潜在影响。
结论：人工智能——责任智能？
总而言之，我们已经看到，算法使用带来的挑战会带来打击问责制过程核心的缺陷：复杂的信息问题、缺乏对算法功能的充分解释或辩护，以及随后诊断故障和确保纠正的困难。问责制的核心是关于可回答性——然而，当前人工智能算法的使用对我们质疑(和挑战)算法结果的集体能力构成了严重挑战。
上述讨论表明，在算法的情况下，就像在传统的设置中一样，透明度是问责制的一个非常必要非充分的条件。就其本身而言，模型设计的透明度在复杂人工智能模型的情况下——其特征往往是不透明的，并逃避可解释性——将无法提供对算法决策的充分理解。模型的透明性还需要“系统架构师”共同努力，以更广泛地解释其模型，计算机科学界必须首先开发可理解和可解释的模型；需要公共部门的购买者和监管者来要求业界必须系统地采用这种做法。它还需要系统设计者和领域专家之间关键的和持续的合作，从系统设计的早期阶段到真实世界的实现(生产)和系统功能的监控。
公共管理学者也同样扮演着重要的角色。人工智能的透明度、偏见、公平和问责制不是纯粹的技术问题(机器学习)，而是需要我们的学科和更广泛的公共管理视角的认真参与（见Shark和Shropshire，2019）。政府内部采用人工智能工具所带来的问责制挑战，与官僚合法性这一更广泛的问题密不可分。人工智能工具将深刻影响行政决策和官僚裁量权，使这些发展及其对公共行政的影响成为基础。不同的人工智能工具的适用性因不同的政策领域和任务而异，需要充分理解和预期所涉及的权衡，以便指导人工智能在政府中的适当扩散)。
因此，监管努力至关重要，以确保人工智能工具以深思熟虑和有效的方式发挥作用。广泛采用各种监管工具，其中大部分目前还缺乏。尽管在技术创新方面，监管不一定是一个热门话题，但重要的是要记住什么是关键所在。当黑盒算法系统被公共部门同化时，它们就会渗透到我们机构的结构中。它们渗透到我们的司法体系、教育和执法中，始终难以捉摸，难以挑战。这就是问题所在。
附参考文献附参考文献附参考文献
参考文献：
Bonnefon, Jean-Francois, Azim Shariff, and Iyad Rahwan. 2016. The Social Dilemma of Autonomous Vehicles. Science 352(6293): 1573–6.
Bullock, Justin B. 2019. Artificial Intelligence, Discretion, and Bureaucracy. The American Review of Public Administration 49(7): 751–61.
Busch, Peter A., and Helle Z. Henriksen. 2018. Digital Discretion: A Systematic Literature Review of ICT and Street-Level Discretion. Information Polity 23(1): 3–28.
Calo, Ryan, and Danielle K. Citron. 2020. The Automated Administrative State: A Crisis of Legitimacy. Emory Law Journal, forthcoming. https://ssrn.com/abstract=3553590.
Dressel, Julia, and Hani Farid. 2018. The accuracy, fairness, and limits of predicting recidivism. Science Advances 4(1). https://doi.org/10.1126/sciadv.aao5580
O’Neil, Cathy. 2016. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. London: Penguin.
Shark, Alan R., and Anders Shropshire. 2019. Artificial Intelligence and the Teaching of Public Policy and Administration. In Artificial Intelligence and Its Impact on Public Administration, edited by Alan R. Shark, 25–32. National Academy of Public Administration.
Young, Matthew M., Justin B. Bullock, and Jesse D. Lecy. 2019. Artificial Discretion as a Tool of Governance: A Framework for Understanding the Impact of Artificial Intelligence on Public Administration. Perspectives on Public Management and Governance 2(4): 301–13.