NEJM读者来信：可能引发灾难性后果的临床AI数据偏移
本文作者之一、哈佛医学院生物信息学教授、NEJM编委Isaac Kohane将参加8月29日举行的医学AI大会AIMS 2021（点击此处，查看会议详情），与NEJM主编Eric Rubin、NEJM前主编Jeffrey Drazen、澳门科技大学医学院教授张康、腾讯AI实验室AI医疗首席科学家姚建华等探讨医学AI研究如何遵循临床研究范式等话题。
临床医师和人工智能应用中的数据集偏移
The Clinician and Dataset Shift in Artificial Intelligence
导致AI系统故障的一个主要因素被称为“数据集偏移”（dataset shift）[4,5]。目前大多数临床AI系统使用机器学习，这是一种运用统计学方法从临床数据中学习关键模式的算法。机器学习系统可因开发时的数据集和部署时的数据不匹配而性能不佳，此时就会发生数据集偏移[4]。例如，美国密歇根大学医院（University of Michigan Hospital）采用了由Epic Systems开发并且广泛使用的脓毒症警报模型。2020年4月，由于与Covid-19疫情相关的患者人口统计学特征变化，该模型发出虚假警报，之后医院不得不将其停用。
在上述情况下，数据集偏移从根本上改变了发热和细菌性脓毒症之间的关系，因此医院的临床AI管理委员会（本文作者之一是该委员会主席）停用了该模型。这是一个极端案例，导致数据集偏移的许多原因十分细微。在表1中，我们列出了导致数据集偏移的常见原因，我们将其分成技术变化（如软件供应商）、人群和环境变化（如新的人口统计学特征）和行为变化（如对于医药费报销的新激励因素）。该表未详尽列出所有原因。
如果要成功发现并减少数 据集偏移，一方面需要临床医师有警惕性，另一方面需要AI管理团队的有效技术监管[4,5]。使用AI系统时，临床医师应注意到模型预测结果与自己临床判断之间的不一致，如前文中脓毒症案例中的情况。使用AI系统的临床医师必须经常思考自己临床实践的相关方面是否属于不典型情况，或者是否近期发生了变化。AI管理团队的职责是必须确保临床医师可以方便地报告AI系统功能出现的问题，而且要提供反馈，以便上述医师知悉相关问题已收到，并且如有必要，已采取有助于化解问题的措施。团队还必须制定AI监测和更新方案，将技术解决方案和临床意见纳入AI安全检查表，如表1所示。
表1. 发现和减轻数据集偏移的推荐方法概述*
*我们要对导致数据集偏移的各种原因采取原则性方针，具备相关知识的临床医师和人工智能（AI）管理委员会可以与系统开发人员合作，实现最佳临床实践。一般建议包括以下内容：设立在AI系统及其临床应用方面具有多学科专业知识的管理委员会，与解决方案开发人员合作执行检查表和持续监测流程（旨在评估数据集偏移导致的AI故障风险），为一线工作人员执行相关流程（旨在标记出可能出现数据偏移的场景，从而推动管理委员会执行更正式的审核流程）[4,5]。