Google眼疾诊断AI首次临床测试,但条件所限致结果不尽人意
现在AI在很多范畴内都有使用,而医疗则是其中一个可以受惠最大的领域。之前我们报导过Google有一个可以协助诊断糖尿病性视网膜病变(Diabetic Retinopathy,下称DR)的AI,可以透过查看眼睛的图片并寻找糖尿病性视网膜病的证据,在实验室里可以达到9成左右的准确率,而最近他们就把这个AI投入到了实际应用环境里面进行测试,不过结果却不尽人意。
先说明一点,那就是这种测试尽管结果可能与预期差很远,但是对于改进这个AI以及相配套的测试流程是非常重要的,并且Google大方公开这次失败的举措也是值得嘉许。
根据Google公布的实验报告,这次的测试是在泰国的几所诊所进行的。DR的诊断过程一般是这样的:护士每次会为一位糖尿病患者拍摄他们眼睛的照片,然后把照片分批传送到眼科眼生那里,然后由医生评估并且发回结果,整个过程大概需时4至5星期。
而Google这个AI则是可以在几分钟内得到结果。如果确诊,护士可以实时向患者提供初步建议而不用让他们等上1个月时间。
但是在实际应用测试当中,由于每间诊所供拍照采样的环境以及条件都不同,再加上护士在这个筛查流程中有很大的自主权,因此AI诊断的实际效果不太好。
例如说,在众多参加测试的诊所中,只有两所有足够暗的独立房间,保证病人的瞳孔可以足够放大来拍出准备度高的照片,因此其他诊所有很多照片都因为模糊或者有拍得不完整而被服务器拒收,简单来说就是不符合系统的标准要求。
另外一点是,参与测试的诊所的网速也是比较不稳定,有部分图像需要最多一分半钟才能够完成上传,这使得整个测试的样本图片也少了很多。同样地,有40%至50%的病人认为他们最后还是要去医院测查所以没参与到测试当中,正如其中一位护士表示:
“比起测试准确度,病人更关心的是这需不需要额外的时间、需不需要去别的地方等等的检查体验。”
因此这次的测试最终的结果可以说是与AI本身的准确无关,而是更多的关于这个AI的实际应用环境。而AI背后的团队也深切地认识到了这个问题:
“当出现新技术时,设计师、政策制定者等未必可以预测到所有随时变化的问题以及它们的突发性。因此,作者认为在计划这些测试的部署时,与各方提前沟通好,了解他们的价值观、工作流程及规范是至关重要的。”
大家如果有兴趣也可以点这里去看看这篇报告,里面包括了AI工具在临床环境中的工作方式以及所面临的障碍,对于了解AI的应用还是很有帮助的。