DeepProg：一个基于多模态转换器的端到端疾病预后预测框架

重磅干货，第一时间送达

小黑导读

论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

绝大多数深度学习方法都是用来自动诊断任务的。然而，在临床实践中，一个更高级的问题是如何预测疾病的进程。当前解决这个问题的方法是复杂的，并且通常需要领域知识，这使得从业者很难使用它们。在本文中，作者将预测任务定义为一对多序列预测问题。受两个代理{一个放射科医生和一个全科医生{的临床决策过程的启发，作者提出了一个通用的端到端转换器为基础的框架，从图像和辅助数据估计疾病预后。该方法的有效性和有效性显示在综合数据上，并在预测膝关节结构骨关节炎变化的发展任务中。

框架结构

DeepProg框架的概念模型

DeepProg工作流程

实验结果

基于ChestMNIST数据集的综合数据的诊断和预后

(a) DeepProg根据转移概率的表现图示。(b)第一行的第一幅图像(绿色边界)为输入图像。其余四幅图像未被DeepProg观测到，而是显示了数据中的实际序列。下面一行显示了预测的softmax概率。

从预后转换器的最后一层为KL 1在基线的膝盖提取的MSA地图示例。注意头同时集中在关节间隙的不同位置。

在OAI场外测试集上，与SOTA方法在膝关节OA进展任务上的8年标记进行比较。

结论

在本文中，作者提出了一种基于通用变压器的新方法，从多模型数据预测膝关节骨关节炎的进展。据作者所知，这是在OA领域的第一次研究，该开发方法可以对其他领域产生兴趣，其中疾病的预测是感兴趣的。

作者的框架提供了集成多模态数据的工具，并且具有内建的解释功能(Suppl。图S2)。在此基础上，提出了今后的研究方向。

论文链接：https://arxiv.org/pdf/2104.03642.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。