深度学习（DL）已被广泛用于各种医学成像任务，并在许多医学成像应用中取得了显著成功，从而将我们带入了所谓的人工智能（AI）时代。但人工智能的成功主要归功于单任务标记大数据的可用性以及高性能计算的发展。医学成像领域中的DL方法因此面临着独特的挑战。在上一部分的分享中，我们介绍了本文中指出的医学成像研究中DL方法需要面对的影像特征的特殊性、难题以及可行的解决方案，并对一些成功应用在CT影像、X光图像方面的深度学习方法进行了介绍和讨论。本次的分享为下半部分，主要介绍了在脑影像（主要是核磁共振图像）、胸部成像以及腹部成像方面的深度学习算法和实例的进展，最后还介绍了显微镜成像下图像的深度学习方案。对于我们快速了解相关方面的最新进展具有很高的意义。本文发表在Proceedings of the IEEE杂志。原文及DOI见文末。
Proceedings of the IEEE：医学影像深度学习（上）
近年来，DL在神经影像社区中的热度急剧上升。现在，许多神经成像任务（包括分割，配准和预测）都具有基于DL的实现路径。此外，通过使用深度生成模型和对抗训练，DL为复杂图像合成任务的研究开辟了新途径。随着大型和多样化的神经影像学研究数据的可用性不断提高，DL为提高准确性和通用性，同时减少推理时间和复杂预处理的需求提供了有吸引力的前景。尤其是CNN，已经实现了有效的网络参数化和空间不变性，当处理高维神经影像数据时，这两者都是至关重要的。CNN的可学习特征缩减和选择功能已被证明在高级预测和分析任务中有效，并且减少了对特定领域知识的高度需求。专用网络，例如U-Nets，VNets和GAN，在神经影像学中也很流行，并已被用于各种分割和合成任务。1)图像的分割和组织分类：精确分割是重要的预处理步骤，可为神经影像学中完成的许多下游分析和预测任务提供依据。诸如FreeSurfer之类的常用工具基于图谱的方法，从而使图谱通过变形场配准到扫描图像中，这需要耗费大量的时间。但基于DL的方法在推理过程中对计算上的时间要求相对较低，可以降低时间成本。最近的DL研究集中在一些重要的分割任务上，例如基于DL的脑部提取，皮质和皮质下分割以及肿瘤及病变分割。一些有趣的研究已经着眼于改进基于DL的分割方法在不同扫描仪上成像的神经影像数据集的泛化性能。特别是，Kamnitsas等人提出了一种训练方案，该方案利用对抗训练来学习扫描仪不变的特征表示。他们使用对抗网络根据用于图像分割的网络所学习到的下游特征表示，对输入数据的来源进行分类。通过对网络的不同epoch进行惩罚以提高对抗网络的性能，该方法显示出了跨数据的泛化性能。脑肿瘤分割已成为DL展现出前景的神经影像界的另一个活跃研究领域。过去，脑肿瘤数据集相对较小，尤其是那些在单个机构中对受试者成像的数据。脑肿瘤分割挑战（BraTS）为社区提供了可访问的数据集，以及一种将各种方法相互对照的途径。尽管已经看到DL很难通过较少的扫描就对数据集进行训练，但是新的体系结构和训练方法在此方面变得越来越有效。Havaei等人证明了他们的胶质细胞瘤分割网络在BraTS数据集上的性能，获得了很高的准确性，同时比以前的方法要快得多。深度网络正在获得越来越大的成功的另一项任务是语义分割，其中的解剖标记不一定要完全通过图像强度变化来定义，而是可以通过相对的解剖位置来识别。一个很好的例子是小脑分割，在最近的方法比较中，深层网络表现最佳。甚至更新的ACAPULCO方法使用两个级联的深层网络来产生小脑叶标签，如图4所示。
图4 使用ACAPULCO深度学习算法对小脑进行解剖学分割的结果
2)图像配准：图像配准可以允许跨成像方式和跨时间点的数据在单个对象中进行成像分析，也可以允许多个被试跨人群分析，是神经影像图像预处理的重要步骤。事实证明，基于DL方法的变形配准是一个技术难题，尤其是考虑到缺乏真实标签的情况。尽管如此，一些独特且多样化的方法仍以相对较快的运行时间获得了最先进的效果。Li和Fan人提出了一种完全卷积的“自我监督”方法，以完成多种分辨率下的适当空间变换。Balakrishnan等人提出了一种无监督图像配准的方法，该方法可以通过直接计算变形场来完成图像的快速配准。3)神经影像预测：由于从计算机视觉领域借用了许多体系结构，因此神经影像中基于DL的预测已迅速普及。传统的基于ML的神经影像数据预测依赖于仔细的特征选择和工程设计，通常采取区域汇总的形式，这可能无法说明特定任务的所有信息变化，而在DL中，使用原始成像数据，可以通过优化来学习适当的特征表示。这对于其中不知道哪些成像功能会提供信息的高级预测任务特别有用。此外，通过处理原始图像，可以减少对复杂且耗时的预处理的依赖。近年来，有关基于DL的预测任务（例如脑年龄预测，阿尔茨海默氏病的分类和轨迹模型，以及精神分裂症的分类）的工作量很大。一些工作已经考虑使用深层Siamese网络进行纵向图像分析。Siamese网络因其在面部识别方面的成功而广受欢迎。他们通过针对两个图像之间的某个距离度量，共同优化一组权重来进行工作。这种设置使它们可以有效地识别某些选定尺寸上的纵向变化。Bhagwat等人考虑使用纵向Siamese网络，通过两个早期时间点来预测未来的阿尔茨海默氏病发作。通过使用两个时间点而不是仅使用基线扫描，该方法在识别未来的阿尔茨海默氏病方面显示出显着提高的性能。4)GAN在神经影像学中的用途：GAN已在神经影像学中实现了复杂的图像合成任务，其中许多任务在传统ML中没有可比的类似物。GAN及其变体已在神经影像学中用于交叉模态合成，运动伪影减少，超分辨率重建，估计低剂量PET的全剂量PET图像，图像调和，异质性分析等。为了帮助促进此类工作，流行的MedGAN提出了对传统GAN的一系列修改和新的损失函数，旨在保留解剖上相关的信息和精细的细节。他们在转化后的图像上使用辅助分类器，以确保结果图像特征表示类似于给定任务的预期图像表示。此外，他们将样式转移损失与对抗损失结合使用，以确保良好的结构和纹理细节在转换中匹配。一些有前景的新工作试图减少PET成像所需的放射性示踪剂的量，从而有可能降低相关的成本和健康风险。这个问题可以作为图像合成任务的框架，从而可以从低剂量图像合成最终图像。例如将像素位置信息集成到用于图像合成的深层网络中。Kaplan和Zhu提出了一种基于生成方法的深度学习降噪方法，该方法使用对低剂量和全剂量PET成像的对象进行配对扫描。他们表明，尽管示踪材料减少了十倍，但它们仍能够保留重要的边缘，结构和纹理细节。数十年来，由于MR图像强度和扫描分辨率之间的高差异性，神经成像的定量量化一直受到阻碍。Deway等使用U-Net的体系结构，并使用两个不同的协议对已扫描的被试进行配对，以了解两个站点之间的映射。通过将超分辨率方法应用于以较低分辨率获取的图像，可以解决分辨率差异。他们能够使用网络方法减少基于站点的变化，从而提高了两个站点之间分段的一致性。虽然神经影像学中的DL无疑开辟了许多有趣的研究途径，但某些领域仍然缺乏严格的设计。重要的研究领域，例如从有限的数据中学习，最佳超参数选择，域自适应，半监督设计以及提高鲁棒性，都需要进一步研究。数据驱动的DL领域的最新进展已经改变了对心脏解剖结构和功能的量化和理解。最近在心血管成像的各个子领域都有重要的工作，包括图像重建，从图像端到端学习心脏病理学以及整合非成像信息（例如遗传学和临床信息）进行分析。在此，我们简要介绍该领域DL的三个关键方面：心腔分割，心脏运动/变形分析和心脏血管分析。运动跟踪和分段在检测和量化心肌腔功能障碍中都起着至关重要的作用，并且可以帮助诊断心血管疾病（CVD）。传统上，这些任务被独特地对待，并作为单独的步骤解决。通常，运动跟踪算法使用分割结果作为对用于生成位移场的采样点和感兴趣区域的解剖学指导。因此，也有部分努力将运动跟踪和分割相结合。心脏图像分割是许多临床应用中重要的第一步。目的通常是分割主腔，例如左心室（LV），右心室（RV），左心房（LA）和右心房（RA）。这使得能够量化描述心脏形态的参数，例如体积，质量或心脏功能，例如壁增厚和射血分数。DL在心腔分割方面有大量的研究工作，其主要特征是采用的图像类型（模态）以及该工作是2D还是3D的。Tran运用全卷积网络（FCN）从二维心脏MR图像中分割LV，心肌和RV是最早尝试之一，其准确性明显优于传统方法和速度。自从这一研究以来，已经开发了各种其他基于FCN的策略，特别是流行的U-Net方法，通常包括2-D和3-D约束，时空背景的融合也是一个重要的研究方向，包括在舒张末期和收缩末期状态下同时分割心脏的研究。先前已经发现基于形状的约束对于使用其他类型的ML的左室分割很有用，并能很好地将其包括在解剖学上受限的DL策略中。这种堆叠式卷积自动编码器方法也成功地应用于从3-D超声心动图数据进行LV分割。其他重要工作的目标是MRI的心房分割，CT的全心分割和3-D超声图像序列的LV分割，后者主要使用图谱配准和对抗性学习相结合。DL在心脏分割方面的进展是由该领域中许多持续的挑战所促成的。心脏运动跟踪是变形/应变分析的关键，对于分析心腔的机械性能很重要。已经开发了使用生物力学模型和数据驱动学习的各种图像配准，以及基于特征的跟踪和正则化方法。可用于跟踪的一种特殊类型的数据集是MRI数据，并且最近在结合使用递归神经网络（RNN）和卷积神经网络（CNN）从短轴MRI标签图像序列中估计心肌张力。通过标准的MR图像序列和4-D超声心动图估计运动位移和应变也是可能的，这通常是通过使用某些类型的图像配准来集成图像分割和帧间映射的思想来完成的。从MR成像进行心脏运动跟踪的最新研究已经采用了计算机视觉领域的方法，这表明运动跟踪和分割的任务紧密相关，并且用于完成一项任务的信息可能会补充并改善另一项任务的整体性能。特别是，提出了一种有趣的DL方法，用于视频对象和光学的联合学习流（运动位移）称为SegFlow，它是一个端到端的统一网络，它同时训练两个任务并通过双向特征共享来利用这两个任务的通用性。
图5 使用4-D（3-D + t）半监督网络，以在分割LV壁的同时跟踪LV运动
Qin等人是最早将此思想整合到心脏分析中的人。通过开发双Siamese风格的递归空间迁移网络和全卷积分割网络来同时估计运动并生成分割mask，成功地实现了将运动与分割结合在二维心脏MR序列上的想法。这项工作主要针对具有比超声心动图图像更高的SNR的2-D MR图像，因此更清晰地描绘了LV壁。将这种方法直接应用于超声心动图检查仍然具有挑战性。Ta等人最近的研究（参见图5）提出了一种4-D（3-D + t）半监督网络，以在分割LV壁的同时跟踪LV运动。该方法通过对网络进行迭代训练，其中一个分支的结果可以影响另一个分支的分割结果并使其正则化。位移场由生物力学激发的不可压缩约束条件进一步正则化，该约束条件可实现逼真的心脏运动行为。他们所提出的模型与其他模型不同，在其他模型中，该模型将网络扩展到4-D以捕获平面外运动。最后，来自DL的运动信息的临床可解释性将是未来几年的重要主题。心脏血管分割是心脏图像分析的另一重要任务，包括大血管（例如主动脉，肺动脉和静脉）和冠状动脉。大血管的分割，例如主动脉，对于精确的机械运动和血液动力学表征很重要，例如用于评估主动脉顺应性。目前，已经提出了几种用于该分割任务的DL方法，包括使用RNN以便在存在噪声和伪影的情况下跟踪心脏MR图像序列中的主动脉。同样重要的任务是分割冠状动脉，以进行定量分析以评估狭窄程度或模拟血流，以计算来自CT血管造影（CTA）的部分血流储备。冠状动脉分割的方法可以分为提取血管中心线的方法和分割血管腔的方法。一种端到端的训练方法可用来来提取冠状动脉中心线。在这种方法中，使用多任务FCN提取中心线，该任务同时计算中心线距离图并检测分支端点。该方法生成没有杂散分支的单像素宽的中心线。该技术的一个有趣的方面是，它可以在不事先考虑容器树的深度或其分支模式的情况下处理任意容器树的情况。与此相反，Wolterink等人提出了一种CNN方法，该CNN经过训练可预测局部3-D图像patch内最可能的冠状动脉方向和半径。从种子点开始，使用CNN预测通过跟踪血管中心线来跟踪冠状动脉。Lee等人没有执行体素分割，而是在血管段分割之前引入管状形状。这是通过模板转换器网络实现的，通过该转换器，形状模板可以通过基于网络的配准进行变形，以生成输入图像的精确分割，并保证拓扑约束。最近，几何DL方法也已应用于冠状动脉分割。例如，Wolterink等人使用图卷积网络进行冠状动脉分割。他们把冠状动脉表面的顶点用作图节点，将它们的位置关系作为边，实现了端到端的计算过程。近来，使用医学成像在腹部解剖结构和疾病的自动检测，分类和分割方面取得了高速发展。器官和病变：多器官融合的方法已成为解剖学定位和分割的流行方法的。对于单个器官，肝脏，前列腺和脊柱可以说是最精确的分割结构，并且用DL进行的研究最为活跃。DL研究人员还感兴趣的其他器官包括胰腺，淋巴结和肠。许多研究已经使用U-Net分割肝脏和肝脏病变并评估肝脂肪变性。肝脏分割的Dice系数通常超过95％。在前列腺中，腺体分割和病变检测一直是SPIE / AAPM挑战和众多出版物的主题。也曾报道过使用DL自动检测胰腺癌的方法。DL已被用于确定胰腺神经内分泌肿瘤患者的胰腺肿瘤生长率。脾脏分割的Dice得分为0.962。最近，已经提出了marginal loss and exclusion loss 来训练来自部分标记数据集的联合的单个多器官分割网络。淋巴结肿大可表明存在炎症，感染或转移性癌症。一些研究评估了一般和特定疾病（例如前列腺癌）的CT腹部淋巴结肿大。TCIA CT（淋巴结）数据集已在该领域取得进展。在肠中，CT结肠造影计算机辅助息肉检测是十多年前腹部CT图像分析中的热门话题。DL的最新进展有限，但研究报告称，对于肠癌前结肠息肉的检测，电子肠清洗技术得到改善，敏感性更高，假阳性率更低。
图6 使用通用的深度学习方案对腹部CT的二维图像进行检测，可以以很高的正确率检测到出现组织病变的位置。使用持续同源性的DL最近显示了在CT上进行小肠分割的成功。DL可以在CT上检测到结肠炎症。通过对自然世界视频进行预训练，可以在CT扫描中检测出阑尾炎。Inception V3 CNN可以在腹部X光片上检测到小肠梗阻。肾脏功能则可以使用超声图像的DL进行预测。使用DL可以检测到潜在的弥散性疾病，例如卵巢癌和异常采血。使用U-Net在CT上分割了男性骨盆有放射治疗风险的器官，例如膀胱和直肠。除此，当前已经开发了用于身体CT，包括腹部CT的通用病变的深度学习检测方案（见图6）。通用病变检测仪可识别、分类和测量整个腹部的淋巴结和各种肿瘤。该探测器使用公开可用的“Deep Lesion”数据集进行了训练。利用机会性筛查来量化和检测未被充分报道的慢性病一直是人们关注的一个领域。用于腹部机会性筛查的DL方法示例包括自动骨矿物质含量及骨密度测定，内脏脂肪评估，肌肉体积和质量评估以及主动脉粥样斑块定量。研究表明，这些测量可以准确完成，并且可以很好地推广到新患者人群中。这些机会筛选评估还可以预测生存率和心血管疾病的发病率，例如心脏病发作和中风。用于腹部成像的DL可能会继续快速发展。对于临床转化而言，一些最重要的进展将寻求在不同的病人群体和不同的图像采集的普遍性证明。随着整个玻片扫描的出现以及组织玻片图像的大型数字数据集的发展，DL方法在数字病理数据中的应用已显着增加。虽然这些方法在数字病理学领域的最初应用主要集中在其用于检测和分割独立原始部分（例如淋巴细胞和癌核）的效用，但它们现在已经在解决更高水平的诊断和预后任务以及应用中取得了进展。DL方法可预测疾病的潜在分子基础和突变状态。在下文中，我们描述了DL方法在数字病理学中的不断发展的应用。1) 核检测和分割：DL在整个玻片病理图像中的早期应用之一是单个核的检测和分割。徐等人提出了一种使用堆自动编码器方法来识别乳腺癌病理学图像上单个癌核位置的方法。随后，来自Janowczyk和Madabhushi的工作证明了DL方法可用于识别和分割许多不同的组织学单位，包括淋巴细胞，肾小管，有丝分裂形态，癌症程度，以及对与白血病有关的不同疾病类别进行分类。全面的教程还详细介绍了数据标记，网络训练和测试协议的最佳实现。随后，Cruz-Roa等人证明CNN可以用于在整个玻片乳腺癌病理图像上准确识别癌症的存在和程度。在载玻片或患者水平上，该方法被证明具有100％的准确性，可用于识别癌症的存在与否。随后，Cruz-Roa等人还演示了使用高通量自适应采样方法来提高之前介绍的CNN的效率。Bejnordi等讨论了DL算法对乳腺癌女性淋巴结转移的诊断评估，作为CAMELYON16挑战的一部分。这项工作发现，在没有时间限制的情况下，至少有五种DL算法与病理学家解释载玻片的性能相当，并且某些DL算法比参加常规病理学工作流程的模拟练习的11名病理学家小组获得了更好的诊断性能。在肺癌病理学图像的相关研究中，Coudray等人在来自癌症基因组图谱（TCGA）的WSI上训练深层CNN（inception V3），已经能准确，自动地将它们分类为肺腺癌，鳞状细胞癌或正常肺组织，其曲线下面积为0.97。基于CNN的方法的挑战之一是需要对感兴趣的目标进行详细标记。鉴于疾病程度的标记通常需要由资深的病理学家提供，因此这是一项劳动密集型任务。
图7 使用CNN方法识别2D载玻片上癌症病变的组织区域
在Campanella等人的综合论文中。研究小组采用弱监督的方法来训练DL算法，以在slides水平上识别癌症的存在与否。他们能够对来自15,000多名患者的超过44k WSI进行大规模研究，证明对于前列腺癌，基底细胞癌和乳腺癌转移至腋窝淋巴结而言，曲线下的相应面积均在0.98以上。作者认为，病理学家可以使用该方法排除65％–75％的载玻片，同时保留100％的癌症检测敏感性。2)疾病分级：病理学家可以在H＆E slides上可靠地识别出疾病类型和程度，数十年来一直观察到该疾病的某些特征与其行为相关。但是，他们无法足够严格地、重现性地识别或量化疾病行为的这些组织学标志，以至于无法常规使用这些功能来决定疾病的结果和治疗反应。DL的应用领域之一是模仿病理学家对疾病标志的识别，尤其是在癌症的情况下。例如，在前列腺癌中，病理学家通常旨在将癌症分为五个不同类别之一，称为Gleason等级组。但是，这种评分系统与许多其他癌症和疾病一样，会因阅读者之间的差异和分歧而受到影响。因此，已经提出了许多用于前列腺癌分级的最先进的DL方法。Bulten和Ström等人最近都发表了分别涉及1243和976名患者的大型研究，并表明DL方法可用于实现与病理学家相当的Gleason分级表现。3)疾病的突变鉴定与生物途径的关联：疾病的形态反映了疾病内部所有先天遗传和后天改变的总和。认识到这一点，一些小组已经开始探索DL方法在鉴定疾病特异性突变以及与生物途径的关联中的作用。Oncotype DX是一种21基因表达检测方法，可进行预后并预测辅助化疗对早期雌激素受体阳性乳腺癌的益处。在两项相关研究中，Romo-Bucheli等人表明DL可用于从病理图像中识别肾小管密度和有丝分裂指数，并证明这些测量值与乳腺癌的Oncotype DX风险类别（低，中和高）之间有很强的联系。有趣的是，肾小管密度和有丝分裂指数是乳腺癌分级的重要组成部分。MSI是DNA错配修复受损导致的状况。为了评估肿瘤是否为MSI，需要进行基因或免疫组织化学检查。Kather等人的一项研究表明，DL可以根据组织学图像预测胃肠道癌中的MSI，AUC=0.84。Coudray等表示，可以训练DL网络来识别非小细胞肺腺癌中许多常见的突变基因。他们表明，这些突变基因中的六个（TK11，EGFR，FAT1，SETBP1，KRAS和TP53）可以可以从病理图像中预测，AUC为0.733-0.856。4)生存和疾病结果预测：最近，人们对将DL算法应用于病理图像以直接预测生存和疾病结果感兴趣。在最近的一篇论文中，Skrede等人对DL进行了一项大型研究，涉及来自2000多个患者的超过1200万个病理图像切片，以预测早期结直肠癌患者的癌症特异性生存率。在1122名患者的验证队列中，DL对不良和良好预后的风险比为3.84（95％CI 2.72–5.43; p <0.0001），在针对既定因素（预后标志物，包括T和N期）进行调整后，风险比为3.04（2.07–4.47; p <0.0001）。Courtiol等人提出了一种在间皮瘤情况下采用DL预测患者预后的方法。Saillard等人使用DL预测肝细胞癌切除术后的生存情况。尽管上述研究清楚地反映了DL在数字病理学中对各种图像分析和分类问题的影响力和影响力日渐增长，但它的可解释性，对大型训练集的需求，对带标签的数据的需求以及可概括性仍然令人担忧。当前研究者们已经尝试使用诸如视觉注意力映射之类的方法来提供关于DL网络中重要的图像位置已达到对可解释性的图示化表示。提供可解释性的另一种方法是通过混合方法，其中DL用于在病理图像中识别感兴趣的特定原始部分（例如淋巴细胞）（换句话说，将其用作检测和分割工具），然后从中获取特征原始基因（例如淋巴细胞排列的空间模式）来执行预后和分类任务。然而，正如Bera等人在最近的一篇综述文章中所指出的，虽然DL方法对于诊断适应症可能是可行的，但是与结果预测和治疗反应相关的临床任务可能仍然涉及提供更大解释性的方法。尽管对DL及其在数字病理学中的研究似乎很有可能继续增长，但这些方法如何在前瞻性和临床试验中发挥作用还有待观察，而这反过来可能最终决定了它们的临床转化。在本文中，已回顾了跨多个医学领域和任务的许多技术挑战。通常，大多数挑战是通过不断改进解决方案来解决众所周知的数据挑战的。整个领域都在不断开发和改进基于TL的解决方案和数据增强方案。随着跨数据集系统的建立，医院和国家实施的大型政策，一系列新的挑战正在出现，包括该系统的鲁棒性、跨协议可用性，机器和医院的通用化问题等等。除此以外，数据预处理，连续模型学习和跨系统微调是未来的一些新发展。人们经常提出在临床是否使用DL工具的问题。因为在许多任务和挑战中，DL方法显示的结果展现了放射科医生的水平。在最近进行的几项评估基于AI的技术对放射科医生的辅助作用的研究中，始终表明具有AI的人类专家的表现要优于没有AI的人类专家。该领域的兴起导致了许多AI医学成像初创公司的出现。尽管有一些较早的研究提供了证据，表明早期的深度学习工具不一定对测试场景有用，并且迄今为止，从研究到实际临床使用的技术转化还没有大规模进行。但在实际上，最近已为AI技术授予了专用的报销代码，有许多技术已获得FDA批准。目前，造成这种临床转化延迟的原因有很多，其中包括用户对技术持谨慎态度，尤其是被AI取代的前景；需要证明该技术可以满足实际用户需求并带来可量化的收益；漫长而昂贵的监管途径；患者安全考虑；和经济因素，例如谁将为AI工具付费。未来的预测是，这是一个新兴领域，前景广阔。我们如何实现呢？一个有趣的可能性是，全球使用COVID-19大流行的经验实际上将起到弥合需求与AI之间的鸿沟的作用-用户渴望获得更快更便捷的支持，甚至是更适应于促进通用计算工具过渡的监管步骤，特别是与COVID-AI相关的工具。在过去的几个月中，我们目睹了几项有趣的进展：本文中描述的许多AI工具能够迅速从现有的预训练模型适应新的COVID-19疾病表现。用于COVID-19检测，定位，定量和表征的基于DL的强大功能强大的解决方案开始支持初步诊断，并且更能支持住院患者的随访。除此以外，还开发了基于AI的工具来支持疾病严重程度的评估，最近，他们开始提供评估治疗和预测治疗成功的工具。最后，在诸如临床神经科学等领域的大量研究表明基于AI的图像评估可以识别视觉放射学评估无法感知的复杂成像模式。例如，许多神经精神疾病和神经系统疾病的解剖学，功能和结缔组织特征不仅有望在神经生物学的基础上以更精确的方式重新定义其中的许多疾病，而且还提供早期发现和个性化的风险估计。此类功能可能会大大扩展当前的临床方案，并为精密医学做出贡献。总之，我们已经迈出了将图像的深度学习处理与其他临床背景相结合的第一步，许多在医学图像处理上取得的成果都支持将其用于临床诊断。但我们需要做的还有很多，包括从患者记录到其他临床特征测量与图像计算的融合上（例如血液测试，基因组学，药物，生命体征和非成像数据，例如ECG）。该步骤将提供从图像空间到患者水平信息的过渡。 除此以外，还需要收集人群水平的统计分析，从而能够了解疾病表现，治疗反应，药物不良反应以及药物之间的相互作用等。此步骤需要构建复杂的基础结构，并在医院和学术研究机构之间，医院之间以及跨国集团中生成新的隐私和安全法规。随着越来越多的数据可用，DL和AI将支持在数据中进行无监督的探索，因此，在未来的应用中，DL方法将会真正地支持医学图像和临床诊断的快速进步。
A review of deep learning in medical imaging: Imaging traits, technology trends, case studies with progress highlights, and future promises
SK Zhou, H Greenspan, C Davatzikos… - Proceedings of the …, 2021 - ieeexplore.ieee.org10.1109/JPROC.2021.3054390
