影像组学描述了从影像图像中提取定量特征的一系列计算方法。其结果常常被用于评估影像诊断，预后以及肿瘤治疗。然而，在临床环境中，优化特征提取和快速获取信息的方法仍然面临重大挑战。同样重要的是，从临床应用角度，预测的影像组学特征必须明确地与有意义的生物学特征和影像科医生熟悉的定性成像特性相关联。在这里，我们使用跨学科的方法来强化影像组学的研究。我们通过提供基于新的临床见解的计算模型（例如，计算机视觉和机器学习）来探究脑肿瘤影像学研究（例如，潜在的图像意义）。我们概述了当前定量图像特征提取和预测方法，以及支持临床决策不同水平的可行的临床分类。我们还进一步讨论了机器学习未来可能面临的挑战和数据处理方法，以推进影像组学研究。本文发表在American Journal of Neuroradiology杂志。
IEEE Signal Processing Magazine：从手工放射组学特征到深
使用多模态脑部扫描数据的自动脑肿瘤分割
Radiology：脑部MRI影像组学:转移瘤类型预测的应用
神经放射学诊断中的MRI数据分析
AJNR:深度学习在神经放射学的应用
Neuro-Oncology：对脑胶质瘤IDH突变状态进行分类的一种新型的
Neuro-Oncology：深度学习算法全自动评估脑胶质瘤负荷
Lancet Oncology：利用人工神经网络对神经肿瘤学MRI成像进行
Radiology：人工智能系统脑MRI鉴别诊断精度接近神经放射科
NPP:结构MRI数据的生理性别分类显示跨性别者女性的错误分
深度学习在医学图像分析中的应用
临床成像捕获了大量的信息，但大多数影像学数据都是以定性和主观的方式报告的。影像组学在神经肿瘤学中可以通过从临床图像中提取定量特征来提高对脑肿瘤生物学和治疗的认知。这些特征数据可以用机器学习方法“挖掘”，并作为定量成像生物标志物进行验证，以表征肿瘤在整个治疗过程中的动态特征。最近肿瘤影像分析方法的发展对治疗反应的早期指标、风险因素以及随后的最佳治疗策略的调整产生了新的见解。基于图像的机器学习模型，成为识别，分析和验证提取定量特征的重要方法。本文中，我们讨论了可作为成人脑肿瘤诊断、预后和治疗计划的预测指标的影像组学方法。我们还将讨论影像组学计算方法的可解释性。虽然计算特征和临床结果之间存在统计相关性，但在定量指标和传统成像特征与基础生物学之间存在更确切的联系之前，这种方法很可能不会广泛获得临床的认可。影像组学融合了几个重要的学科，包括放射学（如成像解释）、计算机视觉（如定量特征提取）和机器学习（如分类评估）。中心目标是确定预测重要临床结果的定量影像学指标，包括预后和对特定癌症治疗的反应或耐药性。1）了解临床影像学的功能性，作为建立影像组学模型的必要前提；2）计算机视觉中定量图像特征提取，可用于肿瘤影像学特征的挖掘；3）识别影像组学特征并证明可作为肿瘤潜在分子性质的可替代标志物，从而使无创手段能够表征肿瘤的生物学活性。4）使用机器学习方法进行预测分析，以分类临床结果并评估癌症的生理状态。通过放射学、计算机视觉和机器学习技术的融合，影像组学为脑肿瘤的多学科研究提供了一种机制。磁共振成像允许对脑肿瘤的介观特征（即“放射学表型”）进行无创性表征，是早期肿瘤检测、监测和诊断不可或缺的工具。影像组学分析是建立在肿瘤影像学反映小尺度生物学现象的基本形态和动力学的中心假设之上的，包括基因表达模式、肿瘤细胞增殖和血管形成。MR成像在胶质母细胞瘤的治疗中起着重要作用，原因有三个： 首先，磁共振成像通过提供优越的解剖信息（如空间位置），具有良好的软组织对比度检测能力。 其次，不同的MR成像序列对肿瘤生理的关键成分（如血流和细胞密度）敏感，并能区分含有可能影响局部细胞表型和基因型的不同环境（如血流变化）的肿瘤区域。 第三，磁共振成像可以无创和无破坏性地反复检查肿瘤，以评估对治疗的反应，因此可以整合到治疗策略中。了解这些基于图像的特征是至关重要的，因为它们是影像组学分析中的关键数据资源。磁共振成像中使用钆造影剂进行对比增强扫描是评估脑肿瘤的一个重要和有用的特点。注射钆后增强的肿瘤区域通常灌注良好，肿瘤细胞密度高，但也存在血脑屏障的破坏。与非对比成像相比，对比增强图像通常用于描绘肿瘤边缘，并允许早期发现额外的小转移病灶。通常，基于这些图像的肿瘤大小用于监测肿瘤对治疗的反应。因此，用于脑肿瘤分析的影像组学模型通常侧重于对比增强序列。MRI图像中脑肿瘤的空间异质性是公认的。不同的MR成像序列比其他成像方式更有效地利用了脑肿瘤的各种生物医学特性（例如CT只能显示电子密度的差异）。注射钆对比剂后T1加权图像可以显示肿瘤内的增强区域（表现为T1缩短或T1高信号），这是由于血脑屏障破坏导致钆从血管内漏入肿瘤。因此，坏死和实体瘤可以直观地区分。此外，T2加权序列对水组织含量敏感，可用于估计细胞密度和水肿的存在。液体衰减反转恢复序列（FLAIR）经常与t2加权图像结合使用，以便更好地区分水肿和实体瘤。另外，弥散图像可以得到基于水分子在不同组织类型中沿结构组织途径自由扩散的组织细胞特性。先进的磁共振成像方法，包括灌注成像、质子密度加权成像、快速自旋回波成像和短τ反转恢复成像，也被用于描绘特定的组织对比度。因此，从这些先进的成像序列中挖掘影像学数据将可能提供有关组织识别、治疗测量和临床实用性的额外潜在信息。虽然在过去的几十年里，磁共振成像技术的质量、分辨率和灵活性都有了很大的提高，但对图像的解释仍然主要是描述性的、主观的和非定量的。因此，影像组学的中心目标是发展能从磁共振成像扫描中重复提取客观定量数据的图像分析技术。将这些定量特征与控制肿瘤生长和治疗反应的潜在组织动力学联系起来，有可能迅速扩大癌症成像研究的范围。在这里，我们主要集中在相关的计算机视觉技术，特别是在定量癌症成像中的作用。影像组学依靠计算机视觉中的计算机技术从影像中提取出许多定量特征。提取的定量特征通常在定义的ROI内，该ROI可以包括整个肿瘤或其内的特定区域。计算机图像处理可以量化不同尺度的ROI视觉特征，可很容易地转化为与肿瘤体积形状和视觉外观动力学相关的影像图像分析。例如，尺度不变特征变换（scale-invariant feature transform，SIFT）通过使用高斯函数的差分关键点检测和具有半径和尺度选择的局部图像梯度测量来计算（如图1所示）。这可以对肿瘤形状进行定量测量，以便在治疗过程中可以观察到细微的变化（即，逐渐变圆或逐渐变椭圆）。最近的一些研究已经证明了计算图像提取方法的准确性和可重复性，这些方法可以从脑肿瘤磁共振成像中获取肿瘤形状和纹理信息的特征。因此，这些方法有望进行大规模，快速吞吐量和可重复性评价，并可应用于常规临床成像研究，是可广泛使用的。
显示T1加权脑肿瘤切片（A和B），并给出局部二进制模式（local binary patterns，LBP）（C） 定向梯度直方图（histogram of oriented gradients，HOG）（D）和SIFT（E）转换的特征可视化（C-E）。LBP通过二进制编码方案量化局部像素结构。HOG计算具有多个方向的分块直方图梯度。SIFT检测肿瘤图像上具有半径分布的关键点。这些多参数特征建立了一个丰富的图像驱动数据库，可以在不同尺度上描述肿瘤的MR成像特征。在这里，我们描述了两个主要的计算机视觉背景下的图像特征提取方法包括局部或全局水平的计算。首先，局部水平的特征提取提供了一个图像处理方法，用于比较被测像素与其邻近像素。这允许在一个均匀的、较大的肿瘤区域内识别一个小的、但在生物学上重要的肿瘤生态位区域（少量像素）。例如，这可以通过LBP（局部二进制模式）来实现。这些局部图像处理方法对人类观察不到的单调较小的灰度差的局部图像较为敏感。相比之下，全局级的特征提取是一种对整个ROI的总体组成进行阶段化量化的有效方法。例如，有计算机图像处理方法被设计用于开发图像的低维表示，强调空间结构的变化（例如，粗糙度、开放性和扩展性）。此外，高阶统计特征，即纹理特征，已被广泛应用于脑癌等癌症的影像分析。纹理特征包括灰度共生矩阵和灰度大小区域矩阵，它们通过一系列统计度量来检查像素的空间关系。定向梯度直方图（HOG）特征也被证明是有效的特征，用于量化放射科医生无法观察的多方向图像梯度统计。最近的一项研究表明，磁共振成像中的共现梯度有助于区分脑肿瘤亚型。尽管计算机图像特征提取取得了一些进展，但它们可能并不理想，因为特征提取固有地将每个MR成像序列中超过一百万个体素的复杂数据集提取为少数几个数字的特征。要确定一个鲁棒的影像学特征，需要两个重要因素：首先，提出的特征描述必须能够捕捉与患者临床结果相关的显著特征。此外，在不同的图像采集参数下，所描述特征必须是稳定的。尽管磁共振成像信号在分子、组织和器官水平上表现出肿瘤的几何形状、外观和体素变化以及潜在的生物学特征，血流的潜在动力学和时间变化增加了获得有用的影像学特征的难度。因此，重测和观察者间稳定性被强烈建议用于评估影像组学研究中稳健的计算图像特征。受生物学启发的特征描述建立在特定的生物学假设之上，这些假设将公认的放射学知识转化为定量表示，而不是单纯的计算方法进行特征提取。了解疾病特征对于提出生物特征是必要的，因为它们可能是疾病特异性的。例如，最近的一项研究表明，磁共振成像衍生的药代动力学特征（例如，每单位体积组织的细胞外空间）是区分同步放射治疗和化疗治疗结果的潜在生物标志物。生物学启发的磁共振成像特征可以用来定义器官水平的肿瘤数据变化和分布，为观察肿瘤的空间变化和时间演变提供了机会。例如，定义了一个空间距离测量来定量研究脑肿瘤的异质性。建议的空间距离表明，生物定义的肿瘤亚区之间的差异可以反映不同的预后信息。同时，胶质瘤高、低灌注异质区域放射治疗早期的时间变化和空间异质性可能预示着放射治疗的不同生理反应。其他研究提出了一个新的成像环境的概念，通过MR成像中的局部增强、水肿和细胞数量来量化不同的肿瘤亚区域。此外，最近的一项研究通过放射线定位活检测量了MR信号和细胞密度之间的关系，结果显示T2-FLAIR和ADC序列与细胞密度呈负相关。该表突出了几个具有临床潜力的特征。由于不同的MR成像序列与各种临床成像协议相关联，因此生物学上的特征与相应的MR成像序列相关。因此，MR成像序列的选择直接影响图像特征的定义和相应的生物解释。例如，1项研究使用表观扩散系数直方图能够早期预测胶质母细胞瘤的药物治疗反应。在这项研究中，弥散和T1加权图像数据分别用于ADC计算和肿瘤分割。ADC被用来描述反映不同生物学机制的扩散过程。这些受生物学启发的特征是由放射科医生标注的定量而非定性的语义特征来描述肿瘤环境。VASARI语义特征集用于描述MR成像中对比增强脑肿瘤的形态（如肿瘤位置、形状和几何特征）。影像基因组学，也称为放射基因组学，是一个研究影像生物标志物与疾病基因组特征之间关系的新兴领域。这个定义的固有目标是使无创成像评估成为分子特征的替代物，而这些特征以前只有通过分子测试才可获得。少数研究确定了胶质母细胞瘤（例如，TP53、EGFR、NF1和IDH1）及其分子亚型（例如，经典型、间充质型、前神经型和神经型）的定量图像特征和基因表达谱之间的关联。进一步的研究表明，从整个肿瘤体积获得的定量磁共振成像特征可用于识别具有不同分子通路活性的胶质母细胞瘤亚型。这种全肿瘤比较的价值受到肿瘤细胞成像特征和肿瘤分子特性的空间差异的限制，例如，多形性胶质母细胞瘤。然而，这种广泛的肿瘤内异质性也提供了一个令人信服的研究机会，如果磁共振成像的空间特征，主要由肿瘤的介观特性（如血流和细胞密度）决定，可以用来确定胶质母细胞瘤分子亚型在同一肿瘤内的空间分布。为了更好地定义基因组关系的成像，发展能够进行空间表征的子区域成像分析具有生物学价值（图2），因为它提供了一种手段来表征空间上不同肿瘤片段中的分子变化。
图2，胶质母细胞瘤分区成像与分子图谱的联系。在这个例子中，肿瘤亚区（B）是通过联合聚类对比增强的T1WI和T2WI（A）来定义的。这些子区域对应于红色（高T1WI和高T2WI）、黄色（高T1WI和低T2WI）、蓝色（低T1WI和高T2WI）和粉色（低T1WI和低T2WI）区域。定义的肿瘤亚区可以实现定量的空间表征，提供了一种无创评估特定分子活性的方法（C）和丰富的分子通路（D）。机器学习提供了一种发现预测性影像组学特征的方法。在这里，研究者并不是从一个先验的生物学假设开始的。因此，需要在参数空间中搜索与临床结果统计相关的成像特征。在评估机器学习模型之前，需要一个医疗诊断任务的规范，以便模型能够得到适当的训练。例如，有监督、无监督和半监督学习模型是根据可用临床结果标签的不同级别选择使用的基本学习方法。在监督学习中，目标是从具有已知类标签的训练样本中学习，并从大量而含有噪声的数据集中预测未知模式的类或数值。相反，无监督学习从数据中发现自然结构而不需要任何先验标签。作为一种混合学习，半监督学习只需要一小部分标记的训练数据，对于未标记的数据样本，不是被丢弃，也用于学习训练的过程中。近年来，深度学习作为机器学习的一个新领域的兴起，推动了大规模医学图像分析的发展。我们描述这些学习方法，并强调在脑肿瘤中的具体临床应用。监督学习是近年来影像医学研究中应用的一种主要学习方法。监督学习在概念上分为两个阶段：首先，使用具有可用类别标签的训练样本，通过寻找一组参数来定义类别之间的决策边界，从而构建分类器。其次，利用已训练的分类器对未知测试样本的类标签进行预测。值得注意的是，分类器的选择取决于所需的分类器属性，包括收敛性和建模假设。有此类研究表明了机器学习分类器的选择，对于有监督学习影像组学在影像组学生物标志物检测中的应用。更多应用的例子包括肿瘤亚型分类和生存率预测，这些将在下面的临床应用中讨论。无监督学习算法在不知道数据的任何先验标签的情况下，根据数据的相似性对数据进行分组。例如，提出了一种基于知识的无监督模糊聚类方法来自动分割脑肿瘤。随着临床影像学的发展，在影像图像上手工标注肿瘤的任务越来越繁重。因此，探索可扩展的算法来标注大量的肿瘤成像数据和评估人类的受体间变异性已经引起了人们越来越多的兴趣。半监督学习是专门为某些患者难以获得类别标签的任务而设计的（例如，肿瘤进展的估计）。也就是说，半监督学习的发展克服了传统监督学习在训练中不能使用缺失标签数据的局限性。半监督模型在训练中可以有效地进行不完全临床标记的预测分析。例如，1项研究使用半监督学习模型预测脑肿瘤预后状态。利用26%的可用分期标记，使用胶质母细胞瘤患者的分期标记进行鉴别分析。最近，深度学习已经成为一种强大的技术，它定义了一个网络体系结构，将多个类似神经的处理层与多个抽象层次连接起来。当可用的训练样本数目足够大时，深度学习方法在许多计算机视觉应用中取得了破纪录的性能。例如，卷积神经网络是一种深度学习模型，它包含级联的卷积层和池化层，然后是完全连接层来学习输入数据的高级表示。越来越多的研究表明，应用卷积神经网络模型在医学图像分析领域取得了较好的效果。最近的一项研究特别介绍了一种基于卷积神经网络的脑肿瘤分割方法。在所设计的包含多个3×3的卷积核和深层的网络结构下，该模型在2013年脑肿瘤分割挑战赛数据库上取得了很好的分割效果（DICE=0.88）。生存率预测。由于肿瘤的影像学异质性，仅用临床影像学预测胶质母细胞瘤的预后表现具有挑战性。临床分组的分层将直接影响影像学的诊断和靶向治疗。与放射科医生作出的定性评估（增强肿瘤、水肿和多灶性病变）相反，最近的一项研究引入了定量空间成像生物标记物来预测胶质母细胞瘤患者的生存时间。这样需要一个带有生存信息的训练集。它提示FLAIR和T2加权像上共现亚区的对比信息有助于区分长期（大于400天）和短期（小于400天）生存组。胶质母细胞瘤亚型分类。脑肿瘤组织学分组的一个例子证明了影像组学特征在快速分类胶质瘤、转移瘤、高（III级和IV级）和低（II级）肿瘤方面的实用性。定量图像分析收集了脑肿瘤的识别、原始强度值和基于MR成像的纹理特征，以证明多参数MR成像特征能够分离脑肿瘤的组织学分类。此外，最近的一项研究表明，仅利用放射特征就可以对胶质母细胞瘤的分子亚型进行分类。在这种方法中，增强肿瘤的磁共振成像强度直方图被证明可以为预测胶质母细胞瘤分子亚型提供附加信息。肿瘤组织鉴别分析。在接受放化疗的胶质母细胞瘤患者中，鉴别放化疗坏死和肿瘤复发是困难的，因为传统的磁共振造影定性解释不太可能区分放化疗引起的坏死和假性进展。相比之下，定量磁共振成像特征可以显示可区分放射性坏死和复发性肿瘤。有结果显示，从多个磁共振成像序列（如T1、T2、相对CBF和ADC）获得的一组定量强度特征可用于检测多形性胶质母细胞瘤切除患者化疗放疗后的放射性坏死组织。最近的影像组学研究已经取得了实质性进展，加深了我们对癌症影像学特征的理解。已识别的定量特征可用于提醒放射科医生注意可疑的异常，因为影像组学模型甚至可以捕捉人类专家不易察觉的肿瘤情况的细微变化。我们强调了定量图像特征提取和机器学习技术的收敛性，以支持诊断、预后和治疗预测。我们强调了定量图像特征提取和机器学习技术的收敛性，以支持诊断、预后和治疗预测。接下来，我们将讨论挑战和机遇，这些挑战和机遇不仅与脑肿瘤磁共振成像有关，而且也适用于影像组学中其他类型的癌症研究。人们越来越需要研发出能够直接告知特定治疗方案的影像组学特征。随着磁共振弥散加权成像的发展，新的研究显示，ADC图有助于鉴别胶质母细胞瘤放射治疗与替莫唑胺同期治疗的结果。此外，ADC图的早期变化也可用于预测胶质母细胞瘤复发。此外，FLAIR信号量的减少和对比度增强可以预测胶质母细胞瘤患者对贝伐单抗治疗的反应。为了更好地理解这些影像学发现的生物学意义，在多个诊断时期收集基于时间的影像成像能够描述生物肿瘤治疗前后的演变。目前，区分假进展和假反应的肿瘤反应仍然是肿瘤MR成像的挑战；因此，发展有助于治疗结果分析的放射特征将是有吸引力的。尽管最终被确认为对不同治疗反应的真正预测因子的影像学特征类型仍有待确定，但大量的影像组学特征的发现，结合分子数据的增长，将增加重新定义肿瘤亚型和发现新的生物标志物的可能性，为未来几年的治疗决策提供信息。从各种成像序列中提取大规模的影像组特征可以创建一个包含临床相关信息的丰富数据库。在机器学习中，计算模型和生物特征描述都是非常重要且有用的。因此，发展可泛化的机器学习技术对于寻找和识别与结果变量和临床记录相关的有用图像特征至关重要。我们讨论了两个代表性的技术来满足这一需求。首先，建议的方法是研究稀疏学习模型，也称为LASSO（Least absolute shrinkage and selection operator）正则化，从高维特征向量中找到有用的降维特征。有研究表明稀疏学习有助于识别非小细胞肺癌的多参数预后成像的生物标志物。第二，近年来随着深度学习在应用放射学方面取得的突破，如肺结节恶性肿瘤分类和淋巴结检测，在寻找疾病特异性成像生物标志物方面取得令人鼓舞的结果。然而，医学数据标记的可用性对开发有效的深度学习模型提出了挑战。例如，具有病理学证明标签的癌症图像在大规模上收集成本很高；对于需要大数据集作为输入的深度学习模型，使用不同类型的临床标签进行数据集成可能是克服这些障碍的另一种方法。尽管我们如何从这些深度学习成果中获得临床意义，以及如何优化模型网络架构以更好地利用多模态医学数据（如序列磁共振成像、基因组学和临床数据）尚不确定，通过分层网络提取多种特征为影像组学的大规模应用提供了巨大的机会。（如图3）
图3：使用成像和其他生物医学数据分析脑肿瘤的卷积神经网络模型架构。卷积神经网络模型由多个卷积层、池化层以及完全连接层组成，用于学习输入的抽象数据，例如用于各种结果评估的成像和临床特征数据。
影像组学研究遵循的主题是新兴的医疗保健大数据，涉及挖掘大量的生物医学数据。影像组学在大数据中的一个典型问题涉及到对不断增长的图像数据、基因表达谱和相关临床记录的管理。多中心数据（如医疗机构）和多种数据类型（如多技术成像数据）使得数据共享和集体管理成为一个特别复杂的问题。跨不同的图像协议和参数实现数据标准化成为集体共享研究的先决条件。癌症基因组图谱（TCGA，the Cancer Genome Atlas）的试点项目是一项提供大量临床数据和通用信息的计划。与此同时，常见肿瘤医学图像及相应临床信息的大规模公用数据库（TCIA，The Cancer Imaging Archive）在共享放射图像方面发展迅速。此外，定量成像网络（Quantitative Imaging Network，QIN）旨在促进有效的数据集成，帮助评估对癌症治疗有影响的成像生物标志物。最近，MR指纹技术被引入，以强调使用伪随机采集参数进行定量MR成像的作用。然而，大规模、高质量的基准数据集，包括完整的临床标记、标准影像组学特征和分子图谱，并不能广泛用于数据共享、实验评估和影像组学对精密医学的可重复性。影像组学中新的成像生物标志物的快速发现率需要整合来自放射学、计算机视觉和机器学习的跨学科方法的信息。随着临床影像学数据的增长，新的基于图像的计算模型在神经肿瘤的精确诊断和治疗指导中发挥着越来越重要的作用。只有当这些模型与肿瘤生物学很好地吻合时，影像组学的发现才能最大限度地提高其临床应用的可能性。在探索癌症异质性、可扩展的计算模型和肿瘤的临床意义方面，影像组学研究仍然面临挑战。我们相信，新出现的诊断假设和可泛化的机器学习算法有潜力提高当前癌症诊断的预测性能，并加速癌症定量成像结果以达到其真正的临床潜能。原文：Radiomics in Brain Tumor: Image Assessment, Quantitative Feature Descriptors, and Machine-Learning Approaches
