HALO AI助力H&E及质谱成像间的信息传递研究PDAC肿瘤异质性
在癌症研究过程中，越来越多的成像技术被用于研究复杂的生物样本，每个样本以不同的长度尺度和空间分辨率提供互补的，有时是重叠的信息。传统的成像方法，如H&E染色，免疫组化及免疫荧光等，能够对组织形态的异质性以及细胞表型空间分布的状态进行分析。最近，质谱成像(Mass Spectrometry Imaging, MSI)技术越来越多的应用到肿瘤学和药理学的研究中，它不需要任何特异性标记，即可实现不同分子或多种分子、高灵敏度的同时检测, 并能够直接提供目标化合物的空间分布和分子结构信息。由于这两种方式都提供互补的信息，如果将二者所得到的图像结合起来，将有助于更全面地了解肿瘤组织内的数据。
来自AstraZeneca的研究团队，提出了整合组织学和MSI数据的方法，能够使其中一种模态的信息自由的传输到另一种模态，然后再传输回来（图1）。同时，他们使用该工作流程在胰腺导管癌(Pancreatic Ductal Adenocarcinoma, PDAC) 的KPC小鼠模型中进行肿瘤微环境的研究探索。通过在两种模式之间自由转移机器学习结果，证明所提供的研究方法能够更好地理解肿瘤异质性和肿瘤微环境。
图1 H&E和MSI质谱成像之间基于深度学习的注释传递
研究者使用KPC小鼠模型的肿瘤组织样本进行MSI质谱成像，同时在同样的组织切片DESI MSI质谱成像后进行H&E染色。H&E组织学的切片和MSI数据整合，大部分的工作流程依赖注释的组织学数据来区分具有形态学或生物学差异的数据，然后用于后续的分析。然而病理学家进行手工注释是极度耗时耗力的过程，因此研究团队使用基于深度学习算法的HALO-AI DenseNet算法，自动的识别组织区域内的非肿瘤性胰腺组织（Acinar tissue）、结缔组织（Connective tissue）以及胰腺组织的肿瘤区域（Tumor）（图2）。组织分类结果由病理学家进行检查，确保训练结果的准确性。此外，使用HALO Tissue Classifier算法对组织玻片内的空白区域进行剔除，并自动对组织区域进行识别和注释，有助于从分析中排除不必要的像素，提供DenseNet分类结果的效率，并为MSI图像提供组织轮廓的注释。
图2 HALO-AI DenseNet算法经过50、100、250、1000、5000、10000次迭代训练后获得的分析结果（更多的迭代次数产生更准确及稳健的分析结果）
H&E组织学分类的结果图像被转化为灰度图，经图像配准后转移应用到MSI的数据分析中。MSI数据生成的代表图像，使用tSNE数据降维的方法，在完成的MSI数据上使用K-means聚类（k=3）确定组织上的光谱，用于完成与H&E组织学图像的配准及注释相互转移（图3）。图像配准后最常见的输出是MSI数据的可视化，或者在H&E图像上进行叠加。这在多种研究中可被用于解释病理背景腺癌分子的分布，例如在药物分布中的研究。
图3 H&E组织学模态和MSI模态注释转移的工作流
为了更好的理解PDAC组织样本中的肿瘤异质性，将HALO-AI组织分型获得的肿瘤注释用于从MSI数据中提取的与肿瘤区域相关的光谱。结果发现由于突变和组织重塑，PDAC中出现了大量的代谢重组，涉及到两种主要的细胞群的增加，包括癌症相关的成纤维细胞和肿瘤细胞。后者可进一步分为缺氧肿瘤细胞和常氧肿瘤细胞。缺氧细胞贪婪地摄取葡萄糖，通过糖酵解降解生成乳酸和ATP，并通过谷氨酰胺分解利用谷氨酰胺获得生物量和氧化还原能力。因此，相邻的常氧细胞利用乳酸来增殖(肿瘤共生)。更重要的是，PDAC的肿瘤微环境是已知高度免疫抑制性的，腺苷信号转导已成为调节肿瘤免疫的关键代谢途径。脂肪酸根据其链长和不饱和数驱动组织内的炎症反应，其范围从饱和脂肪酸(SFAs)到单和多不饱和脂肪酸(MUFAs和PUFAs)。
核心簇(绿色，如图4所示)显示较高的乳酸积累和相对较低的葡萄糖水平，表明一个高糖酵解环境，这是缺氧细胞的特点。PUFAs（[FA(16:2), FA(18:2), FA(20:5), FA(22:5), and FA(22:6)]优先位于蓝色簇内，这表明肿瘤区域的炎症反应较低。在黄色簇内，葡萄糖容易被检测到，而FA(18:2)低于其他簇，表明低氧或肿瘤边缘区域较少。然后将MSI簇转移到H&E空间，以研究代谢独特区域之间的潜在组织学差异。蓝色和绿色簇是肿瘤组织，两者之间没有明显的组织病理学差异。黄色簇包括腺泡至导管化生，伴不同程度的肿瘤上皮细胞浸润。这支持了上述发现，提示该簇与肿瘤边缘区相对应，进一步的研究可通过单细胞形态学分析来进行。
图4 利用深度学习从H&E数据中生成的注释提取MSI数据的肿瘤区域，并转移到MSI空间
研究结论
该研究中介绍的工作流呈现了使用图像配准的方式实现组织注释在H&E组织学模态和MSI模态的相互传输，进而实现多模态数据的联合集成。特别是基于HALO-AI深度学习的方法输出标注肿瘤注释的区域的组织学数据应用到MSI数据的分析中，以提取肿瘤区域的特异性质谱。MSI数据的应用揭示了PDAC肿瘤微环境中不同的代谢过程，将这些数据传回H&E，同时又可对代谢独特的区域进行研究。双向注释传输的方法提供了多模态数据集成的手段，并提供了一种更好理解肿瘤异质性的途径。此外，额外的免疫组化染色图像有对免疫细胞表型进行精准定量，可视化组织形态的结构和功能蛋白。
参考文献：
Race A M, Sutton D, Hamm G, et al. Deep Learning-Based Annotation Transfer between Molecular Imaging Modalities: An Automated Workflow for Multimodal Data Integration[J]. Analytical Chemistry, 2021, 93(6): 3061-3071.
关于我们
Indica Labs为您提供病理图像分析的全套解决方案，包括可进行高通量、全切片式的组织分析的图像分析的病理图像分析平台 HALO® 和人工智能系统HALO AI™ ，以及可以实现数据管理和与外界共享的 HALO Link™ 系统。凭借无与伦比的易用性和可扩展性，在免疫肿瘤学、肿瘤学、移植科学、神经科学、眼科、代谢、呼吸和毒性病理学等领域有着广泛的应用。目前用户遍布于全球的生物制药公司、医疗和研究组织。