科学家开发出深度学习超分辨显微成像方法

1月21日，中国科学院生物物理研究所、广州生物岛实验室研究员李栋课题组，与清华大学自动化系、脑与认知科学研究院教授戴琼海课题组，在Nature Methods上以长文（Article）形式发表了题为Evaluation and development of deep neural networks for image super-resolution in optical microscopy的论文。该研究综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现，提出傅立叶域注意力卷积神经网络（DFCAN，Deep Fourier Channel Attention Network）和傅立叶域注意力生成对抗网络（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现，以及建立基于深度学习的显微图像超分辨算法研究生态，李栋/戴琼海联合课题组利用自主开发了多模态结构光超分辨显微镜系统，集成了TIRF-SIM、Nonlinear-SIM（Science，2015）和GI-SIM（Cell，2018）等多种超分辨成像模态，并利用这一系统建立了一个包含四种不同复杂度的生物结构、九档信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微图像数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统Linear-SIM和Nonlinear-SIM的效果进行比较，得到了不同模型的优越区域（priority region），即给出了不同模型实现足够好的超分辨成像效果，能够用于日常生物成像实验的成像条件。

通过分析评测矩阵结果发现，现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）的成像条件下，而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围，提升超分辨成像和重建效果，李栋/戴琼海联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他超分辨神经网络模型更鲁棒的显微图像超分辨成像效果，依据测评矩阵结果，其优越区域可以拓展至中、高信噪比成像条件，可在实际生物成像实验中替代现有超分辨成像方法，拓展了深度学习超分辨成像方法的适用范围。

应用DFCAN和DFGAN单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低的激光功率、更快的成像速度、更长的成像时程和超越衍射极限的分辨率来观测亚细胞尺度生物结构的动态演变过程。例如：（1）细胞中的线粒体内膜和线粒体拟核之间的相互作用。成像时程（>1200张超分辨图像）达到传统活细胞超分辨成像方法的10倍以上，首次观察到伴随着线粒体内脊形变的拟核分离和聚合现象。（2）细胞中环形线粒体的旋转行为。揭示环形线粒体会在细胞质流的推动下进行双向旋转，表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态。（3）细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）的相互作用。观察到在内吞过程伊始时F-actin与CCPs接触较少，而在内吞即将结束时F-actin频繁接触CCPs，以帮助其脱离细胞膜。（4）细胞中线粒体和内质网之间的相互作用。观察到线粒体的分裂和融合发生在其与内质网的接触位点附近。

李栋、戴琼海为论文的共同通讯作者。清华大学自动化系博士生乔畅、生物物理所副研究员李迪、博士后郭玉婷、博士生刘冲为论文的共同第一作者。研究工作得到国家自然科学基金委员会、科学技术部、中科院、中国博士后科学基金、腾讯“科学探索奖”的资助。

傅立叶域注意力生成对抗网络将宽场荧光图像重建成超分辨图像，准确解析了微丝细胞骨架微结构。

上图为傅立叶域注意力机制深度学习算法框架图。下图是基于DFCAN和DFGAN结构光超分辨重建活细胞内的线粒体内膜结构（绿色）和内质网（紫红色），扑捉到线粒体在内质网与线粒体接触位点线粒体融合的动态过程。