【科研简讯】 基于渲染对比学习和半监督学习的三维超声卵巢卵泡自动分割
MICS科研简讯第三十九期
研究背景介绍
今天为大家介绍一篇基于深度学习的三维超声卵巢卵泡自动分割的文章。三维超声成像是临床医师用于检查女性生殖器官（如卵巢）最常用的影像工具。卵巢功能的评价、卵泡的计数和形态分析是上述检查的重点。然而，由于卵巢形态各异以及卵泡数量众多、发育迅速，且超声影像内边界模糊区域较多(如图1所示)，该临床检查过程往往十分耗时，不同超声医师的测量结果也存在较大用户差异。因此，目前迫切需要一种自动分割测量系统来帮助临床医生，提高超声诊断的准确性和效率。本文提出了一种结合渲染式对比学习和半监督学习的新分割算法框架，在有效克服小样本标注和边缘模糊问题的同时，实现三维超声影像中的卵巢和卵泡的精确分析。
图1. (a)三维超声示意图。(b)三维超声标注结果。(c)(d)三维超声卵巢标准切面示意图。(c)中红框代表模糊区域，(d)中的红线和蓝线分别代表卵巢和卵泡边界。
文章信息
Xin Yang, Haoming Li, Yi Wang, Xiaowen Liang, Chaoyu Chen, Xu Zhou, Fengyi Zeng, Jinghui Fang, Alejandro Frangi, Zhiyi Chen, Dong Ni (2021). Contrastive Rendering with Semi-supervised Learning for Ovary and Follicle Segmentation from 3D Ultrasound. Medical Image Analysis, 102134.
DOI: https://doi.org/10.1016/j.media.2021.102134
1. 简介
本文提出的方法主要包含以下三个部分: 1.半监督学习策略。考虑到三维标注的困难性，本文引入了一种半监督学习策略，利用大量的无标注数据训练网络，降低对临床医生的标注需求。2. 渲染模块。本文提出使用精确渲染模块对三维超声边界模糊区域进行更加准确的预测。3. 对比学习策略。最后，本文引入对比学习的策略，使网络可以学习到卵巢与卵泡边界特征的区别性，从而优化算法整体的分割效果。值得一提的是，框架中的渲染模块和对比学习策略除了帮助网络优化目标边界的分割效果，同时也起到了减少网络参数和计算量的作用，使得算法在推理速度上具有明显的优势，大大提升了临床上的实用性。
2. 方法
图2展示了所提出方法的整体流程框架CR-Semi (Contrastive Rendering with Semi-Supervised Learning)由两部分组成：基于Mean-Teacher的半监督学习机制和C-Rend（Contrastive Rendering）网络，其中C-Rend又包含了对比学习模块和渲染模块。如图2所示，C-Rend网络的分割主干作为学生模型集成到半监督框架中，学生模型通过估计和教师模型预测未标记数据的一致性来向教师模型学习。在推理测试阶段，本文只需要保留C-Rend网络部分中的分割器（Student）和渲染模块（Rendering）。输入图像经过Student分割主干后得到粗略的分割结果，再经过渲染模块得到精确的分割图。
图2. CR-Semi 三维超声自动分割模型流程图
2.1 C-Rend网络
C-Rend网络框架由非对称分割主干和C-Rend模块组成(图1下半部分)。非对称分割主干是为了以较少的计算成本进行粗略的预测，而C-Rend模块是为了细化目标的边界。具体来说，C-Rend模块由三部分组成。(1)点选取模块，选择需要重新预测的模糊点。(2)渲染模块，根据混合点特征重新预测所选点的标签，引入渲染损失来评估所选点的分类情况。(3) 对比学习模块，为进一步增强边界的置信度，在训练过程中采用了对比学习，用来提高类内点的相似性，降低类间点的相似性。C-Rend网络框架的损失函数Losscr由三个项组成，包括粗分割上使用的交叉熵损失Lossori、点选取后计算的渲染损失LossR和选定点上的对比损失LossC，定义为：
Losscr = Lossori + λ1LossR + λ2LossC
本文将在下面详细阐述其中的点选取机制，对比学习模块和渲染模块。
Student分割主干：本文设计了一个非对称的编码器-解码器主干网络用于生成粗分割图。粗分割图已经包含了目标区域大致范围和形状，但由于其产生是基于插值的上采样操作，失去了边界等一些细节轮廓，同时由于模糊区域的不清晰，可能会出现分割缺失的情况。因此，本文采用渲染模块对粗分割图进一步的细化，以生成高分辨率的预测分割结果。
点选取机制：从Student分割主干预测得到的大部分内部区域都具有较高的精度，但边界区域的精度则低得多，因此C-Rend 的第一步进行点选取，旨在捕捉那些模糊区域在体素层面上的细化。
渲染模块：图3详细阐述了渲染头的细节。本文将选取点的粗分割图概率值和细化特征图的特征向量拼接起来构成混合向量，渲染头以这些混合特征向量为输入，重新预测所选点的语义输出。具体来说，粗分割的概率值是一个二维的向量(卵巢和卵泡类别)，细粒度的特征是一个96维的特征向量，两者拼接后，使用一个轻量级多层感知器(MLP, multi-layer perceptron)作为本文渲染模块的核心进行预测。本文将渲染模块在所有选定点上的交叉熵损失相加，定义为
：
对比学习模块：考虑到不同语义对象(卵巢和卵泡)边界之间的密切联系，在训练阶段，本文采用了对比学习增强所选模糊边界点的识别。如图4所示，基于所提取的混合特征向量，本文对卵巢和卵泡的特征向量实施对比损失。具体来说，同属于卵泡区（卵巢区）的高概率点(P>0.9)和不确定性点(P->0.5)的特征相似度应足够大，分别属于卵巢和卵泡的高概率点(P>0.9)特征差异应足够大。
图3. 渲染模块
在这里，本文应用余弦相似度作为相似性的衡量标准，定义损失为
，公式如下:
其中，
表示两个向量
和
之间的余弦相似性。N表示选择点的数量。
和
分别代表同一类别中高信度和低信度的两个特征向量，
表示信度高但属于另一类的向量，γ为常数项。
图4. 对比学习示意图
2.2 Mean-Teacher 半监督学习机制
尽管C-Rend网络可以通过对现有解码器结构的轻微修改提高分割性能，但它是以全监督方式进行训练的，高度依赖大量的人工标注。而医学图像获得大量标注往往是很困难的，对于3D医学图像更是如此。为了减轻标注数据较少所导致的过拟合问题，本文引入了Teacher-student的半监督学习策略，利用大量未标注的三维数据提升C-Rend网络（即student模型）的性能。如图1所示，C-Rend框架中的非对称分割主干被定义为学生模型。训练时，对于未标注的数据，学生模型向教师模型学习，教师模型作为辅助分支，用不确定性过滤的策略生成可靠的监督信息，本文把这种可靠的监督信息视为一种“伪标签”，用它来指导student分割主干的参数更新。
3. 实验及结果
本研究是与广州医科大学第三附属医院的合作项目。经当地研究伦理委员会批准，本文从医院收集了217例患者共307个三维的经阴道超声容积数据(TUVS)，对其中的156个数据进行了人工标注，其余数据作为半监督学习框架的未标注数据，标注数据以8:2的比例分为训练集和测试集。表1展示本文方法与其他方法在卵巢卵泡分割任务上的比较结果，同时也展示了消融实验的结果，用于所提出模块的作用。表2列出了不同方法在检测半径小于5mm的卵泡时的性能指标，以及所有卵泡的计数平均误差，其中FD (False Detection, FD-%)表示错误识别率，MD (Missed Detection, MD-%)表示遗漏识别率。
表1. 模型分割性能和复杂度的定量比较(上标表示标准差)
表2. 卵泡识别评估及计数误差
图5是所提出方法的三维可视化效果展示。结果显示采用C-Rend模块时的改进是显著的。
图5. U-Net与C-Rend的可视化结果对比
4. 总结
卵巢和卵泡的分割是女性不孕症三维超声诊断定量分析的关键，然而这项任务具有很大的挑战性，主要是由于3D成像质量较差、目标区域边界模糊、数据尺寸较大不易训练以及数据注释不足。在本研究中，本文提出了一个轻量级的三维卵巢超声分割框架，它对具有应用到其他框架的潜力。在方法上，利用点的粗粒度预测和细粒度特征结合，应用对比学习，校准边界上的模糊预测是本工作的主要亮点。此外，本文将C-Rend方法与基于Teacher-Student方法的半监督训练策略相结合。实验结果表明，所提出的方法在卵巢和卵泡分割方面优于现有的方法。
本文作者：李浩铭，王键（深圳大学MUSIC实验室）