主动边界丢失语义分割
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
提出了一种新的主动边界丢失算法用于语义分割。它可以在端到端训练期间逐步鼓励预测边界和地面真相边界之间的对齐，这在常用的交叉熵损失中没有明确强制。基于当前网络参数从分割结果中检测到的预测边界，作者将边界对齐问题描述为可微分方向矢量预测问题，以指导预测边界在每次迭代中的运动。作者的损失是模型无关的，可以插入到分割网络的训练，以改善边界细节。实验结果表明，在具有挑战性的图像和视频目标分割数据集上，主动边界丢失训练可以有效地提高边界f值和平均相交并。
(1)在作者的工作中，作者让ABL与最常用的交叉熵损失和lovász-softmax损失[1](替代IoU损失)一起工作，以显著改善图像分割中的边界细节。引入lovász-softmax损失是为了规范训练，这样即使在pdb可能有噪声且远离GTBs时也可以使用ABL。
(2)作者使用最先进的图像分割网络测试ABL，包括DeepLabV3[5]和OCR网络[61]。作者也用STM[38]，一个视频对象分割(VOS)网络测试了ABL，以表明作者的损失也可以应用于提高VOS结果。在测试过程中，这些网络的前向推理阶段保持不变。实验结果表明，在具有挑战性的分割数据集上，ABL训练可以有效地提高边界f值和平均相交-过并(mIoU)。
框架结构
ABL的通道
边界距离图是通过GTBs的距离变换得到的，以ADE20K[69]数据集中的一幅图像为例。边界距离地图上重叠的白线和红线分别表示GTBs和pdb。本地距离地图:数字表示到GTBs的最近距离。局部概率映射:X和Yi, i∈{0,1，…，7}表示这些像素的类概率分布。
一个冲突的例子
V4: GTB上的像素。↑:增加。↓:减少。v1与V2之间的KL散度需要在v1时增大，V2时减小，导致v1与V2的梯度相反。
实验结果
在训练中逐步细化边界细节
数据集:城市风光。网络:DeepLabV3。输入图像取自城市景观训练集作为示例。地面真实边界是蓝色的，预测边界是红色的。
定性结果来自cityscape验证集
网络:DeepLabV3。(B):边界地图。groundtruth的边界是蓝色的，预测的边界是红色的。最好的屏幕视图和放大。
定性结果来自DA VIS-2016验证集
VOS网络:STM。英国《金融时报》:STM微调。f:总视频帧数。# N:帧数。在附加损失IABL的情况下，经过微调后的边界细节更加精确。最好的屏幕视图和放大。
结论
在这项工作中，作者提出了一种主动边界损失用于分割网络的端到端训练。它的优点是可以通过距离变换传播地面真实边界信息，从而调节网络在预测边界处的行为。作者已经证明，将ABL集成到网络训练中可以显著改善语义分割中的边界细节。在未来，如何进一步减少作者损失中的冲突，从而有效地控制边界周围的网络行为将是一个有趣的研究方向。此外，在深度预测任务中，作者计划探索如何设计边界感知损失来改善边界细节。
论文链接：https://arxiv.org/pdf/2102.02696.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
深度学习爱好者 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
· 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
· 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
· 深度学习爱好者 默认每篇文章都是首发，均会添加“原创”标志