使用 Mask-RCNN 对路面坑洞进行实例分割 / 四六文摘

重磅干货，第一时间送达

在文章中，我们将创建自己的训练模型来检测坑洼。关于检测，我们将在 Supervisely 的帮助下使用 Mask-RCNN 的实例分割技术。在创建模型之前，让我们了解一下我们正在使用的工具和技术。

什么是实例分割？

实例分割

实例分割是一种通过屏蔽或逐像素覆盖检测到的对象来进行检测的技术。实例分割在自动驾驶汽车中非常有用，因为我们获得像素到像素的结果，从而提高了减少事故的准确性。

Mask-RCNN

Mask-RCNN 是一种深度神经网络，旨在解决机器学习或计算机视觉中的实例分割问题。Mask RCNN 有两个阶段，首先，它根据输入图像生成关于可能存在对象的区域的建议；其次，根据第一阶段的建议，预测对象的类别，细化边界框并生成对象像素级的掩码。

Mask-RCNN 实际上是一个经过训练的模型，但在文章中，我将向小伙伴展示如何微调我们的自定义对象或训练 Mask-RCNN 模型。

Mask-RCNN 结构

什么是Supervisely以及如何使用它？

Supervisely是一个用于解决计算机视觉问题的网络平台，在监督的帮助下，我们可以非常轻松地对图像进行注释，并且在对图像进行注释后，我们可以轻松地在任何深度学习模型上训练我们的数据而无需编码。

监督工作流程

如何在监督中使用 Mask R-CNN 进行目标检测？

在这个实践中，我们将通过掩盖检测到的区域来检测道路坑洼。

收集和注释数据集：我们已经从 Kaggle 的 Pothole 图像数据集中收集了数据集。

现在让我们使用 supervisely 来注释图像，在注释之前，让我们监督导入数据。

首先在supervise中创建一个工作区

创建工作区

然后从我们的电脑导入数据

对图像进行注释，请单击projects >> Pothole dataset >>从下拉菜单中单击开始注释，我们将使用位图注释，现在只注释我们要检测的区域。

位图注释

使用 DTL 进行数据增强：

注释完所有图像后，是时候扩充我们的数据了。增强是一种用于通过对收集的数据集进行水平翻转、垂直翻转、旋转、镜像、剪切等稍微的更改来增加数据样本的技术。

在监督方面，我们将借助dtl（数据转换语言）来扩充数据，我们可以将以下 json 代码称为 dtl。

[ { "dst": "$raw", "src": [ "pothole_detection/*" ], "action": "data", "settings": { "classes_mapping": "default" } }, { "action": "flip", "src": [ "$raw" ], "dst": "$raw_fliph", "settings": { "axis": "vertical" } }, { "dst": "$data", "src": [ "$raw", "$raw_fliph" ], "action": "multiply", "settings": { "multiply": 5 } }, { "action": "crop", "src": [ "$data" ], "dst": "$randocrop", "settings": { "random_part": { "height": { "min_percent": 10, "max_percent": 40 }, "width": { "min_percent": 30, "max_percent": 80 }, "keep_aspect_ratio": false } } }, { "action": "crop", "src": [ "$data" ], "dst": "$randocrop2", "settings": { "random_part": { "height": { "min_percent": 40, "max_percent": 90 }, "width": { "min_percent": 60, "max_percent": 90 }, "keep_aspect_ratio": false } } }, { "action": "dummy", "src": [ "$raw", "$raw_fliph", "$randocrop", "$randocrop2" ], "dst": "$out", "settings": {} }, { "dst": "$precontrast", "src": [ "$out" ], "action": "multiply", "settings": { "multiply": 10 } }, { "dst": "$outcontrast", "src": [ "$precontrast" ], "action": "contrast_brightness", "settings": { "contrast": { "min": 0.5, "max": 2, "center_grey": false }, "brightness": { "min": -50, "max": 50 } } }, { "dst": [ "$totrain", "$toval" ], "src": [ "$outcontrast", "$out" ], "action": "if", "settings": { "condition": { "probability": 0.95 } } }, { "dst": "$train", "src": [ "$totrain" ], "action": "tag", "settings": { "tag": "train", "action": "add" } }, { "dst": "$val", "src": [ "$toval" ], "action": "tag", "settings": { "tag": "val", "action": "add" } }, { "dst": "pothole_augmented-train-val", "src": [ "$train", "$val" ], "action": "supervisely", "settings": {} }]