新论文：基于无人机与深度学习的建筑震害评估方法
致谢：感谢北川羌族自治县防震减灾局为本文无人机航拍提供的帮助。
太长不看版
三分钟的小视频简单介绍~
论文链接：
https://authors.elsevier.com/c/1a0643IhXMjNmW
https://doi.org/10.1016/j.autcon.2019.102994
研究背景
地震灾害是突发性灾害，其带来的影响巨大。因此为了震后辅助决策与应急救援，需要对整个区域的建筑震害情况进行快速评估。
在传统的评估方法中，人工评估是最为常规的评估方式，但是该方式通常耗时费力效率低下，且危险性大。
而遥感评估是采用飞机或卫星的遥感数据开展评估，因此能在较短时间，评估大范围内的建筑震害情况。但是高空遥感平台由于其飞行高度高，无法感知建筑立面上的损伤。例如，发生软弱层倒塌以后，建筑底层完全垮塌，但上部结构基本完好。这种情况如果采用高空的遥感数据可能误判认为建筑基本完好，如图1所示。
图1 航拍照片和地面照片的比较
为了对受灾建筑物进行近距离的观测，获得建筑立面更详细的损伤信息，更为准确地评估区域建筑震害情况，本研究提出了基于低空无人机与深度学习的区域建筑震害评估方法。
技术路线
为实现震后区域建筑破坏等级的自动识别，本研究提出了图2所示的实现框架，框架主要包括相关数据准备，建筑图像分割和基于卷积神经网络的震害评估三个部分。
首先结合低空无人机拍摄的倾斜摄影数据，提出一套以区域建筑3D模型作为位置参考的建筑图像分割方法。然后，根据建筑图像分割得到的每栋单体建筑的图像，采用深度学习方法，评估每栋建筑的损伤情况。最后，本研究对北川地震灾区进行了案例分析，展示了本方法的效果。
图2 实现框架
技术手段
针对建筑震害评估，本研究提出以下技术手段：
(1) 图像分割
整个建筑图片分割过程如图3所示。
图3 建筑图像分割流程图
图像分割的具体步骤如下：
步骤1：通过2D-GIS数据生成区域建筑3D模型。
图4 通过2D-GIS数据生成区域建筑3D模型
步骤2：针对无人机拍摄的区域场景图片，提取图片的可交换图像文件（EXIF）数据，获得照片拍摄的位置数据以及相机朝向数据。将这些数据与区域建筑3D模型数据进行结合，可以反映相机与被拍摄建筑的相对位置关系（图5）。研究将采用航拍的图像数据与相机参数，解析航拍照片中建筑的位置。
图5 相机到建筑3D模型的相对位置
步骤3：结合预先获得的建筑3D模型，采用3D图形变换和投影，可以得到与真实照片对应的3D场景图像。该步骤主要采用了视锥体剪裁、遮挡查询和相对位置计算三种技术。
图6所示为视锥体剪裁，筛选出落在所拍摄的视野范围内的建筑，从而显著降低计算量。
图6 视锥体剪裁
图7所示为遮挡查询，筛选出某栋建筑可见比例较大的图像，从而保证建筑损伤评估的可靠性。
图7 遮挡查询
图8所示为相机到建筑的相对位置计算，可以设置一定距离限制的阈值，抓取距离较近建筑的图像，保证所抓取图像的空间分辨率；另外通过获取相机至每栋建筑的方位角，即可确定所截取的建筑图像是建筑的哪个立面，从而极大地方便建筑损伤评估。
图8 建筑到相机的相对位置
步骤4：将建筑3D模型坐标变换得到的建筑边界遮罩与真实场景照片进行对应，实现对应建筑图像的抓取。
图9 建筑图像分割过程
(2) 基于卷积神经网络的建筑震害评估
通过之前的方法，可以分割得到每栋建筑不同视角的图像。本节主要对分割得到的建筑图像数据，采用卷积神经网络（CNN）评估建筑的破坏等级。
步骤1：训练CNN分类器的图片数据集。从互联网收集了2000张破坏建筑的照片，由于照片数量相对较少，人工将建筑照片分为倒塌与未倒塌建筑两类进行训练。
步骤2：如图10所示，采用迁移学习的方法，采用收集的建筑照片对VGG16网络的最后几层进行训练。
图10 CNN结构框架
步骤3：采用TensorFlow深度学习框架，优化算法采用SGD方法，模型全连接层采用0.5的Dropout系数，对训练集和验证集按照4：1的比例来进行训练。训练结果如图11所示，验证准确率与训练准确率都高达95%，说明该模型没有出现过拟合，模型具有较好的通用性。
图11 模型训练准确率和验证准确率
应用案例
本文对北川县城地震遗址进行算例分析。北川县城经历了2008年汶川大地震，地震发生之后，北川县城大量建筑倒塌。之后北川县城在新址重建，地震破坏后的北川老县城被作为地震遗址公园保存至今。算例针对66栋多层建筑，该区域GIS地图如图12所示。
图12 北川老县城GIS地图
结合低空无人机拍摄的倾斜摄影数据，采用建筑3D模型作为位置参考生成建筑边界对图像进行分割。为了展示建筑分割的效果，图13展示了无人机飞跃地震灾区上空连续拍摄的多张照片的建筑位置识别情况。图中结果可看出，即使采用消费级的无人机(DJI Phantom 4Pro)，该图像分割的结果仍具有较高的精度，基本可以满足所需的要求。
图13 航拍照片及图像分割结果展示
图14从较低的高度更为清晰地展示了该区域建筑图像位置识别的效果。图14还展示了部分建筑在GIS模型中的ID号，相机至建筑距离、偏航角与俯仰角，以及建筑被遮挡的比例。通过采用本方法，可以获得丰富的建筑拍摄信息，不但能知道画面中的不同位置的图像属于哪栋建筑，而且知道拍摄到的是建筑的哪个立面，并且也能将GIS数据中建筑的详细信息与相应的建筑图像进行对应。
图14 相机至每栋建筑的相对位置参数展示
为了进一步展示提出的建筑分割方法，图15a–h展示了一栋建筑不同视角分割得到的图片。图中结果可以看出，由于无人机对该区域的建筑往复飞行，所以能获取每栋建筑的多视角图片。为了展示采用遮罩分割的效果，图15e–h为不采用遮罩分割的结果。通过与图15a–d中的结果进行对比可以发现，采用遮罩能有效屏蔽目标建筑周围环境的影响。
图15 有遮罩和没有遮罩的多视角建筑图像分割效果
采用上文中训练好的CNN分类器对区域66栋建筑进行震害评估，准确率达到了89.39%。评估结果与人工判断的结果如图16所示。
图16 震害评估与实际结果对比
结论
1）本研究提出了以3D模型作为位置参考的建筑分割算法。该方法能自动快速地从航拍照片中截取出每栋单体建筑的照片。并且能将每栋提取的照片与建筑对应的GIS数据进行映射，从而能获取包含丰富语义信息的建筑多视角图像数据。
2）本研究提出的建筑分割方法能获取航拍图片中建筑到相机距离、角度以及遮挡率等数据。这些数据能用于评估所抓取建筑图片的质量，从而挑选出质量较高的建筑图片，服务于之后基于图像的建筑损伤评估。
3）基于建筑3D模型的建筑图像分割方法的精度主要取决于建筑3D模型的精度，相机位置以及相机朝向的测量精度。在算例应用当中，虽然本研究采用的是消费级的无人机平台，相机位置与朝向角的数据测量精度有限，但是对老北川县城的应用结果显示采用该平台仍可以获得较好的精度。如果采用搭载更高精度传感器的无人机平台，则能显著提升建筑图片分割精度。
4）本研究收集了互联网上不同破坏等级的建筑图片，并采用这些图片训练了CNN分类器。采用训练好的CNN分类器对北川老县城的66栋建筑进行震害评估，结果显示该评估方法具有较好的准确性，准确率达到了89.39%。
5）CNN模型的准确性与可靠性很大程度上取决于训练图片的数量。由于本研究建筑图像分割方法可以自动抓取航拍照片中建筑的图像，在未来的应用中，随着本文方法在实际地震中的不断应用，将可以获得越来越多的建筑损伤图片，从而显著扩大CNN训练数据集，最终实现更多破坏等级的建筑损伤评估并显著提升模型预测精度。