他山之石可以攻玉 | 新论文：基于深度迁移学习的结构地震响应识别 / 四六文摘

论文链接：

https://doi.org/10.3389/fbuil.2021.627058

开源代码:

https://github.com/wenjie-liao/DTL_TFC_Vibration_Identification

前言

在介绍本文之前，我们先回顾一下课题组将机器学习用于振动（震动）分析的研究历程：

由于振动（震动）信号的识别在多个领域意义重大，而机器学习的一个重要特长就是可以用于分类问题，所以我们自然就想到可以尝试用机器学习来对振动（震动）信号的强度或类型进行识别。最简单的方法是考察一下已有的强度指标（Intensity Measure）及其组合的效果，于是就有了论文1：《基于机器学习方法的多元地震动强度指标比选与实时震害预测》

论文1虽然初步体现了机器学习在地震强度识别领域的一些优势，但是论文1采用的强度指标往往只能反映振动的一些低维特征，而机器学习的一个重要特长是可以发掘一些高维特征信息。于是我们就想尝试把完整的振动（震动）时程信息全部输入神经网络，看看其效果，于是就有了论文2：《如何将地震破坏力评估加速1500倍？| 新论文：基于LSTM的地震破坏力实时评估》

论文2用原始地震动信号作为振动信号识别的输入，对训练的样本集要求极大，论文2用了几万条地震动。为此，我们尝试将振动（震动）信号先进行时频域变换，选取的时频域变换方法为小波变换，这样可以将训练所需的样本数大幅度降低。于是有了论文3：《给振动信号拍个照，可以提升振动控制效果！》和论文4：《卷积神经网络 + 小波时频图：基于地震动时频域特征的震害评估新方法》

论文3和4都是基于小波变换和卷积神经网络的，振动（震动）信号的时频域变换方法很多，除了小波变换，其他的时频域变换方法效果如何？另外时频域信号特征提取到底哪种神经网络（CNN？RNN？）效果更好？也需要进一步深入研究，于是有了论文5：《新论文：为提升AI振动识别效果，小波、HHT、MFCC、CNN、LSTM我们都试一试》

论文3针对环境振动问题，训练样本数量比较充足。论文4针对地震下结构的数值模型响应分析，训练样本更是可以任意构造。但是，实际结构遭遇地震作用的记录非常有限，样本数无法满足机器学习训练的要求。针对这一问题，我们尝试使用迁移学习的方法，利用有限元模拟得到的海量结构响应数据作为初始样本集，然后通过迁移学习方法应用到真实结构地震响应的识别，于是就有了本文：基于深度迁移学习和时频域特征的结构地震响应识别

推送太长，懒得看的版本

以智能手机为代表的群智感知技术，为工程设施监测和检测数据的采集提供了全新手段。手机采集结构的地震响应存在振动类型区分的难题，即如何将结构地震响应从大量的日常振动中识别出来。在既有研究的基础上，我们提出了基于时频域特征与深度迁移神经网络结合的结构地震响应识别方法（图1）。该方法通过小波变换初步提取振动信号的时频域特征，随后采用预训练的深度迁移神经网络对初步特征进行深度提取，基于特征可简单实现振动分类。

结果表明，采用时频域特征矩阵作为输入，VGG19深度迁移神经网络进行深度特征提取与分类，对实测结构地震响应的识别准确率达90%，性能优异。

图1 方法应用架构

研究背景

频发的地震灾害中，工程结构的破坏和倒塌造成大量的经济损失和人员伤亡。其中工程结构的倒塌判别相对容易，但未倒塌的结构震损情况却难以明确。课题组的城市抗震弹塑性分析能够有效分析城市建筑的破坏状态，但由于地震动、建筑属性存在不确定性和离散性，对于每栋建筑的震害预测仍旧存在一定偏差。为了更好的获取每栋建筑的震后破坏状态，基于智能手机等群智感知技术的结构响应采集方法得到了推广。

智能手机获取结构响应的难点为：如何判别采集的振动是否为结构地震响应？

如文章开始所述，在相关研究中，我们发现了采用信号的时频域变换方法+深度学习可以有效的实现振动识别。因此，本研究基于该思路，开展了进一步的研究，最后形成了相对成熟的算法框架（图1）。

结构地震响应识别方法

本研究面临的关键难题是：负样本数量极少，即手机监测的结构地震响应数量太少，几乎无法应用于深度神经网络的训练。针对该关键问题，本研究采用了广泛应用的深度迁移学习：（1）通过有限元模拟的结构响应创建数据集，弥补真实结构响应数量少的不足，实现基于特征的迁移学习，（2）应用VGG\ Inception\ Resnet等预训练网络，实现基于模型的迁移学习。

具体的方法实现框架如图2所示，主要包括训练、评价和应用模块，其中应用模块如图1所示。

图2 方法实现框架

2.1 振动数据获取（Step 1）

实测日常振动数据采用智能手机采集，采集的场景包括：走动、小跑、操作手机等，振动采集的位置包括室内多个空间与室外空间等。专业设备实测的结构地震响应来自CESMD强震数据库。

模拟手机监测的结构地震响应来自有限元模拟数据。我们采用了5个典型的建筑结构，结构类型分别为混凝土框架、混凝土剪力墙、混凝土框架-核心筒、钢框架、钢框架-支撑筒结构，结构一阶周期范围位于1.4-5.9s之间（图3）。地震动来自PEER数据库，震级分布于3-8级。采用时程分析得到了约20000条结构地震响应模拟数据，随后在模拟响应的基础上叠加手机的白噪声以更好的模拟手机采集的结构地震响应。

图3 5种典型结构

我们模拟的响应与CESMD强震数据库中采集的结构地震响应的主要频域特征的概率分布相似度很高，不足的是模拟的峰值加速度分布集中于较小的振动峰值范围（图4）。

图4 模拟结构响应与实测结构响应的主要特性对比

2.2 时频域特征提取（Step 2）

图5A是典型常规振动的时频域分析结果，图5B是典型有限元模拟与白噪声混叠之后的结构地震响应的分析结果，图5C是真实结构地震响应与白噪声混叠后的分析结果。可以看到，常规振动的强度在时域范围内相对离散，且存在大量的高频振动分量；有限元模拟与实测的结构地震响应的时频域特征存在高度相似性。

图5 不同类型振动的典型时频域特征

2.3 深度迁移神经网络训练（Step 3）

本研究将采用VGG19, InceptionV3, ResNetV2 等广泛应用的大型预训练深度神经网络，开展深度迁移训练，此外还搭建了一个常规的CNN2D网络作为对比。四种网络的训练和验证精度如表1所示，基于训练和验证的精度与损失，构建了一个简易的评价指标Perf，可以看到VGG19的训练和验证结果最佳。

表1 CNN2D、VGG19、InceptionV3、ResNetV2的训练和验证结果