结构健康监测数据科学与工程研究进展丨Engineering
本文选自中国工程院院刊《Engineering》2019年第2期
作者：鲍跃全, 陈智成, 魏世银, 徐阳, 唐志一, 李惠
来源：The State of the Art of Data Science and Engineering in Structural Health Monitoring[J].Engineering,2019,5(2):234-242.
编者按
结构健康监测（SHM）是一个多学科交叉领域，利用大量传感器和仪器,通过模拟人体自感知和自诊断能力对结构荷载和响应进行自动感知，然后根据收集到的数据对结构进行健康诊断。结构健康监测系统一般包括各种传感器、数据采集设备、数据传输系统、用于数据管理的数据库、数据分析与建模模块、状态评估与性能预测模块、预警设备、可视化用户界面、软件与操作系统。目前，结构健康监测系统已在航空、航天、土木工程、机械工程等领域获得了广泛应用。
中国工程院院刊《Engineering》2019年第2期刊发《结构健康监测数据科学与工程研究进展》，简要回顾了结构健康监测数据科学与工程方面开展的最新研究，详细介绍了基于压缩采样的数据采集算法、基于深度学习算法的异常数据诊断方法、基于计算机视觉技术的桥梁裂纹识别方法以及基于机器学习算法的桥梁结构状态评估方法。最后，文章指出，机器学习、深度学习和计算机视觉技术为利用监测大数据进行异常数据自动诊断、结构表面裂纹识别以及结构状态评估提供了高效的算法，这些方法在结构健康监测领域具有广阔的应用前景。
一、引言
结构健康监测（SHM）是通过模拟人体自感知和自诊断能力对结构的损伤与安全状态及其演化规律进行实时感知、识别和评估。SHM系统一般包括各种传感器、数据采集设备、数据传输系统、用于数据管理的数据库、数据分析与建模模块、状态评估与性能预测模块、预警设备、可视化用户界面、软件与操作系统。SHM系统现已在航空航天、土木工程、机械工程等领域获得了广泛的应用。
近年来，数据在社会中变得至关重要，因为数据的实用性与有效性可创造不可估量的价值。数据是SHM的核心内容之一，与之相关的方法与技术则被称为数据科学与工程。
数据科学与工程包括与数据采集、异常数据诊断与重构、数据传输与丢失数据修复、数据管理、数据挖掘以及数据建模等相关的算法与应用。
传统数据采集通常都需要遵循Shannon–Nyquist采样定理，然而，这种采集方法一般会产生大量的数据。
在2005年和2006年，有研究人员提出了一种压缩采样（CS）方法，该方法突破了传统采样定理的局限性。如果数据信号在某个域内是稀疏的，则可以根据压缩采样理论对极少量数据进行随机采样，而不是以高于信号自身频率两倍的采样频率采集数据。该采样方法可以极大地降低数据采集量。
Bao等研究了CS方法在SHM数据采集中的应用，目的是降低数据采集量。Peckens和Lynch提出了一种仿生CS方法用于SHM数据的采集。O’Connor等将CS理论应用到无线传感器节点中，通过对数据进行随机采样达到降低功耗的目的。数据稀疏性在CS理论中非常重要，然而许多真实的信号仅满足近似稀疏条件。Huang等提出了一种基于贝叶斯的鲁棒性压缩感知方法用于SHM中近似稀疏信号的重构。为了进一步提高SHM中CS的数据重构精度，Bao等还提出了一种群稀疏优化算法，该算法考虑了结构多点振动监测信号的群稀疏性（结构的不同测点的振动响应监测数据在频域中具有非常相似的稀疏结构），并利用压缩采样理论对数据进行重构；该算法将在本文第2节做进一步讨论。同时，Bao等和Zou等利用数据随机采样思想和CS理论，提出了基于CS的无线传感器以及传感器网络的数据丢失恢复方法。此外，CS方法还被广泛用于结构模态识别、结构损伤识别、荷载识别等系统识别问题中。对于模态识别，模态参数可直接从压缩测量数据中得到；然而，对于结构损伤识别和荷载识别，则可以利用结构损伤和荷载分布的空间稀疏性来求解识别中涉及的优化问题。
因为SHM系统在恶劣的环境中服役，数据异常是不可避免的。真实监测数据中经常会出现诸如样本离群、漂移、超量程以及样本缺失等数据异常现象，而且一般难以判断某种数据异常现象究竟是由SHM系统本身故障所引起的还是由结构内部损伤所引起的，从而给SHM系统的自动预警带来诸多困难。异常数据检测方法现已在SHM领域受到广泛关注，但是相关研究仍然很不充分。
在实际应用中，从海量SHM数据中提取得到的特征往往具有较大的变异性，从而导致传统异常数据检测方法表现欠佳。即使辅以专家干预，在涉及的众多数据预处理中对相关参数进行调优也仍然是一个挑战，致使检测过程繁琐而效率低下。此外，传统异常数据检测方法一般侧重于对单一类型异常数据的检测，在多类型异常数据检测中则往往出现误检。因此，需要更加智能的方法用于处理实际SHM系统中多传感器采集的海量数据。基于深度学习（DL）的方法则可以对包含异常数据样本的大数据进行学习，在此基础上可进一步实现多种类异常数据的同步诊断。此外，针对缺失或异常样本的数据填补算法目前也得到了广泛的研究。
损伤识别是SHM中的一个经典问题。目前，大量基于振动模态的结构损伤识别方法已被提出。然而，实际应用表明，基于振动模态的损伤识别方法对结构局部小损伤不敏感，且易受温度影响。计算机视觉（CV）是人工智能（AI）的关键技术之一，其利用计算机处理视觉信息使得计算机可以像人一样观察与解译现实世界。CV的具体问题包括使用图像或视频数据进行测量、检测以及识别对象、特征或动作等。结构表面的损伤或变化可以通过CV方法自动识别（如一旦获得了结构表面图像，就可以利用图像处理算法或DL算法自动识别表面损伤或变化）。近年来，众多学者利用CV技术开展了大量有关结构损伤识别方法的研究，其中结构图像是通过无人机、机器人以及可穿戴设备等不同方式拍摄得到的。
结构响应随外部荷载和结构本身的变化而变化，实际荷载往往很难精确监测，从而使得研究人员难以区分结构响应的变化是由荷载的改变所引起的还是由结构本身参数的改变所引起的。通过机器学习（ML）算法或DL算法可以揭示和获取结构响应之间的复杂关系；由于结构响应的相关性一般不受荷载影响，所以其可以作为结构性能指标。根据结构性能指标的变化可以进一步评估结构的状态。
本文后续内容安排如下：第2节介绍基于CS的数据采集算法；第3节讨论基于DL的异常数据诊断方法；第4节给出基于CV的裂纹识别算法。最后提出基于ML算法的桥梁状态评估方法，并给出本文的结论。
二、基于压缩采样的数据采集算法
Shannon–Nyquist采样定理是传统数据采集中必须遵循的基本准则，其要求以高于信号最高频率至少两倍的采样频率进行数据采集。因此，若使用该定理采集SHM数据则会产生巨大的数据量。Donoho和Candès提出的压缩感知（也称为CS）为在某特定域内具有稀疏性的信号采集提供了一种新的采样方法。在CS理论中，信号是被随机采集的，其数据量比按Shannon–Nyquist采样定理采集的数据要小得多，然后利用稀疏优化算法可以实现原始信号的精确重构。
在CS理论中，信号
可以通过如下线性映射进行采集：
式中，Φ为维数为m×n的测量矩阵或采样算子；e为测量噪声。
因为Φ为m×n矩阵且m≤n，从信号y中恢复原始信号x是一个病态问题。然而，在CS理论中，如果信号x是稀疏的（即信号x在某些基Ψ上具有稀疏表示，其中x= αΨ）且矩阵Φ满足非一致性条件，那么基系数α可以通过如下 优化问题重构得到：
式中，ε是测量误差水平的界限，||e||2 ≤ ε；矩阵Θ满足Θ = ΦΨ；
为最优基系数解；
表示所有可能的解；l1范数的定义为
，其中
是
的元素。
信号稀疏性是CS理论的基本前提，大部分土木工程基础设施的振动信号满足稀疏性条件（即结构振动一般仅由少数几阶模态主导）。因此，大部分结构的振动信号一般在频域或时频域内具有稀疏性。Bao等发现了结构振动信号的稀疏性，并首次利用CS方法采集桥梁SHM系统的加速度数据。
此外，在结构不同位置布设的传感器，其所测的振动数据在频域上几乎具有相同的稀疏结构。Bao等利用结构振动数据的群稀疏性还提出了一种基于CS的无线传感器群稀疏优化算法。假设在结构上安装了K个加速度传感器，考虑测量噪声后的监测信号矩阵U可以表示为：
式中，ε∈RM×K 为高斯噪声矩阵；U为M×K的监测数据矩阵；Ψ为傅氏矩阵；X为傅里叶系数矩阵。傅里叶系数矩阵X可以通过求解以下优化问题进行重构：
式中，
为补零操作算子；μ为罚项系数。一旦获得了傅里叶系数矩阵的最优解Xrec ，即可按下式重构信号矩阵：
式（4）所示的稀疏优化问题可以采用增广拉格朗日乘子法进行求解。图1给出了利用某实际大跨度桥梁10%和20%实测样本进行重构的振动信号示例。利用重构得到的数据可以很好地识别出结构的振动模态，图2展示了利用10%样本重构信号识别得到的前两阶模态振型。
图1 基于压缩采样理论重构得到的振动信号示例。（a）利用10%样本重构；（b）利用20% 样本重构
图2 利用10%样本重构信号识别得到的前两阶模态振型
三、基于深度学习的异常数据诊断方法
大量SHM工程应用的经验表明，因传感器失灵、系统故障、环境影响等因素，SHM数据中难以避免地包含多种类型的异常数据。最常见的异常数据类型有缺失数据、次小值、离群值、超量程、长周干扰和随机漂移等。这些异常数据严重干扰了真实数据信息的获取，增加预警误判风险。因此，监测数据的预处理或数据清洗对SHM系统至关重要。
受人工数据质量评估过程的启发，Bao等提出了基于CV和DL的异常数据诊断方法。首先，他们将传统时间序列信号转化为图像数据，然后设计并训练了深度神经网络（DNN）用于异常数据分类。
该诊断方法的框架如图3所示，其主要包含两步：
① 通过数据可视化进行数据转换，即将时间序列信号在图像向量空间中分段表示；
② 通过堆栈式自编码器和逐层贪婪训练法训练DNN。经过训练的DNN可被用于探测SHM大数据中的潜在异常数据。
图3 基于DL的异常数据诊断框架
利用某大跨度斜拉桥的加速度监测数据验证了上述方法的有效性。图4给出了一年的异常数据分布的诊断结果和真实值对比。图4结果表明，该方法可实现多模式异常数据自动诊断，全局准确率达到87%。
图4 2012年某斜拉桥加速度异常数据分布检测结果（a）与真实结果（b）对比
四、基于计算机视觉的裂纹识别方法
CV技术具有更少地依赖专业测量设备、传感器、人工主观经验等诸多优势。DL可以自动地训练端到端模型，同时提取输入图像的高层级特征。基于DL的CV技术可以克服传统CV技术的诸多缺点，比如需要预先设计基于滤波器的特征提取器、对裂纹几何形态的假设，以及对真实环境图像识别的鲁棒性等。
受限玻尔兹曼机（restricted Boltzmann machine, RBM）和深度卷积神经网络（deep convolutional neural network, CNN）是最具代表性的两大类DL网络结构，目前已经被用于裂纹图像识别中。Xu等建立了基于RBM的钢结构表面裂纹识别框架。如图5所示，RBM模型由一个输入层、三个隐藏层和一个输出层叠加组成。
图5 RBM模型示意图。（a）单层可视层与隐藏层；（b）堆栈RBM。bi和cj 分别代表可视向量v和隐藏向量h的偏置系数，Wij 代表可视-隐藏结点对（υi ,hj ）对应的连接权重系数
RBM属于生成式学习模型，可以堆栈形成深度网络结构。基于能量函数的RBM可以通过下式表示：
式中，x表示输入变量；P(x)代表基于能量函数E(x)的概率分布；Z代表配分函数。在某些情况下，输入变量x可以被分成可视向量v和隐藏向量h两部分。在玻尔兹曼机模型中，能量函数可由如下二阶多项式表示：
式中，bi和cj分别代表可视向量v和隐藏向量h对应的偏置系数项；Wij 、Uij 、Vij 分别代表可视-隐藏结点对（υi,hj ）、可视结点对（υi , υj）、隐藏结点对（hi , hj ）对应的连接权重系数。RBM的网络结点为二值化结点，即υi ,hj ∈{0,1}。另外，可视层和隐藏层的层内结点之间是相互独立的，因此，Uij = 0，Vij= 0。RBM的能量函数可由下式表示：
包含复杂背景信息的原始裂纹图像由普通消费级相机（型号Nikon D7000，分辨率3264 × 4928）在跨海大桥钢箱梁内部拍摄。原始图像中有些疲劳裂纹的尺寸非常小，宽度仅占数个像素点。复杂的背景信息同样也包含于原始图像中，如钢板和U型肋的边界、巡检人员书写的黑色字迹、电线、腐蚀区域等。像素为3264 × 4928的灰度图像转换成像素为3264 × 3264的图像，然后切割成24 × 24的子单元。因此，13张原始图像可获得的子单元数目共有240 448个。裂纹子单元的输出标签为[1 0]T ，背景子单元的输出标签为[0 1]T 。输入层是由像素为24× 24的子单元按列方向拉成的576 × 1的向量，并将灰度图像归一化到0~255范围内。采用对比散度（contrastive divergence，CD）学习算法自下而上地对RBM模型的网络参数（包括权重系数Wij 、偏置系数bi 和cj ）进行基于Sigmoid函数的更新：
式中，α和η分别为动量因子和学习率超参数。图6（a）表明模型的重构错误率经过1000轮训练后降至4.8%。图6（b）表明裂纹子单元可以较好地从干扰性因素中（如构件边界）被识别出来。
图6 RBM模型的网络训练和裂纹识别结果。（a）重构错误率；（b）裂纹识别结果
受文献[53]中丰富的CNN的启发，Xu等后来提出了融合卷积神经网络（FCNN），用于处理多层级卷积特征进行裂纹识别，如图7（a）所示。区别于传统CNN的输入层-中间隐藏层-输出层的链式结构，研究人员在FCNN中新增加了旁路通道用于处理输入的多层级特征融合。采用带有正则项的Softmax分类函数作为损失函数：
式中，当且仅当预测标签正确时，
的返回值为1；否则返回值为0。λ表示权重衰减因子；m表示分批样本容量。Wj 和bj分别表示权重系数和偏差系数。C代表分类总数；c为分类角标，取值范围为1到C。x(i) 表示分类层的第i个输入；
和bj分别表示作用于第i个输入x(i)的权重系数和偏差系数；
和bc代表在内部求和过程中由分类角标c标识的权重系数和偏差系数。识别误差是基于子单元的，为输入子单元的预测值错过真实值标签的比例（即代表了输入子单元预测结果的正确与否）。如果输入子单元的预测标签和真实值标签不一致，那么错误预测的数量加1，相应的识别误差也随之改变。图7（b）表明训练和验证集上的识别误差的最小值分别达到了3.62%和4.06%。
图7 FCNN模型和训练结果。（a）改进的FCNN模型架构示意图；（b）训练和验证集上的识别误差。Conv：卷积层；BN：批处理规范化层；ReLU：修正线性单元激活层；MP：最大值池化层；FC：全连接层
图8显示了具有不同拍摄焦距的原始图像的裂纹识别结果，用于验证所训练网络模型在多尺度图像上的识别能力。从图中可知，尽管手写字迹作为钢箱梁疲劳裂纹识别中的一个主要干扰因素，具有类似裂纹的形状特征，但是裂纹子单元仍可以从背景和手写字迹子单元中被识别出来。识别正确率的平均值和标准差分别为88.8%和6.7%，是在不同环境下对测试图像识别正确率进行统计得到的。根据输入子单元是否能被正确地预测为裂纹、手写字迹或背景，识别正确率将基于子单元进行计算。
图8 多尺度图像的识别结果。（a）一个被缩小的裂纹；（b）一个被放大的裂纹
五、基于机器学习的桥梁状态评估方法
基于ML的状态评估方法是通过机器学习方法对监测数据建立统计特征模型，并通过特征模型的概率密度函数的变化来评估结构状态是否正常。因此，此方法也被称为模式识别方法。
（一）基于机器学习算法的斜拉索状态评估方法
斜拉索作为斜拉桥中的关键承重构件，在服役中因受到腐蚀和疲劳的双重作用而出现性能退化，因此，对斜拉桥的监测与状态评估十分重要。斜拉索的索力通常可以通过斜拉索锚固端安装的索力计测量得到，图9显示了国内某双塔双索面斜拉桥上、下游拉索索力时程监测数据示例。
图9 斜拉桥上、下游拉索索力的监测数据。Tvu 和 Tvd 分别代表了上、下游拉索的车致索力
同一截面上、下游拉索的索力一般由相似的整体及局部荷载所引起，因此提出以下拉索对（上、下游拉索）的车致索力比：
式中，Tvu 和Tvd 分别为上游拉索和下游拉索同一时刻的车致索力；W为即时加载的车辆总荷载，且假设车辆荷载对索力的作用可等效为移动集中荷载作用；y为车辆荷载在横桥向的作用位置；ηvu (y)和ηvd (y)分别为横桥向的索力影响线。
采用聚类算法分析了拉索对的车致索力模式，具体结果如图10所示。从图10可知，拉索对的车致索力比存在6种模式（用不同颜色加以区分）。
图10 拉索对车致索力模式。（a）短拉索对；（b）中长拉索对
进一步分析发现，这些模式只取决于桥上车辆的横向位置，而与车辆自身重量无关。若拉索对中任一拉索出现损伤，则其斜率（索力比）将发生改变。因此，索力比ζ = ln[α(y)]可以作为对斜拉索状态进行评估的一项指标。通过构建高斯混合模型（Gaussian mixture model，GMM）对斜拉索索力比进行建模：
式中，
为在车辆荷载n作用下第m对拉索车致索力比ϑ = {θ1, θ2,…, θK, w}；w = {w1, w2,…, wK}为的概率密度函数；为权重系数，且
。
图11（a）显示了其中一对拉索的GMM拟合效果，图11（b）展示了由该方法识别到状态产生损伤的拉索结果。
图11 拉索状态评估结果。（a）短拉索对GMM拟合结果；（b）中长拉索对车致索力比云图。PDF：概率密度函数；CDF：累积分布函数；ECDF：经验累积分布函数
（二）基于机器学习算法的钢箱梁状态评估方法
应变值的变化与结构的安全性直接相关。然而，由于钢箱梁焊缝中的残余应变及材料缺陷，直接采用应变值对结构进行评估，很难反映其真实状态。但是，我们发现钢箱梁顶板的应变具有很强的局部效应，即直接受到桥上车辆轮压的区域会产生很大的应变值，且应变随着与轮压作用点的距离增加而衰减。应变局部效应意味着车辆轮压区域产生的应变值只与作用于此处的轮压荷载有关，与桥上其他位置处的车辆荷载无关。基于上述现象，我们提出不同截面在相同横向位置处，车致应变比与车辆荷载无关，具有时滞效应（即同一车辆顺次通过不同截面产生的应变响应的时间差值）。因此，车致应变比只与钢箱梁状态有关，可被用于钢箱梁状态评估指标。车致应变比定义如下：
式中，εik (t)和εjk (t)和分别为截面i, j在相同横向位置处受到轮压W (t)作用产生的应变值；αik和αjk 为只与钢箱梁状态有关的荷载效应系数。因此，不同截面的车致应变比Rij只与钢箱梁状态有关，可被用于钢箱梁状态评估指标。
图12（a）展示了桥梁不同截面在相同横向位置处的应变监测时程。从图中可知，相似的应变时程曲线证实了关于车致应变比的推论。同一车道内不同截面处车致应变比的概率密度分布如图12（b）、12（c）所示。如图12（b）所示，钢箱梁车致应变比的概率密度分布无明显变化，这说明钢箱梁没有损伤。然而，图12（c）显示钢箱梁车致应变比的概率密度分布发生了明显改变，表明钢箱梁截面中的一个或两个产生了损伤。
图12 应变监测时程及车致应变比统计。（a）不同截面在相同横向位置处的应变监测时程；（b）无损伤的钢箱梁截面的车致应变比分布；（c）有疲劳裂纹的钢箱梁截面的车致应变比分布
六、结语
本文简要回顾了SHM数据科学与工程的研究现状，相关结论以及可能的发展趋势总结如下：
由于土木结构中的动态信号（如加速度、动应变、动位移等）一般在频域和时频域中满足稀疏性条件，可以利用基于CS的数据采集算法实现对动态信号的随机采样，从而可极大地降低动态信号的监测数据容量。
ML、DL和CV技术为利用监测大数据进行异常数据自动诊断、结构表面裂纹识别以及结构状态评估提供了高效的算法，这些方法在SHM领域具有广阔的应用前景。
近年来，“AI科学家”和“AI工程师”的概念在AI领域正获得越来越多的关注，因为其可以像人类一样学习、创建定理和理论以及进行工程设计。AI、虚拟现实、可穿戴设备、群智感知技术以及它们的组合将有望实现以更低的成本收集更多的数据与信息，通过克服传统结构损伤监测、模型更新、安全评估、可靠性分析等诸多难题，为结构健康诊断和预测提供了新的理论依据。这些新兴技术将为我们确定在实际运营环境和真实荷载作用下的全尺度结构的长期性能演化规律提供新途径。
注：本文内容呈现略有调整，若需可查看原文。
改编原文：
Yuequan Bao, Zhicheng Chen, Shiyin Wei, Yang Xu, Zhiyi Tang, Hui Li.The State of the Art of Data Science and Engineering in Structural Health Monitoring[J].Engineering,2019,5(2):234-242.