Python轴承故障诊断 | 多尺度特征交叉注意力融合模型

前言

本文基于凯斯西储大学（CWRU）轴承数据，进行快速傅里叶变换（FFT）和变分模态分解VMD的数据预处理，最后通过Python实现基于交叉注意力BiTCN-BiGRU-CrossAttention的时空特征融合模型对故障数据的分类。凯斯西储大学轴承数据的详细介绍可以参考下文：

Python-凯斯西储大学（CWRU）轴承数据解读与分类处理

1 模型整体结构

1.1 模型整体结构如下所示：

一维故障信号分别经过FFT变换、VMD分解处理，然后把变换分解后的结果进行堆叠，通过BiTCN、BiGRU网络提取空间、时域特征，最后通过使用交叉注意力机制融合时域和频域的特征。可以通过计算注意力权重，使得模型更关注重要的特征，提高模型性能和泛化能力。

1.2 创新点详细介绍：

当处理故障信号时，时频域特征提取是非常重要的，而结合快速傅里叶变换（FFT）和变分模态分解（VMD）可以有效地挖掘信号中的多尺度特征。

（1）预处理——FFT：

FFT是一种广泛应用的频域分析方法，可以将信号从时域转换到频域，得到信号的频谱信息。通过FFT，我们可以获取信号在不同频率上的能量分布，进而了解信号的频率成分。然而，FFT只提供了信号在某个时刻的频谱信息，无法反映信号随时间的变化。

（2）预处理——VMD：

为了解决这个问题，可以引入变分模态分解（VMD）。VMD是一种基于信号自适应调整的模态分解方法，可以将信号分解为一系列模态函数，每个模态函数代表信号在不同尺度上的特征。通过VMD，我们可以获得信号在不同尺度上的时域特征信息。

（3）预处理——特征融合：

结合FFT和VMD，可以先利用FFT将信号转换到频域，得到信号的频谱信息。然后，同时对故障信号应用VMD，将其分解为一系列模态函数。这些模态函数代表了信号在不同尺度上的时域特征。通过分析这些信息，我们可以挖掘故障信号中的多尺度特征，从而更好地理解信号的时频特性。这种方法能够更全面地分析信号，有助于故障检测与诊断等应用场景中的信号处理任务。我们把经过FFT和VMD提取的多尺度特征融合后，作为创新网络模型的输入，送入网络中去训练。

（4）创新网络模型——BiTCN空间特征提取：

输入：融合FFT、VMD的特征

操作：BiTCN包含两个方向的卷积操作，分别用于正向和反向的时间序列数据。BiTCN使用了时空卷积操作，将卷积核在时间和空间维度上同时滑动，以获取序列数据中不同时间点和空间位置的特征信息。

输出：能够有效地捕捉序列数据中的局部模式和全局趋势。

（5）创新网络模型——BiGRU 时序特征提取：

输入：融合FFT、VMD的特征

操作：BiGRU网络学习序列信息，关注重要的时序特征

输出：经BiGRU处理后的时序特征表示，具有更好的故障信号时序建模能力。

（6）多尺度特征融合——交叉注意力机制特征融合：

输入：BiTCN提取的空间特征，BiGRU提取的时序特征

交叉注意力机制：使用交叉注意力机制融合时域和频域的特征。可以通过计算注意力权重，使得模型更关注重要的特征，提高模型性能和泛化能力

2 轴承故障数据的预处理

2.1 导入数据

参考之前的文章，进行故障10分类的预处理，凯斯西储大学轴承数据10分类数据集：

train_set、val_set、test_set 均为按照7：2：1划分训练集、验证集、测试集，最后保存数据

2.2 故障FFT变换可视化

2.3 故障VMD分解可视化

2.4 故障数据的特征预处理数据集制作

3 交叉注意力机制

3.1 Cross attention概念

• Transformer架构中混合两种不同嵌入序列的注意机制
• 两个序列必须具有相同的维度
• 两个序列可以是不同的模式形态（如：文本、声音、图像）
• 一个序列作为输入的Q，定义了输出的序列长度，另一个序列提供输入的K&V

3.2 Cross-attention算法 

• 拥有两个序列S1、S2
• 计算S1的K、V
• 计算S2的Q
• 根据K和Q计算注意力矩阵
• 将V应用于注意力矩阵
• 输出的序列长度与S2一致

在融合过程中，我们将经过BiTCN时空卷积操作的空间特征作为查询序列，BiGRU输出的时序特征作为键值对序列。通过计算查询序列与键值对序列之间的注意力权重，我们可以对不同特征之间的关联程度进行建模。

4 基于FFT-VMD+BiTCN-BiGRU-CrossAttention的轴承故障诊断分类

4.1 定义FFT-VMD+BiTCN-BiGRU-CrossAttention分类网络模型

4.2 设置参数，训练模型

50个epoch，准确率99%，用FFT-VMD+BiTCN-BiGRU-CrossAttention网络分类效果显著，快速傅里叶变换（FFT）和变分模态分解（VMD）可以有效地挖掘信号中的多尺度特征，创新模型能够充分提取轴承故障信号的空间和时序特征，收敛速度快，性能优越，精度高，交叉注意力机制能够对不同特征之间的关联程度进行建模，从故障信号频域、时域特征中属于提取出对模型识别重要的特征，效果明显，创新度高!

注意调整参数：

• 可以适当增加BiTCN层数和每层的通道数维度，微调学习率；
• 调整BiGRU层数和每层神经元个数，增加更多的 epoch （注意防止过拟合）
• 可以改变一维信号堆叠的形状（设置合适的长度和维度）

4.3 模型评估

准确率、精确率、召回率、F1 Score

故障十分类混淆矩阵：

有建模需求或论文指导的朋友请关注公众号，联系博主

点击下载：原文完整数据、Python代码​​https://mbd.pub/o/bread/ZpWUlZxx​​

本文转载自​​建模先锋​​，作者： 小蜗爱建模 ​​​​