五种时频图像一键切换，CVPR 顶会+多模态融合

前言

本期推出结合 CVPR2022 视觉顶会论文 RepLKNet 的多模态故障诊断创新模型，适合各种故障诊断领域、电能质量扰动信号、各种声信号、脑电信号等分类任务!

创新模型还未发表！！！有小论文、毕业论文需求的不容错过！

提供马尔可夫转换场 MTF 、递归图 RP 、格拉姆矩阵GAF、连续小波变换CWT、短时傅里叶变换STFT五种时频图像变换方法，可灵活替换多模态特征中的时频图像类型！

1 创新模型相关解释

● 数据集：CWRU西储大学轴承数据集

● 环境框架：python 3.9  pytorch 2.1 及其以上版本均可运行

● 时频图像变换：提供5种时频图像变换方法

● 准确率：测试集100%

● 使用对象：论文需求、毕业设计需求者

● 代码保证：代码注释详细、即拿即可跑通。

2 多模态创新模型介绍

2.1 模型创新点介绍

将时频图像和一维时序信号相结合，并使用RepLKNet和BiGRU-GlobalAttention进行分类的多模态特征融合模型，来进行故障信号分类，能够有效地结合视觉特征和时间序列特征。是一个非常强大的模型架构，能够充分利用多模态特征的优势。

（1）多模态融合：

本模型将时频图像和一维时序信号进行多模态融合，充分利用这两类数据的互补性。时频图像通过连续小波变换CWT，将信号的频率和时间特征可视化。而一维时序信号则保留了原始时间依赖信息，适合使用递归神经网络（RNN）或BiGRU进行处理。通过融合这两种特征：

• 时频图像捕捉了信号中的高频、低频变化趋势，有助于识别频域中的故障特征。
• 一维时序信号保留了信号的时间依赖特性，能够反映出故障在时间上的动态演化。

这种双通道的数据融合使得模型能够同时利用时间、频率和图像特征，从而大幅提升了故障分类的准确性。

（2）RepLKNet用于时频图像的特征提取

我们在时频图像的特征提取中引入了RepLKNet（Re-parameterized Large Kernel Network），这是一种使用大卷积核的卷积神经网络（CNN）。RepLKNet的优势在于：

• 大卷积核能够捕捉到更大范围的局部特征，使其在处理时频图像时，能够有效提取到大尺度上下文信息，例如信号中的长期频率变化趋势。
• 通过重参数化技术，RepLKNet在训练阶段保持了卷积计算的高效性，同时增强了模型的泛化能力，有助于提高分类任务的准确性。

这一创新点让模型在时频图像特征提取过程中，能够捕捉到信号的更多高层次信息，使得分类模型在复杂信号环境下依然表现出色。

（3）基于GlobalAttention优化的BiGRU网络

在处理一维时序信号时，我们采用了BiGRU（双向门控循环单元）来提取时序特征。为了进一步提升特征提取的效果，我们引入了GlobalAttention机制，这一设计的优势在于：

• BiGRU通过双向处理，能够同时捕捉信号的前向和后向依赖关系，使得模型可以更好地理解时间序列中的隐含信息。
• GlobalAttention机制通过动态分配不同时间步长的重要性权重，让模型更加关注关键的时刻信息，而忽略噪声或不重要的时间段。

这一创新设计使得BiGRU在处理一维时序信号时，能够更加有效地提取出故障发生时的关键特征，显著提高了信号分类的精度。

（4）特征融合优势

模型中的多模态融合部分，通过RepLKNet提取时频图像特征和BiGRU-GATT处理一维信号特征后，我们采用特征拼接融合的方式，将两种特征结合。相比于仅使用单一模式特征的传统模型，融合后的特征在分类任务中的表现更加优越，主要优势体现在：

• 时频图像和时序信号各自提供了不同视角的特征信息，前者提供频率域特征，后者保留了时间依赖特性，两者的结合能更加全面地反映信号的故障特征。
• 通过特征融合，模型在捕捉不同模式下的故障特征时更加鲁棒，尤其在复杂的故障信号环境下，融合的特征能够更好地应对噪声干扰和信号变化。

这种特征融合策略使得我们的模型在多种故障模式下，依然能够保持高效准确的分类性能，提升了模型在实际应用中的鲁棒性和泛化能力。

2.2 模型效果展示

（1）模型训练可视化

（2）模型评估

（3）混淆矩阵

（4）分类标签可视化

（5）原始数据 t-SNE特征可视化

（6）模型训练后的 t-SNE特征可视化：

模型分类效果显著，50个epoch，准确率100%，通过多模态融合、RepLKNet时频图像特征提取、GlobalAttention优化的BiGRU、特征融合策略等多方面的创新设计，使得模型在故障信号分类任务中表现更加出色。这种融合了时间、频率和空间特征的多模态方法，特别适用于复杂的工业故障诊断场景，具有广泛的应用前景，效果明显，创新度高!

本文转载自 ​​建模先锋​​，作者： 小蜗爱建模