TSLANet：时间序列模型的新构思

时间序列数据具有内在的长程和短程依赖性，对分析应用提出了独特的挑战。虽然基于Transformer的模型擅长捕获长程依赖关系，但它们在噪声灵敏度、计算效率和与较小数据集的过度拟合方面存在局限性。

本次的研究人员引入了一种新颖的时间序列轻量级自适应网络（TSLANet），作为各种时间序列任务的通用卷积模型。具体来说，利用傅里叶分析来增强特征表示并捕获长期和短期相互作用，同时通过自适应阈值来减轻噪声。此外还引入了交互式卷积块，并利用自监督学习来改进 TSLANet解码复杂时间模式的能力，并提高其在不同数据集上的鲁棒性。

综合实验表明，TSLANet在分类、预测和异常检测等各种任务中优于最先进的模型，展示了其在各种噪声水平和数据大小下的弹性和适应性。

1.TSLNet Block

简单的说，TSLANet基于Transformer，用于时间序列表示学习。专为时间序列分类和预测任务而设计，同时它还结合傅里叶变换和卷积层，以捕获时间序列数据中的局部和全局模式。

TSLANet的不同之处在于它还包含傅里叶变换和卷积层。傅里叶变换允许模型通过将时间序列数据分解为不同的频率分量来捕获时间序列数据中的全局模式。然后，卷积层专注于从时间序列中提取局部特征。通过结合这些不同的技术，模型可以学习对下游任务有用的时间序列的丰富表示。

傅里叶变换层将一维傅里叶变换应用于输入时间序列，以将其分解为其频率分量。这允许模型捕获数据中的全局模式。这个过程会进行噪声过滤，处理完毕之后，会通过逆FFT变换重构数据。Transformer编码器层接受傅里叶变换层的输出，该一层主要使用自注意力机制来学习。卷积层则是将一维卷积层应用于Transformer的输出，以从时间序列中提取局部特征。最后是前馈网络层，卷积特征通过完全连接的前馈网络，以产生最终的时间序列表示。

2.性能效果

作者证明了 TSLANet 在多个时间序列分类和预测基准上的有效性，包括 TDASNet、TBSN 和端到端自调谐数据集。它们表明，TSLANet在这些基准测试中还是有一定的优势，突出了其混合架构的优势。

上图为在不同数据集上面的分类结果

上图为多变量的预测，预测长度 ∈ {96, 192, 336, 720}.将结果取平均值。

上图为异常任务检测的结果。

本文转载自 ​​鲁班模锤​​，作者： 庞德公