NeurIPS'24：针对时序预测中时间戳特征的研究

这篇文章给大家介绍一下北邮在NeurIPS 2024中发表的一篇时间序列预测工作，重点研究了如果有效利用时间戳特征提升时序预测效果，相关方法可以嵌入到现有的各类SOTA时序预测模型中。

论文标题：Rethinking the Power of Timestamps for Robust Time Series Forecasting: A Global-Local Fusion Perspective

下载地址：https://arxiv.org/pdf/2409.18696

1.研究背景

现有的时间序列预测方法大多依赖于数值型的历史数据，并且假设这些数据的分布是相对稳定的。尽管这类方法能够在捕捉数据中的线性关系和周期性规律方面表现良好，但在面对由外部因素引起的非平稳性和异常情况时，它们往往显得力不从心。

比如，在节假日或特殊事件期间，人们的消费行为、出行模式等会发生显著变化，导致相关指标出现不同于平常的波动。如果模型不能充分考虑这些外部因素的影响，其预测结果可能会偏离实际情况，进而影响决策的准确性。

此外，现实世界中的数据常常因意外事件而遭受污染，如电力系统故障导致的异常高耗电量。缺乏对全局模式的深入理解使得现有方案易受模式异常及数据噪声的影响。

时间戳蕴含丰富的全局性季节特征，本应成为提升预测准确性的宝贵资源。例如，工作日通常会在特定时段迎来交通高峰期。遗憾的是，当前研究大多聚焦于局部观测的数值型数据，仅将时间戳作为可有可无的辅助信息源。

消融研究表明，即使去掉时间戳信息，大部分模型的表现也不会有显著退步，这反映出当前当前对于以时间戳为代表的全局信息利用不足。

2.建模方法

针对上述问题，作者提出了一种通用框架GLAFF。作为一款插件，GLAFF能够无缝集成到任何预测主干之中，借助全局信息增强主流模型的鲁棒预测能力。

相较于通过early fusion整合时间戳信息的传统方法，基于late fusion的GLAFF不仅实现了不同类型信息间的平衡利用，还能有效抵御来自单一数据源的噪声干扰，从而显著增强了整个系统的稳定性和可靠性。

GLAFF插件的整体架构下图所示。在主干网络根据局部观测提供初始预测后，GLAFF利用全局信息对齐进行修正。

具体而言，它先通过Attention-based Mapper对包含全局信息的时间戳进行单独建模，并将它们映射到符合标准分布的观测值。随后，为了处理滑动窗口的观测值中存在异常的场景，作者利用 Robust Denormalizer对初始映射进行逆规范化，从而减轻数据漂移的影响。最后，Adaptive Combiner在预测窗口内动态调整全局映射和局部预测的组合权重，产生最终的预测结果。

Attention-based Mapper：采用Transformer模型中的编码器架构，包含了嵌入层、注意力模块以及投影层。类似于多数基于Transformer的编码器，GLAFF通过嵌入层将同一时间的时间戳向量视为一个标记，以描述该向量的属性。紧随其后，多头自注意力被应用于标记间的交互，以建模时间戳之间的相互依赖，并由前馈网络单独处理以进行序列表示。最后，使用投影层来获得初始映射结果。借助注意力机制的长距离依赖性和并行计算能力，Attention-based Mapper得以对以时间戳为代表的全局信息做到更充分的建模。

Robust Denormalizer：针对数据漂移现象，GLAFF对以时间戳为代表的全局信息采取了一种解纠缠的两阶段建模策略。第一阶段中，由Attention-based Mapper直接产生的原始映射值被假定遵循正态分布规律，以此降低建模时间戳与观测值之间依赖的难度。在第二阶段，基于历史窗口内初始映射值和实际观测值之间的分布偏差，Robust Denormalizer再分别将初始映射值逆标准化为最终映射值，以减轻数据漂移的影响。标准的逆标准化操作通常考虑均值和方差的差异。然而，这种方法容易受到极值的影响，在观测数据含有异常时表现得不够鲁棒。作者分别使用中位数和分位数范围替代均值和标准差，使得Robust Denormalizer对异常情况更加稳健。

Adaptive Combiner：鉴于现实世界的复杂性，模型偏差的数据偏好应该随着在线概念漂移而不断变化。当时间序列模式清晰稳定时，应该给予鲁棒的全局信息更多的关注。当时间序列模式模糊多变时，应该给予灵活的局部信息更多的关注。因此，作者提出了一种数据依赖策略来不断更新模型选择策略，自适应的动态调整全局信息和局部信息的组合权重。Adaptive Combiner根据历史窗口内全局映射值和实际观测值之间的偏差，动态调整预测窗口内全局映射值和局部预测值的组合权重。之后，模型根据组合权重对双源信息进行求和，得出最终的预测结果。

3.实验效果

在九个常用数据集上的实验结果表明，GLAFF一致地增强了四个广泛使用的主流预测基线的性能，充分证明了其有效性和优越性。

除了评估指标之外，预测质量也至关重要。如下图所示，通过两个典型数据集上的对比分析可以看出，GLAFF生成的结果不仅更加接近实际情况，而且对于局部异常值具有更好的抵抗能力，而其他单独运作的主干模型则容易受到此类扰动的影响。

本文转载自​​圆圆的算法笔记​​，作者：SanMoon ​​​​