2024时序预测都有哪些经典工作—总结篇

在这个系列里，圆圆会带大家梳理2024年时间序列预测领域的经典工作，涉及多个优化方向。在这一节里，会为大家整体介绍2024年的时间序列一些具有突破性进展的领域。后续章节将持续在知识星球中更新，深入解读和串联这些领域的相关工作。

1.时间序列基础模型

2024年是时间序列预测与大模型深度结合的元年，涌现了很多时间序列基础模型和大模型中建模方法在时间序列预测的应用。

一方面，今年出现了很多类型的时间序列基础模型，希望通过多源数据的联合训练，构建一个类似于LLM的统一时间序列模型，能够解决各类时间序列问题。这其中的各类问题，包括各类时间序列任务（如预测、分类、填充等）、各类分布的时间序列数据集、各类时间序列数据形式（如预测长度、变量数量等）。业内也逐渐关注时间序列基础模型在zero-shot、few-shot中的效果。

另一方面，LLM中的建模方法也在时间序列中取得应用，例如In-context Learning、RAG等建模方式，都尝试了在时间序列领域的迁移，并取得了一定的效果。

2.扩散模型和时间序列

扩散模型在时间序列中的应用，在最近两三年一直是一个研究热点。特别是在今年Sora等生成式大模型发布后，扩散模型和时间序列的结合更加紧密。并且，今年相关领域中，重点研究了如何针对时间序列生成的特有问题，对扩散模型中的各个模块进行优化升级，让扩散模型更适配时间序列这种低密度、高不确定性的数据形式。

3.时序模型结构优化

在模型结构方面，继去年的线性模型和Transformer模型之争、PatchTST的提出，今年仍然有许多针对Transformer时间序列模型的升级。

除了Transformer模型的优化外，一些近期在LLM领域逐渐兴起的LSTM、Mamba等传统序列模型和序列模型的升级版本，也因其天然适配于时间序列数据形式，被在时间序列领域follow了起来。特别是2024年的下半年，涌现了一大批基于Mamba的时间序列模型。

4.时序信息维度优化

相比从模型结构上的优化，今年更多的工作是信息构建形式上的优化，例如频域信息的进一步应用、输入信号的分解、时间序列的多尺度建模等方面，今年都提出了很多新颖有效的解决方案。

例如，如何将时间序列进行更细粒度的分解，传统的趋势项、季节项分解是否已经能够满足需求？频域信息如何和时域信息更有机的进行结合？多尺度时间序列数据的联合建模和融合方法。这些都是今年从时间序列信息增量的维度，更进一步深入研究的主题。

5.多变量关系建模

多变量关系建模仍然是时间序列领域关注的焦点，因为其在实际应用中最为常见。相比之前采用的时序、变量间关系耦合在一起建模，今年的工作更进一步实现了多变量关系、时间序列建模的拆解。针对多变量关系建模中存在的问题，提出了包括基于聚类、解耦attention、图学习等多个角度的优化，均取得了不错的效果提升。

6.总结

2024年涌现了很多深度学习+时间序列的优秀工作，扩散模型、LLM在时间序列问题的应用成为主流。同时，像去年比较火的时间序列表示学习、时间序列线性模型等方向，进展减少，更多的是融合到了其他优化工作中。

本文转载自 ​​圆圆的算法笔记​​，作者： Fareise