一文汇总时序预测新思路——图学习视角解决时间序列预测问题

在最近的时间序列预测研究工作中，有一类工作将图学习和时间序列结合了起来，从图学习的视角理解时间序列预测。这类工作中，一种是用图学习建模多变量间的关系，解决多元时序预测问题；另一种是直接把时间序列中的各个时间步看成图中的一个节点，用图学习建模时间步之间的依赖关系。这篇文章汇总了近期4篇图学习视角解决时间序列预测问题的工作。

1.ForecastGrapher

论文标题：ForecastGrapher: Redefining Multivariate Time Series Forecasting with Graph Neural Networks

下载地址：​​https://arxiv.org/pdf/2405.18036v1​​

图片

本文从图学习的角度解决多元时间序列预测问题，将每个变量当成图中的一个节点。

在iTransformer这篇工作中，将transformer作用到channel维度。这个过程其实很想图学习，将每个变量的序列先映射成一个表征，再类似graph attention network的方式计算图中两两节点之间的表征再融合。本文收到这个启发，提出用图学习的方法直接建模多变量时间序列，将多元时序预测问题转换成了图回归任务。

整体模型分为时序表征和图学习两个部分。每个变量视为图中的一个节点，首先使用一个简单的MLP网络，将一个变量的时间序列映射成一个表征向量。同时，将变量ID、日期特征也加入到表征中。在图学习阶段，一方面需要定义图中的临接矩阵，即各个节点之间的关系。这里使用的方法类似时空预测中的常用方法，用节点embedding内积+激活函数自动学习两两节点之间的打分作为邻接矩阵。

图片

在图模型部分，提出了Group Feature Convolution建模方法。在GCN的基础上，文中将每个变量的表征先扩充维度再分组，每个分组内用不同尺寸的CNN进行图学习。用这种多粒度的图学习方法，替代原始的图学习中固定的信息传播和汇聚规则，让图学习过程学习更加灵活。最后，再通过一个可学习的权重，对不同分组的图学习表征进行融合，使用一个映射网络映射到预测结果。

图片

2.DGCformer

论文标题：DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting

下载地址：​​https://arxiv.org/pdf/2405.08440v1​​

图片

本文提出了一种多元时间序列建模中，融合channel dependent和channel independent的方法，核心思路是通过聚类将多元时间序列分成多个类簇，以此筛选出具有关系的变量，再在每个类簇内通过使用channel dependent的建模方法，而类簇间使用channel independent的建模方法。

多元时间序列建模问题中，channel dependent虽然可以建模各个变量之间的信息，但是对于每个变量来说，也会引入一些无关变量，带来关系建模的噪声，导致效果不如channel independent。因此本文希望通过聚类的方式，提前挖掘有相关关系的变量作为一个group，对group内部的变量进行channel dependent的建模，减少无关变量噪声的干扰。

具体的，文中核心分为聚类和预测两个部分。在聚类部分，首先使用一个基于GRU的autoencoder，对时间序列进行编码，得到隐空间表征H。同时，初始化预先定义类簇数量的embedding，用H和这些类簇embedding计算相似度后，得到该变量序列应该被分配到哪个类簇。另外还有一路图聚类模型，这个模块直接利用GCN建模各个变量之间的关系，图邻接矩阵随机初始化。图聚类和自编码器表征聚类这两部分学习得到的聚类分布通过KL散度进行一致性约束。在图聚类过程中会加入autoencoder生成的隐状态编码提升学习效果。整体的聚类使用Kmeans优化目标进行拟合。

图片

另一部分是预测部分，预测部分基于transformer结构，在同一个序列的patch间，以及根据上面聚类结果进行变量序列间的建模。在变量间attention中，根据聚类结果设定mask，实现mask attention只建模同一聚类簇内部的变量间关系。

3.FourierGNN

论文标题：FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

下载地址：​​https://arxiv.org/pdf/2311.06190v1.pdf​​

图片

之前的多变量时序预测或者时空预测，都需要将时间序列建模和图学习融合起来，例如并行融合、串联融合等，在之前时空预测专题中进行过详细介绍。然而这种方式，总归还是两种建模方式的拼接，无法充分融合时间和空间的信息。

NIPS 2023的这篇文章，提出了一种统一的建模视角，将整个多元时间序列看成一个超图。超图是图的一个扩充，原始的图中，一条边只能连接个点，而超图中，一条边可以连接多个点。对于多元时间序列，每个时刻的每个变量都视为一个图上的节点，将同一个时刻的多个变量用一条边相连，时间维度关系也进行连边。最后，可以直接在这个超图上统一进行时间序列建模，文中采用Fourier Graph Nerual Network实现统一建模。通过这种方式，将时间和空间信息融为同一种图形式，不再需要独立建模时空信息再进行融合，是一种纯图视角的建模。

图片

4.MSHyper

论文标题：MSHyper: Multi-Scale Hypergraph Transformer for Long-Range Time Series Forecasting

下载地址：​​https://arxiv.org/pdf/2401.09261v1.pdf​​

图片

本文提出一种基于超图的长周期时间序列建模方法，核心是为了同时建模不同scale之间和不同时间步之间的关系。时间序列的scale、temporal之间存在复杂的依赖关系，如何同时充分建模二者之间的关系是一个难点。本文提出构建一个超图解决。

首先，底层通过多scale建模生成不同粒度的表征。常见的方法是，底层输入最细粒度的时间序列，然后逐层使用卷积+pooling的形式逐渐汇聚，生成不同粒度的表征，每个scale每个时间窗口的表征可以视为图中的一个节点。接下来，构建3种类型的超图，分别是intra-scale、inter-scale、mixed-scale，各种超图分别连接不同的节点集合，以学习不同的依赖关系。Intra-scale主要用来学习scale内部的时序依赖关系，因此将同一个scale的一定相邻时间窗口内的节点用一个超边连接。Inter-scale用来建立不同scale之间的关系，因此将相邻窗口的底层节点、这些节点公共的父节点等一个时间维度上不同scale的节点用超边连接。

在建模过程中，采用Tri-Stage Message Passing Mechanism进行信息传递，包括 node-hyperedge、hyperedge-hyperedge、hyperedge-node三个阶段，在超图上进行信息融合，分别实现节点到超边、超边到超边、超边到节点的信息汇聚。

本文转载自​​ 圆圆的算法笔记​​，作者： Fareise