KDD2024 | 解决时空建模异质问题——基于时空表征的个性化参数时空网络

今天给大家介绍一篇最近被KDD录用的时空预测建模工作。这篇文章重点解决在时空预测建模中，如何解决不同样本在时间和空间维度上的异质性，提出了一种基于时空表征的个性化参数建模方法。

1、背景

时空建模是一个常见问题，例如在交通预测中，预测每个位置每个时间步的流量等任务，需要同时考虑一个位置内时间维度的依赖关系，以及同一段时间不同位置建的空间依赖关系。关于时空建模，在【圆圆的算法笔记】知识星球中也详细整理了相关前沿工作和代码解析，感兴趣的同学可以加入领取。

时空异质性是时空建模中的一个难题。这种异质性，在时间维度上指的是，同一个地点，不同时间的流量分布差异很大，比如早高峰和日常时间、工作日和周末；在空间维度上，指的是同一时间段，不同位置的流量序列pattern差异很大，如下图所示。

现有的解决方法，主要依赖于在时间或空间人工定义一些有区分度的特征，例如POI数据等。这类方法对特征依赖比较强。本文则提出了一种基于表示学习的方法，在不依赖额外特征的情况下，实现时间空间异质性的个性化建模。

2、建模方法

为了解决时空异质性问题，本文建模的一个核心思路为：利用数据驱动的方式学习时间embedding和空间embedding，这些表征可以天然将相同时空上下文的样本聚类成簇，再基于这个表征进行网络参数的个性化，实现每类时空数据独立建模。

整体的建模方法包括：时空表征学习、meta-parameter个性化参数、时空网络3个部分，核心是meta-parameter个性化参数，整体模型结构如下图所示。

在时空表征学习中，对于每条样本，为其分配相应的时间embedding和空间embedding。时间embedding使用每个时间序列最后一个step对应的hour-of-day、day-of-week对应的embedding拼接到一起。空间embedding为每个位置设定一个可学习的随机初始化embedding。整体embedding随着最终优化目标训练。文中提出，随着训练的进行，能够实现将相似时间或空间pattern的拉近，在后面的实验部分也有可视化验证。如下图，时间embedding、空间embedding都形成了比较强的类簇关系，相同类簇的表征聚集在了一起。

第二部分是本文提出的meta-parameter个性化参数网络。文中将参数分成时间、空间、时空3个部分。每个部分的网络，都会使用前面学到的时空embedding进行子参数检索。例如，时间维度，设定k组参数，对于一个样本，利用前面学到的时间embedding作为query，和这k组参数进行相乘，相当于从这k组参数中检索一组最适配的参数。空间维度和时空维度也类似，空间维度的query使用空间embedding，时空维度的query使用一个原始序列经过编码器的表征。

通过meta-parameter的方法，实现了每种类型的时空样本使用特定一种个性化参数的目的。同时，通过将时间参数、空间参数、时空参数这3组参数空间的分离，又能让每组参数分别解决专门的异构性问题。例如时间维度的参数，专门将工作日或周末、高峰或日常等不同类型的时间节点，使用相应的参数进行拟合。

最后，在时空模型结构上，使用的是Graph Convolutional Recurrent Unit网络，将上述meta-parameter引入到GCRU中，实现个性化的GCRU。图中的节点的关系邻接矩阵，使用节点embedding内积+ReLU的方式进行自动化学习。

3、实验效果

文中在多个时空预测数据集上进行了验证，本文提出的建模方法均取得了一定的效果提升。

文中也进行了整个建模过程的可视化分析。除了前文已经介绍过了时间embedding、空间embedding的聚类簇合理性外，也分析了meta-parameter的分布情况，不同类簇在不同时间段内随着pattern差异的大小，参数的相关性业随之变化。

本文转载自 ​​圆圆的算法笔记​​，作者： Fareise