通道间关系建模在不规则时序预测中的研究

今天给大家介绍一篇不规则时间序列建模的工作。本文的核心是研究不规则时序预测中的变量间关系建模问题，研究焦点是如何在保持计算效率的同时，有效地捕捉长期依赖性和复杂变量间关系。研究者们提出了一个新颖的框架，通过结合局部的通道依赖（CD）策略和全局的通道独立（CI）策略，显著提升了模型在多个真实世界数据集上的性能。

论文标题：TimeCHEAT: A Channel Harmony Strategy for Irregularly Sampled Multivariate Time Series Analysis

下载地址：​​https://arxiv.org/pdf/2412.12886v1​​

1.研究背景

非均匀采样多变量时间序列（ISMTS）在现实世界中非常普遍，例如医疗保健、气象和交通等领域。这些数据由于传感器故障、传输失真、成本削减策略等原因，采样间隔不相同。而现在的大多数深度学习方法，都只能处理采样间隔相同的时间序列，导致这类ISMTS问题建模困难。现有方法主要分为对原始不规则数据进行插补以转换成规则序列，或者采用端到端建模方法，但没有充分考虑不同变量之间的关系信息。本文针对该问题，提出了一种channel dependent和channel Independent相结合的建模方法，实现不规则时间序列变量间关系的刻画。

2.建模方法​

TimeCHEAT的核心，一方面是在每个patch内部采用channel dependent建模策略，通过二部图的学习建模内部各个变量和各个时间戳的关系，充分捕捉patch内的变量间关系。另一方面，对于不同patch之间，使用channel independent策略，用一个全局Transformer专注于建模时间维度间的关系。

首先，对不规则时间序列按照等窗口长度、不重叠的分割成多个patch。每个patch内部，包括多个变量在不同时间步的取值。为了充分刻画这种不规则的变量、时间步对应关系，以及各个变量之间的关系，文中采用二部图进行建模。二部图指的是由2种类型的点构成，且每条边都连接了两种类型节点的图。这个二部图中，第一种类型的节点是channel，第二种类型的节点是时间步。根据观测的信号将每个节点和每个时间步相连。为了将不规则序列转换成规则的，再加一个等时间间隔的虚拟子图，用GNN建模图学习，去预测每个channel和这个虚拟子图各个时间步之间的关系，最后用这个关系图生成每个patch的embedding。

接下来，在得到每个patch的表征后，再全局使用channel Independent建模，专注于学习序列时间步之间的长周期关系，也避免学习长周期channel之间依赖关系带来的过拟合等问题。这里直接将上一步的patch embedding输入到Transformer中，通道独立的进行建模，类似PatchTST的建模过程。

最后，Transformer的输出作为不规则时间序列的表征。这个表征用于下游的分类、预测、填充等任务重。

3.实验效果

本文基于TimeCHEAT模型，在分类、预测、填充等多个不规则时间序列预测任务中进行了效果对比，可以发现都取得了不错的效果提升。

本文转载自​​圆圆的算法笔记​​