WWW'24 文本增强实现统一跨域时间序列预测

今天给大家介绍一篇WWW 2024中，由于新嘉博国立大学和香港科技大学联合发表的多模态时间序列预测模型UniTime，通过文本信息实现统一跨域时间序列预测。

论文标题：UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series Forecasting

下载地址：​​https://arxiv.org/pdf/2310.09751v1.pdf​​

1、背景

在很多时间序列预测场景中，会涉及到跨域学习，即有多个领域的时间序列数据，不同领域的数据分布、特征都可能不同，需要对这些领域都进行预测。解决这种问题的一个基础方法为，为每个domain独立训练一个模型。这种方法的问题在于资源占用多，无法共享不同domain时间序列数据的信息。

Cross Domain相关的方法研究如何将多个不同domain的数据联合到一起训练一个模型。这其中需要面临的问题包括，如何让模型兼容不同类型的数据、如何有效区分不同domain的数据等问题。本文就建立在这个问题之上，希望建立一个能够联合训练不同domain时间序列数据的统一时间序列模型。

2、实现方法

针对上述问题，本文提出了一种使用文本信息增强时间序列cross domain学习能力的方法。

首先，整体的模型结构采用了Patch+Linear的基础方式，对于每个时间序列，使用patch的方式将序列转换为token embedding。由于不同domain的学习速率不同，为了防止那些学习快的domain出现过拟合，文中采用了一种mask的思路，将时间序列随机mask掉一部分点，让模型不能只根据domain数据自身的特征进行简单预测导致过拟合。这一步的输出为mask标记和被mask序列的Gate融合结果。

接下来，文中引入了文本信息辅助跨域学习。对于每个domain的数据，使用一个文本描述，输入到Transfomer中生成表征，描述这个domain的样本，以此作为一个domain的标识信息。这部分信息和时间序列本身的输出结果拼接到一起后，整体再过一个Transfomer融合文本和时序的信息。

最后，上述Transformer结果会输入到Decoder中，为了适配不同domain的序列长度可能不同的问题，使用一个可学习的padding向量对Encoder的输出结果进行补全。补全结果输入到Transformer Decoder中得到最终预测结果。

3、实验效果

在实验中，文中对比了多个数据集中，不同预测窗口的预测效果。对比的模型包括在所有数据集上联合训练的方法，也包括在单独数据集上训练的方法。可以看到，UniTime在多个数据集的不同配置上都取得了比较明显的效果提升。

同时，通过下图可以看出，通过引入instruction，可以让各个domain数据的表征学习的更加合理，各个domain在表征空间区分的更分散。

本文转载自 ​​圆圆的算法笔记​​，作者： Fareise