AI.x社区

今天给大家介绍一篇华为最近发表的时间序列分类大模型工作，填补了专门用于时间序列分类的大模型工作空白，借鉴了VisionTransformer的训练方式和模型结构，迁移到时间序列分类任务中，在多种类型的数据集上取得了不错的效果。推荐阅读：​​​2024时序预测都有哪些经典工作——汇总篇​​，2024时间序列预测相关最新SOTA工作汇总，涉及模型结构、表示学习、频域信息、扩散模型10余个专题。论文标题：Mantis:LightweightCalibrat...

今天给大家介绍一片最新的多模态时间序列预测工作。这篇文章采用了时间序列、图像、文本三种模态的数据形式，进行时间序列预测，增强底层信息的输入，提升时序预测效果。论文标题：TimeVLM:ExploringMultimodalVisionLanguageModelsforAugmentedTimeSeriesForecasting下载地址：​​https:arxiv.orgpdf2502.04395​​1.研究背景传统的时间序列预测方法，都是最基础的时间序列形式数据进行建模的。然而，最近一些工作将文本信息...

今天给大家介绍一篇视频多模态大模型工作，这篇文章的核心是探索了在现有的SOTA视频多模态大模型中，引入显示的视频时序建模提升模型的视频理解能力。论文标题：ExploringtheRoleofExplicitTemporalModelinginMultimodalLargeLanguageModelsforVideoUnderstanding下载地址：​​https:arxiv.orgpdf2501.16786​​1.研究背景传统的时间序列预测方法，都是最基础的时间序列形式数据进行建模的。然而，最近一些工作将文本信息、图...

LLaMA是目前很多SOTA开源大模型的基础，包括DeepSeek、千问等在内的很多大模型的模型机构大体上都沿用了LLaMA。因此，LLaMA在模型结构的设计上可以说是目前大模型的一种最佳实践。这篇文章就给大家汇总一下LLaMA的核心模型结构。LLaMA的主体结构仍然基于Transformer，本文主要介绍LLaMA各个版本相比于Transformer的改进部分，包括PreNormalization、RMSNorm、SwiGLU激活函数、RotrayEmbedding等部分。1.PreNormalization基础的T...

最近，DeepSeek在国际上很火，一方面其效果比肩非开源模型ChatGPT，另一方面其运行成本很低。可以说，DeepSeek是目前为止最先进的大模型之一。今天这篇文章，就带大家梳理一下从2024年至今DeepSeek发布的V1版本到V3版本的核心技术点，看看DeepSeek采用了哪些技术构建了最先进的大模型，每一次的升级基本都伴随着训练数据的优化、模型结构的升级、优化方式的更新。为了方便大家阅读，本文会用比较简洁的语言进行主要技术的介绍，...

今天这篇文章给大家汇总市面上的各类LargeLanguageModel，从模型角结构的角度、模型类型的角度进行划分，涵盖了目前市面上主流的LLM，一文了解各个LLM的基本实现方法和关系。从基础模型结构的角度，预训练语言模型可以分为Encoderonly、Decoderonly、EncoderDecoder三种类型。从市面上的LLM类型来看，可以分为GPT、LLaMA、PaLM等3个最主要的类型。下面，将这6个类别的模型，以及其中各个模型之间的关系给大家详细介绍一下。1.模...

今天给大家介绍一篇时间序列表示学习的文章，这篇文章提出了一种和对比学习不同的表示学习方法，无需显示构造负样本，避免了伪负样本影响对比学习效果的问题。论文标题：FrequencyMaskedEmbeddingInference:ANonContrastiveApproachforTimeSeriesRepresentationLearning下载地址：​​https:arxiv.orgpdf2412.20790v1​​1.研究背景​表示学习可用来将原始数据转换成向量，用于后续的深度学习任务。现有的表示学习基本都采用对...

今天给大家介绍一篇不规则时间序列建模的工作。本文的核心是研究不规则时序预测中的变量间关系建模问题，研究焦点是如何在保持计算效率的同时，有效地捕捉长期依赖性和复杂变量间关系。研究者们提出了一个新颖的框架，通过结合局部的通道依赖（CD）策略和全局的通道独立（CI）策略，显著提升了模型在多个真实世界数据集上的性能。论文标题：TimeCHEAT:AChannelHarmonyStrategyforIrregularlySampledMultivariateTimeSeriesAnaly...

直接基于预训练的大语言模型（LLM）解决时间序列问题，是一个最近的重要研究点。之前的研究中，主要尝试用LLM进行zeroshotlearning，或者基于LLM的参数进行finetune。随着研究的深入，研究者发现，单独的一个LLM模型，或者单独的用LLM在时序数据上finetune，并不能取得最优的效果。因此除了上述优化之外，另一些工作尝试同时引入LLM构建文本模型和时序模型，并对两种模态的信息进行对齐，提升时序预测效果。今天就给大家总结几...

基于LargeLanguageModel做推荐系统可以说是最近2年推荐系统领域最火的研究点。一方面，LLM的理解能力、在各个领域的广发应用，使其自然而然衍生了和推荐系统结合的研究方向；另一方面，传统的推荐模型优化已逐渐进入瓶颈，依然基于原有的建模思路进一步优化很难带来显著收益。因此无论是工业界还是学术界，都在LLM+推荐系统这个方向投入了很多的人力和资源。在2024年的推荐系统顶会工作中，大厂、学校合作的论文70%都是和大模型...

今天给大家介绍一篇北大、阿里联合发布的多模态大模型工作。这篇文章重点解决多图像输入的多模态大模型建模方法，融合粗粒度、细粒度信息，显著提升了多模态大模型在多图输入复杂场景中的效果。论文标题：MaVEn:AnEffectiveMultigranularityHybridVisualEncodingFrameworkforMultimodalLargeLanguageModel下载地址：​​https:arxiv.orgpdf2408.12321​​1.研究背景现有的多模态大模型，大多数研究的都是一个图像输入的场景。而...

在大厂的推荐系统建模中，多场景建模是一个非常常见的业务场景。在很多app中，不同的场景都需要建模点击率、转化率等目标，以此进行排序给用户展现最感兴趣或最可能成交的候选。一种最简单的建模方法是每个场景分别训练一套模型，但是这种方式无法充分利用各个场景数据的共性信息，并且维护起来也非常麻烦。因此，如何有效联合多场景数据进行建模，或者进行多场景之间的知识迁移，是工业界推荐系统近两年研究的焦点。今天这篇文...

在现实世界中，观测到的时间序列通常表现出复杂多样的多尺度时间模式。尽管基于Transformer的方法在多尺度时间模式交互建模中取得了显著成功，但是两个关键问题限制了其在时间序列预测中的进一步发展。一方面，单个的时间点包含的语义信息较少，利用attention建模pairwise交互会造成信息利用瓶颈。另一方面，时间模式中存在多种固有的时序变化，这些时序变化相互纠缠，为建模多尺度时间模式交互带来了较大的挑战。针对上述问题...

在这个系列里，圆圆会带大家梳理2024年时间序列预测领域的经典工作，涉及多个优化方向。在这一节里，会为大家整体介绍2024年的时间序列一些具有突破性进展的领域。后续章节将持续在知识星球中更新，深入解读和串联这些领域的相关工作。1.时间序列基础模型2024年是时间序列预测与大模型深度结合的元年，涌现了很多时间序列基础模型和大模型中建模方法在时间序列预测的应用。一方面，今年出现了很多类型的时间序列基础模型，希望...

这篇文章给大家介绍一下北邮在NeurIPS2024中发表的一篇时间序列预测工作，重点研究了如果有效利用时间戳特征提升时序预测效果，相关方法可以嵌入到现有的各类SOTA时序预测模型中。论文标题：RethinkingthePowerofTimestampsforRobustTimeSeriesForecasting:AGlobalLocalFusionPerspective下载地址：https:arxiv.orgpdf2409.186961.研究背景现有的时间序列预测方法大多依赖于数值型的历史数据，并且假设这些数据的分布是相对稳定...

今天给大家介绍一篇南京大学、阿里巴巴联合发表的多模态模型建模方法WINGS，解决基于LLM的多模态模型在进行跨模态建模时的灾难遗忘问题。论文标题：WINGS:LearningMultimodalLLMswithoutTextonlyForgetting下载地址：​​https:arxiv.orgpdf2406.03496​​1.研究背景随着人工智能技术的进步，多模态大型语言模型（MLLMs）作为大型语言模型（LLMs）的扩展，已经在视觉相关的描述生成、理解、推理等方面展现出惊人的性能。这些模...

今天给大家介绍一篇清华大学发表于NIPS2024中的大模型时间序列预测工作AutoTimes，使用大模型进行自回归形式的时间序列预测，并结合InContextLearning提升预测效果。论文标题：AutoTimes:AutoregressiveTimeSeriesForecastersviaLargeLanguageModels下载地址：​​https:arxiv.orgpdf2402.02370​​1.背景大模型在时间序列预测中的应用已经有了一些研究工作。之前的大模型时序预测，主要讲大模型当成一个表征抽取器，将时间序列...

​多任务学习是推荐系统中非常常见的一个问题。推荐系统中，经常要对多个目标进行预测，比如点击率、转化率、观看时长等等。将这些任务联合学习，希望通过不同的监督信息，互相增强各自目标的拟合能力。但是同时，不同目标之间又不一定是正向关系，可能存在负向迁移问题，存在跷跷板现象。因此，如何最好的发挥多任务学习的作用，达到各个任务联合最优，一直是一个推荐系统领域的核心研究问题。这篇文章就给大家汇总一下，推荐...

今天给大家介绍一篇港中文、上海AILab等机构联合发表的CLIP优化工作，构建了基于多专家网络的MoE模型，实现更细粒度的视觉表征器训练，提升下游多模态大模型论文标题：CLIPMOE:TOWARDSBUILDINGMIXTUREOFEXPERTSFORCLIPWITHDIVERSIFIEDMULTIPLETUPCYCLING下载地址：​​https:arxiv.orgpdf2409.19291v2​​1.背景基于CLIP的图文对比学习预训练是构建多模态大模型的一个核心基础模块。通过图片和文本的对比学习过程，训练图片和文...

今天给大家介绍一篇华东师范大学联合丹麦奥尔堡大学和松鼠AI发布的时间序列模型统一评测基准FoundTS，这是一个针对时间序列预测基础模型的基准测评框架，旨在利用不同领域和特征的数据集对不同的时间序列预测基础模型进行全面、公平的测评。该论文在统一评测结果的基础上，分析了现有时序预测基础模型的优缺点，并为基础模型的提升提出一些可行的方向。论文标题：FOUNDTS:COMPREHENSIVEANDUNIFIEDBENCHMARKINGOFFOUNDATIONMODEL...