AI.x社区

一、概述Title:PromptMix:AClassBoundaryAugmentationMethodforLargeLanguageModelDistillationURL:​​https:arxiv.orgabs2310.14192​​代码：​​https:github.comservicenowpromptmixemnlp2023​​Authors:GauravSahu,OlgaVechtomova,DzmitryBahdanau,IssamH.Laradji1Motivation•利用大型语言模型如GPT3生成新示例以解决文本分类训练数据不足的问题。•LLM推理成本比较高、DistiBERTbase和BERTbase等模型受限于训练数据不...

著名云数据平台Snowflake的研究人员发布了一篇论文，主要对OpenAI的GPT4系列模型进行了研究，查看其文本生成、图像理解、文档摘要等能力。在DocVQA、InfographicsVQA、SlideVQA和DUDE数据集上对GPT4、GPT4V、GPT4TurboV+OCR等进行了多维度测试。结果显示，使用GPT4去执行解读文档任务时，无法达到满意的效果。这是因为，文档理解不仅是对文本的解析，还涉及到对文档布局、图片视觉内容的理解、推理和整合。使用GPT4V去执行时评...

去年11月，最强开源代码模型DeepSeekCoder亮相，大力推动开源代码模型发展。今年5月，最强开源MoE模型DeepSeekV2发布，悄然引领模型结构创新潮流。今天，全球首个在代码、数学能力上与GPT4Turbo争锋的模型，DeepSeekCoderV2，正式上线和开源。全球顶尖的代码、数学能力DeepSeekCoderV2沿用DeepSeekV2的模型结构，总参数236B，激活21B，在代码、数学的多个榜单上位居全球第二，介于最强闭源模型GPT4o和GPT4Turbo之间。国内第一梯...

机器学习是人工智能的一个重要分支，它使计算机能够通过数据学习并做出决策或预测，而不是通过明确的编程指令。主要的机器学习类型包括：1、监督学习（SupervisedLearning）：定义：在这种类型中，算法从标记的训练数据中学习，即每个样本都有一个对应的标签或结果。监督学习的目标是训练出一个模型，能够对新的、未见过的数据进行准确的预测或分类。就像学生通过例子学习，监督学习算法通过分析带有答案的练习题来学习。它的目...

前言本文基于Kaggle平台——洪水数据集的回归预测（文末附数据集），介绍一种基于CNNLSTM网络的回归预测模型。以下是数据集中各列的描述（包括功能名称的含义）：MonsoonIntensity（季风强度）：这一特征可能衡量该地区季风降雨的强度和频率，较高的值表示降雨强度更大，可能更频繁，这可能会导致更高的洪水风险。TopographyDrainage（地形排水）：反映地形的自然排水能力。更好的排水能力（可能由更高的分数表示）可能表明，由...

信息抽取中文开源大模型评测信息提取（IE）在自然语言处理（NLP）中扮演着至关重要的角色，它通过从非结构化文本中提取结构化信息，从而促进与依赖结构化数据的各种现实世界应用的无缝集成。深入探讨了主流中文开源LLMs在处理IE任务时的表现，特别是零样本条件下，即模型未针对特定任务进行微调。模型选择：共选择了5个大型语言模型（LLMs）进行实验：ChatGLM36B、Qwen7BChat和Qwen14BChat、Baichuan213BChat以及ChatGPT2。除了...

微软总部研究院机器学习理论组负责人万引大神SébastienBubeck联手2023新视野数学奖得主RonenEldan、2023新晋斯隆研究奖得主李远志、2020斯隆研究奖得主YinTatLee等人，在其论文《通用人工智能的火花：GPT4早期实验》中申明：“GPT4可被视作AGI（人工通用智能）的早期版本”。这项研究最近30天关注度极高，众多大佬争相转发。大神们做了非常专业的评测，虽然最后结论措辞偏向保守，但也实实在在认定了GPT4在AGI方向质的飞跃，同...

6月17日晚，著名生成式AI平台Runway在官网发布了，全新文生视频模型——Gen3Alpha。与Gen2相比，Gen3在生成视频的质量、色彩、饱和度、光影、文本语义还原、运镜、动作一致性、场景切换等实现大幅度提升。此外，Gen3和Sora、可灵、DreamMachine一样是个世界模型，具备模拟物理世界的能力。也就是说，其生成视频的物理效果，例如，下落、碰撞、触摸、风吹、生长、雨水等都非常逼真。值得一提的是，Runway的联合创始人曾在今年2月...

一张人像、一段音频参考，就能让霉霉在你面前唱碧昂丝的《Halo》。一种名为Hallo的研究火了，GitHub已揽星1k+。话不多说，来看更多效果：不论是说话还是唱歌，都能和各种风格的人像相匹配。从口型到眉毛眼睛动作，各种五官细节都很自然。单独拎出不同动作强度的比较，动作幅度大也能驾驭：单独调整嘴唇运动幅度，表现是这样婶儿的：有不少网友看过效果后，直呼这是目前最好的开源口型同步视频生成：这项工作由来自复旦大学、百...

随着5G的全球部署和6G标准的制定，移动网络的演进速度日益加快。在这一过程中，机器学习（ML）技术因其卓越的数据处理能力、洞察力和决策能力而成为智能移动网络的有效解决方案。但是传统的ML算法在处理复杂的网络任务时，往往受限于其算法的局限性和训练数据的质量与规模。与此同时，LLMs和GPTs在近年来展现出了在各种认知任务中接近人类水平的性能，但它们在基础任务中常常缺乏常识，因此更多地被视为人类的辅助工具。6月7日...

今天给大家介绍最近的一篇探索如何在更好地建模通道(channel)之间的相关性的多元时间序列文章。文章旨在解决通道独立(channelindependent)方法缺乏对通道之间相关性的利用，以及通道依赖(channeldependent)方法不够鲁棒的问题。这篇文章，提出了一种新颖的中心化结构传递不同通道的信息，相比于分布式结构如Attention，Mixer等，这种中心化的结构既降低了计算开销，而且提高了对于异常通道的鲁棒性，以更低的复杂度获得更好的性...

本文将深度探索LLM可解释性背后依赖的逻辑，并详细解释稀疏自动编码器对于提取LLM可解释性特征、增强模型的鲁棒性和提升效率方面的重要作用。Zephyra传说“在卢马里亚的神秘之地，古老的魔法弥漫在空气中。这里居住着以太狮鹫Zephyra。Zephyra拥有一个狮子的身体和一双鹰的翅膀，是掌握宇宙秘密的古老手稿《真理圣典》的受人尊敬的保护者。《真理圣典》隐藏在一个神圣的洞穴中，由Zephyra所保护。Zephyra有一双淡绿色的眼睛，她...

本文第一作者和通讯作者均来自上海算法创新研究院。其中，通讯作者李志宇博士毕业于中国人民大学计算机专业，并曾在阿里巴巴、小红书等互联网公司从事算法落地与研究工作，曾参与了包括千亿级商品知识图谱、用户图谱和舆情图谱的研发工作，累计发表论文四十余篇。李志宇当前在上海算法创新研究院大模型部门（由熊飞宇博士带领）负责整体的技术研发工作。研究院主页：https:www.iaar.ac.cn大语言模型（LLM）的迅速发展，引发了关...

当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到LLM的嵌入空间，然后使用自回归方式根据图像token预测答案。在这个过程中，模态的对齐是通过文本token隐式实现的，如何做好这一步的对齐非常关键。针对这一问题，武汉大学、字节跳动豆包大模型团队和中国科学院大学的研究人员提出了一种基于对比学习的文本token筛选方法（CAL），从文本中筛选出与图像高度相关的token，并...

让AI画漫画角色保持一致的新研究来了！创作的连环画效果belike：频繁切换主体、人物之间复杂的互动也能保持角色一致性：上述效果来自AutoStudio，是一个由中山大学和联想团队联合提出的无需训练的多智能体协同框架。AutoStudio采用基于大​语言模型的三个智能体来处理交互，并使用基于扩散模型的Drawer生成高质量图像。实验中，AutoStudio无论是在定量还是定性评估中都优于现有方法。AutoStudio长啥样？由于最先进的​T2I​生成...

GPT4o掀起一股全模态（Omnimodal）热潮，去年的热词多模态仿佛已经不够看了。要构建全模态智能，意味着能够理解任何模态并学习通用表示(UniversalRepresentations)。现在，港中文、中科院等提出了一种大规模的全模态预训练范式，称为多模态上下文MiCo（MultimodalContext），它可以在预训练过程中引入更多的模态，数据量，模型参数。借助MiCo，团队预训练的模型在多模态学习中表现出极为令人印象深刻的性能，在目前主流的三大类...

如何生成高难度、指令超复杂的视频呢？北大与快手AI有解了，他们提出新框架VideoTetris，就像拼俄罗斯方块一样，轻松组合各种细节在复杂视频生成任务中，超过了Pika，Gen2等一众商用模型。这个框架不仅能够直接增强现有模型的组合生成，还能够支持涵盖多复杂指令、多场景变更等更高难度的长视频生成。首次定义组合视频生成在文生图领域，RPG、Omost等项目已经实现了复杂的组合式多物体多场景图片生成。而在文生视频领域，组合生...

一、结论写在前面论文来自阿里巴巴。论文标题：BoostingLargescaleParallelTrainingEfficiencywithC4:ACommunicationDrivenApproach论文链接：​​https:arxiv.orgpdf2406.04594​​LLMs的出现促使了并行训练技术的采用，涉及部署数千个GPU来训练单一模型。不幸的是，论文发现当前的并行训练效率往往不理想，主要原因有两点。首先，硬件故障不可避免，导致训练任务中断。无法快速识别故障组件导致大量GPU资源的浪费。其次，由于...

一、结论写在前面论文来自MetaRealityLabs、FAR、Meta、HKUST、HKUST(GZ)论文标题：CRAGComprehensiveRAGBenchmark论文链接：​​https:arxiv.orgpdf2406.04744​​​检索增强生成（RetrievalAugmentedGeneration，RAG）最近作为一种有前景的解决方案出现，以缓解大型语言模型（LLM）在知识缺乏方面的不足。然而，现有的RAG数据集并未充分代表真实世界问答（QA）任务的多样性和动态性。为了弥合这一差距，论文引入了综合性RAG基...

昨天诞生的​​AI视频新霸主——LumaAI的DreamMachine​​，再次在整个互联网掀起高潮。网友们昨天还集体表示，要舍弃Pika和Runway了，DreamMachine最好！借着每个月免费生成三十次的羊毛，大家纷纷试用。但是，其中有不少翻！车！了！AI圈大佬奥特曼、老黄和Greg正一团和气地合影，下一秒Greg就突然变脸，一拳揍在奥特曼胸前。随后三人陷入缠斗模式，现场乱成一团。以及下面这个OpenAI曾经一团和气的大合影——经过Luma模型的...