AI.x社区

实时了解业内动态，论文是最好的桥梁，专栏精选论文​重点解读热点论文，围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调​或者LLM背后的基础模型​重新阅读。而最新科技（Mamba,xLSTM,KAN）​则提供了大模型领域最新技术跟踪。1.总览EAGLE2EAGLE2是一种加速大型语言模型（LLM）推理过程的技术。具体来说，它采用了基于推测性采样（speculativesampling）的技术，它通过引入动态草稿树和草稿模型的置...

今天智谱开了GLM49B的模型，不是6B，是9B。一共开源了四个模型，Base版本模型（GLM49B）、Chat版本模型（GLM49BChat和GLM49BChat1M）和多模态模型（GLM4V9BChat）。其中，模型为多语言模型除了支持中文、英文之外，还支持日语，韩语，德语在内的26种语言；Chat系列模型支持网页浏览、代码执行、自定义工具调用（FunctionCall）的能力；GLM4V9B模型支持中英双语多轮对话能力。Github:https:github.comTHUDMGLM4HF:https:huggingf...

1.为什么要提出KAG框架检索增强生成（RAG）技术得到广泛运用，利用外部检索系统，显著提升大语言模型的时效性，并大幅减少模型幻觉。为了进一步提升RAG在多跳任务、跨段落任务的性能，作者引入了知识图谱，包括GraphRAG、DALK、SUGRE、ToG2.0和HippoRAG等。尽管RAG及其优化方案已经解决了因知识缺乏和更新导致的大部分幻觉问题，但生成的文本仍然缺乏连贯性和逻辑性，难以产生正确且有价值的答案，尤其是在法律、医学和科学等需...

一、背景我们在之前的文章中简单介绍了SamplePacking相关的技术方案及涉及的问题，也在看其中Attention计算带来的各种挑战。机缘巧合正好看到一篇文章试图解决相应的Attention计算问题，这里进行简单介绍。对应的论文为：[2409.15097]EfficientlyDispatchingFlashAttentionForPartiallyFilledAttentionMasks相关工作可以参考我们之前的文章：​​SamplePacking：长序列LLM训练的Attention问题及优化​​​​SamplePacking综述：...

亲爱的读者，感谢您阅读到这里。正如我们探讨的语言模型一样，每个人都有自己的潜力和价值。认清自己，要么接受平凡，要么踏踏实实从0到1去积累资源。这世上从来没有简单的、一蹴而就的成功。无论是AI的发展还是个人的成长，都需要持续不断的努力和积累。如果您也对科技、人工智能和个人发展感兴趣，欢迎关注我们的微信公众号"AI帝国"。在这里，我们将为您揭示AI世界的帝国格局，带来最前沿的技术洞察和行业趋势，助您在这个AI...

2024年9月25日注定是一个不平凡的日子。这一天，被誉为ChatGPT教母的MiraMurati宣布离开OpenAI，瞬间在硅谷掀起轩然大波MiraMurati写给团队的信OpenAI的CEOSamAltman也对其表示了深深的谢意SamAltman表示感谢1988年12月16日，MiraMurati出生在阿尔巴尼亚的Vlore，一个依偎在亚得里亚海畔的小城。在这个以古老城堡和绵长海滩闻名的地方，年幼的Mira却对数学和科学产生了浓厚的兴趣。她的父母都是高中教师，在他们的熏陶下，Mira...

前言本文基于前期介绍的电力变压器，介绍一种基于TCNSENet+BiGRUGlobalAttention并行预测模型，以提高时间序列数据的预测性能。电力变压器数据集的详细介绍可以参考下文：电力变压器数据集介绍和预处理1模型整体结构模型整体结构如下所示:分支一：通过基于通道注意力机制(SENet)的TCN模型网络，来自适应地调整通道特征的权重，使模型能够自动学习到不同通道的重要性，提取了多特征序列中与预测目标相关的重要空间特征；分支二：...

编辑星璇出品51CTO技术栈（微信号：blog51cto）语义路由器是一种新模式，它使AIAgent能够为正确的任务选择正确的LLM，同时减少其对LLM的依赖。新兴的智能体Agent工作流程模式严重依赖LLM来执行推理和决策。每个Agent在任务执行期间多次调用LLM。对于由多个Agent组成的工作流，调用次数呈指数级增长，从而导致成本和延迟。有各种具有不同特性和功能的语言模型，例如小型语言模型、多模态模型和专门构建的特定于任务的模型。Agent...

在科技迅猛发展的当下，人工智能（AI）技术如同汹涌的浪潮，迅速扩展到我们生活的各个角落，教育领域更是其中的受益者。AI技术的广泛应用，为教育带来了翻天覆地的变革，极大地提升了教育的效率与质量。一、个性化学习领域（一）智能辅导系统AI技术可通过深度分析学生的学习数据与行为模式，为学生量身定制个性化的学习内容与建议。智能辅导系统能够依据学生的学习进度和独特兴趣，灵活调整学习难度与课程内容。如此一来，每个...

嘿，Java开发人员们，有个重大好消息要告诉你们：Spring如今已正式支持通过SpringAI模块来构建AI应用程序。在本教程中，我们将使用SpringBoot、React、Docker以及OpenAI来构建一个聊天机器人的应用程序。此应用程序能够让用户与由AI驱动的聊天机器人进行交互，可以向其提出问题，并实时获取回复。文中提到的全部源代码已在GitHub存储库中予以提供。欢迎给它加星标，然后搬运该源代码库进行尝试体验。为了让你对所要构建的内容有...

Meta开源了首个多模态大模型Llama3.2，这是Llama3系列的一次重大升级，一共有4个版本。Llama3.21B、3B是整个系列最轻量级的模型，适合边缘设备和移动应用程序的检索和摘要，可用于个人信息管理和多语言知识检索等，支持128k标记的上下文长度，可在手机、平板电脑等设备中使用。值得一提的是，这两款模型在发布时便对高通和联发科的硬件进行了适配，并针对Arm处理器进行了优化，广泛的兼容性将加速其在各种移动和物联网设备中的...

美国加州州长GavinNewsom在今天凌晨正式否决——SB1047法案！值得一提的是，过去30天Gavin一共签署了17个关于监管大模型、生成式AI安全使用的法案，唯独否决了1047，看来他也不是一个糊涂人。在这个积极否决的过程中，AI界泰斗吴恩达、图灵奖获得者YannLeCun、斯坦福教授李飞飞等发挥了重要作用。尤其是吴恩达，曾多次在公开场合呼吁科技人士抵制该法案功劳非常大。对于全球开发者来说今天也是个重要的日子，可以继续使用Meta、...

数据集是大模型竞争的关键要素之一，AI大模型的突破得益于高质量数据的发展。训练大模型需要大规模、高质量、多模态的数据集，通常需要从各个领域和多个数据源收集数据，这些数据可以是文本、图像、语音、视频等多种形式。大语言模型训练使用的数据集规模爆发式增长。从2018年GPT1数据集约为4.6GB，2020年GPT3数据集达到了753GB，而ChatGPT的数据集为超万亿单词的人类语言数据集（约45TB）。OpenAI并没有公开训练ChatGPT的相关...

VARAG（视觉增强检索和生成）：是一种视觉优先的RAG引擎，强调基于视觉的检索技术。它通过视觉语言模型集成视觉和文本数据，增强了传统的检索增强生成(RAG)系统。🚀支持的检索技术VARAG支持多种检索技术，针对不同用例进行了优化，包括文本、图像和多模式文档检索。以下是支持的主要技术：简单RAG（带OCR）​简单RAG（检索增强生成）是一种高效而直接的方法，用于从文档中提取文本并将其输入到检索管道中。VARAG通过Docling整合...

随着大型语言模型（LLMs）的快速发展，医学领域的应用也取得了显著进展。但是大多数现有的医学语言模型主要集中在英语语言环境中，限制了其在非英语国家和地区的应用潜力。为了填补这一空白，来自上海交大和上海人工智能实验室的研究团队研发了一个开源的、多语言的医学语言模型，旨在为全球多语言用户提供高质量的医学支持。这个医学模型的主要贡献包括三个方面。研究团队构建了一个名为MMedC的大规模多语言医学语料库，包含约...

什么是LangChain？LangChain是一个用于开发基于语言模型的应用程序的框架。我们相信，最强大和最有差异化的应用程序不仅会通过API调用语言模型，而且还会：数据感知：将语言模型连接到其他数据源自主：允许语言模型与其环境交互因此，LangChain框架的设计目标是使这些类型的应用程序成为可能。LangChain框架提供了两个主要的价值主张：组件：LangChain提供了与语言模型工作所需的组件的模块化抽象。LangChain还有这些抽象的实现...

今天给大家介绍一篇普林斯顿大学提出的时间序列大模型工作，是首个基于MoE的百万级别参数时间序列大模型，将时序大模型参数量扩展到2.4billion的水平，在多个数据集上取得了显著优于其他时间序列大模型的效果。论文标题：TIMEMOE:BILLIONSCALETIMESERIESFOUNDATIONMODELSWITHMIXTUREOFEXPERTS下载地址：https:arxiv.orgpdf2409.16040v11、背景时间序列大模型是目前的一个研究热点，很多工作都利用大量的时间序列数据训练专属于...

Blaze是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速SparkSQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深入剖析blaze的技术原理、实现细节及在快手实际生产环境中的真实表现。一、研究背景当下，Spark的重要发展方向之一是通过向量化执行进一步提升性能。向量化执行的思想是将算子的执行粒度从每次处...

如今我们身处内容生产的3.0时代，有了AI技术的加持，内容生产的形式或者门槛进一步拉低，将有望重塑整个内容生产的态势。因此，当视频和AI相结合的时候，会有一个什么样的发展动向，这是我们需要思考的一个问题。传统的视频内容生产的形式，主要分为这四个环节：视频创意、视频脚本、视频素材、视频剪辑。那么，在整个视频的生产链路中，AI能在哪个环节去做助力或改造呢？两年前我们开始研发“度加”产品，它的定位是做一个一站...

1.视频生成挑战与机遇我们首先来看看，国际酒店视频生成所遇到的挑战。随着AIGC技术的发展，我们关注其在实际业务中的应用。我们认识到AIGC已具备生成视频的能力，且我们的业务对此有相应的需求。因此，我们首先确定了使用AIGC生成视频的场景。接下来，我们考虑如何将视频制作工程化，并确保视频质量。回到视频本身，目前其核心元素有两点：文案和图片。我们需要审视现有的文案和图片资源，通过组织这些内容生成视频，并以赋能...