AI.x社区

1、RIG新模式上月，谷歌在Huggingface和Kaggle两大平台发布了两个新型开源模型：datagemmarag27bit与datagemmarig27bit。特别是其中的RIG（RetrievalInterleavedGeneration）检索交错生成模型，它开创了大型语言模型（LLM）与外部数据库交互的新方法。2、RAGVSRIG对于那些对大型语言模型（LLM）有所了解的同学来说，他们清楚LLM是通过训练数据来学习知识的。因此，在使用大型模型时，我们可能会遇到“幻觉”和“信息过时”等问...

我们常说机器学习三大件：模型、损失函数、优化算法。模型：线性回归、逻辑回归、SVM、CNN、RNN、LSTM、Transformer等等。损失函数：均方误差、交叉熵、对比损失。优化算法：梯度下降、Adam、RMSProp、牛顿法等等。其中损失函数通过衡量模型预测值和真实值之间的距离来评估模型的好坏，并将结果反馈给优化算法来调整模型参数，以此来最小化损失函数。常见的距离衡量包括：欧氏距离、曼哈顿距离、余弦相似度、KL散度等。均方误差...

AutoRetrieval是一种高级的RAG技术，它在启动向量数据库检索之前使用AgentLLM动态推断元数据过滤器参数和语义查询，而不是将用户查询直接发送到向量数据库检索接口（例如密集向量搜索）的朴素RAG。您可以将其视为查询扩展重写的一种形式，也可以将其视为函数调用的一种特定形式；后文我们将给出实现逻辑和代码。达到效果如下：用户输入GivemeasummaryoftheSWEbenchpaper推理结果改写查询:summaryoftheSWEbenchpaper过滤参数:{"f...

51CTOAI.x社区年度特别策划：1024程序员嘉年华开始啦！📢📢活动内容丰富🎁，包括征文大赛、学习打卡、直播周、技术沙龙等。👏👏参赛奖品丰厚🎁，不仅阳光普照奖人人皆可得，更有键鼠套装、小米定制礼盒、定制T恤等众多好礼等着你。👏👏👏👏还等什么，快来参加！同时祝愿朋友们：代码千行过，Bug不沾身！活动直通车：👉扫描下方二维码可立即报名参加活动，此外还可加入社群组团学习。可免费获得AIGC学习资料、线下技术沙龙席位、...

文章链接：https:arxiv.orgpdf2410.13863缩放法则（Scalinglaws）是大语言模型（LLMs）前所未有成功的基础。实证研究表明，在自回归模型中增加参数数量通常会显著提升性能，并在自然语言处理（NLP）任务中产生新的能力。这一实证关系激励了众多扩展语言模型的努力，导致许多高性能模型的发展。受到这一成功的鼓舞，许多尝试将自回归模型应用并扩展到计算机视觉领域，特别是在文本到图像生成等生成任务中。然而，这些模型生成的...

计算逻辑以各种形式出现，就像其他类型的逻辑一样。本文将重点介绍计算逻辑中的溯因逻辑编程（ALP）方法，并将论证ALP代理框架，它将ALP集成到代理的操作周期中，为解释性推理和规范性推理提供了一个具有说服力的模型。ALP代理框架作为一个解释性模型，它以生产系统为例；而作为一种规范性模型，它不仅包括经典逻辑，而且与传统的决策理论相一致。ALP代理框架的双重性性质包括直觉推理和审慎推理，将其归类为双过程理论。与其他...

今天给大家介绍一篇华东师范大学联合丹麦奥尔堡大学和松鼠AI发布的时间序列模型统一评测基准FoundTS，这是一个针对时间序列预测基础模型的基准测评框架，旨在利用不同领域和特征的数据集对不同的时间序列预测基础模型进行全面、公平的测评。该论文在统一评测结果的基础上，分析了现有时序预测基础模型的优缺点，并为基础模型的提升提出一些可行的方向。论文标题：FOUNDTS:COMPREHENSIVEANDUNIFIEDBENCHMARKINGOFFOUNDATIONMODEL...

这是网友Sumanth077在网络上的分享整理而成，他手把手教你如何从零开始用Python构建神经网络，过程清晰简洁，非常适合对初学者学习。Sumanth077介绍了一个包含两个层的神经网络结构：一个隐藏层和一个输出层。初始化在初始化阶段，需要设定层的大小、权重和偏置。同时，定义sigmoid激活函数及其导数。以下是相关的代码示例：前向传播前向传播是将输入数据通过神经网络，最终得到预测输出。这一步可是神经网络的心脏哦！反向传播...

Hi，这里是Aitrainee，欢迎阅读本期新文章。前两天，微软开源了Bitnet.cpp，这是一个重磅消息。简单来说，这意味着你现在可以在CPU上运行像72B甚至更大的超级大模型。原因是这些模型的精度已经降低到1位。Bitnet.cpp是一个超级高效的1位LLM推理框架，你可以在本地设备上以高达六倍的速度运行100B模型，并且能耗降低82.2%。Bitnet.cpp未来还会支持NPU和GPU，它在ARMCPU上能让模型速度提高1.37到5.07倍，同时能耗降低55.4%至70%。...

人工智能（AI）正在全球范围内改变着各个行业。据预测，美国AI市场将在2032年达到5940亿美元，从2023年开始以19%的复合年增长率增长。这一增长突出了AI在推动创新和效率方面的作用。如果你还没将AI应用到工作流程中，你可能错过了巨大的机会。AI对于保持竞争力至关重要。那些采用AI工具的人将站在技术进步的最前沿。在这篇文章中，我将向你展示5个提高了我工作效率的工具。你不需要是软件开发人员或IT专业人员才能使用这些工具...

出品51CTO技术栈（微信号：blog51cto）智能体元年是不是要来了？前脚Salesforce刚刚发布其Agentforce平台，CEOMarcBenioff还顺便踩了脚微软Copilot是Clippy2.0（微软90年代推出的广受诟病的Office助手）。图片一周的时间，微软就展开了反击，一口气宣布了两个大事！图片首先，CopilotStudio可以自己“捏”Agent了！这项功能将在下个月进行公开预览。其次，微软在Dynamics365中直接重磅推出十个新的商业智能体，用AIAgent赋能销...

论文笔记分享，标题：AstuteRAG:OvercomingImperfectRetrievalAugmentationandKnowledgeConflictsforLargeLanguageModels，来自googlecloud在RAG的时候，再好的recall+rerank+筛选策略，都会出现知识冲突，或query无关的候选知识的情况。文中称这种现象为“不完美检索”。通常，当检索精度不低于20%时，RAG是有帮助的。当检索精度接近0时，带有RAG的模型的表现要比没有RAG的模型差。添加更多的检索段落并不一定导致更好的性能，...

在当今人工智能飞速发展的时代，各种先进的大模型不断涌现，为我们的生活和工作带来了前所未有的变革。今天，让我们一同走进智谱AI推出的GLM4Plus大模型，深入了解它的独特魅力和强大功能。一、GLM4Plus简介智谱GLM团队重磅发布了新一代基座大模型——GLM4Plus。作为智谱全自研GLM大模型的全新版本，GLM4Plus充分彰显了智谱AI在通用人工智能领域的深度耕耘，有力地推动了大模型技术的独立自主创新。GLM4Plus是对以往模型持续优...

蓦然回首，从18年开始接触NLP（自然语言处理）开始，已经7年有余。机缘巧合的情形下，让自己和NLP有了第一次邂逅。从未接触NLP相关研究的自己，凭着年轻的热血投递搜狗的实习，那时候“不计后果”，不去考虑是否能行，直接“打火车”从天津到了北京，迎来人生的第一次（实习）面试。犹记得面试官的一个问题，“武汉市长江大桥”有几种分词方式，这个NLP中最典型的问题打开了我的NLP之路，实习的面试不难，当天面完当天又急匆匆...

生成式人工智能（GenAI）已经成为一种提高生产力和处理日常任务的强大工具。这种工具可以根据收到的输入创建新的内容，包括文本、图像甚至代码。虽然这种工具大有潜力，但有效地发掘它们的力量却需要一种特定的技能，即编写优秀提示的能力。提示是我们赋予AI工具的指令，以指导它们的输出。可以把提示看作是现代版的计算机代码，只不过用自然语言编写。就像传统编程一样，有一些有效和无效的方法来创建提示。不妨探索提示编写之...

整理言征出品51CTO技术栈（微信号：blog51cto）近日，OpenAI推出了canvas，这是一个可以在ChatGPT中直接编写和编码项目的新界面。许多人想知道它是否比ClaudeSonnet3.5Artifacts更好。答案是否定的。原因也很明显：canvas使用GPT4o，而4o模型的编码并不比ClaudeSonnet3.5好。虽然canvas为开发人员提供了一些很好的功能，例如用户协作和版本控制，但它缺乏代码预览等关键功能。许多人现在都在使用Claude创建他们的第一个应用程序...

编辑伊风怎么证明你是人类？或许这不是一个大问题，毕竟你只在网页验证的对话框弹出时，才短暂地感受过“确定自己是真人”的那种荒谬——不过，准备成为AI「世界之王」的奥特曼却不这么想。在他眼中，我们很快就会——或者可能已经——需要一种方法来区分人类与机器。所以，当他的OpenAI公司飞驰在追逐AGI的路上，一路狂踩着油门，高歌猛进的时候。奥特曼的另一家更少为人所知的初创公司，也在琢磨一个同样宏大、甚至更疯狂的AI...

今天我们介绍来自普林斯顿NLP组的一篇很有意思的博客，作者提出了大语言模型中自我发现的苏格拉底方法。一、核心内容（一）多智能体协作解决问题（有人类参与）智能体角色分配文中提到在涉及基于大型语言模型的智能体和人类参与的多智能体协作解决问题领域十分引人关注。通过给大型语言模型赋予如“分析员”或“校对员”等不同角色，能够有效利用它们各自的优势，增强整体解决问题的能力。这种角色分配就像是在一个团队中，每个...

大语言模型（LLMs），以及一般的语言模型（LMs），催生了一种新的编程方式，其中“指令”不再是明确的应用程序编程接口（APIs），而是像英语这样的自然语言语句。该领域（一个被称为提示工程的新领域）的专家通过组合特定的关键词、提示格式，甚至认知模型来对他们的语言模型进行编程——或者从语言模型中引出特定行为。过去两年表明，语言模型可以产生广泛的变革性影响，但在无缝集成到更大的程序环境方面存在固有局限。它们对...

文章链接：https:arxiv.orgpdf2310.15111项目链接：https:github.comapplemlmdm亮点直击提出了MatryoshkaDiffusionModels(MDM)，通过联合处理多个分辨率的输入，避免了级联或潜在扩散方法的复杂性，并引入了NestedUNet架构，嵌套不同尺度的特征和参数，提升了高分辨率生成的效果。采用了多分辨率损失，显著加速了高分辨率去噪的收敛速度，同时使用渐进式训练策略，从低分辨率开始逐步引入高分辨率内容，实现了训练成本和生成质...