AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
Llamaindex推出workflow应对复杂LLM应用构建，以及技术实现从图（Graph）转向事件驱动（EDA）原因解析
同一天，LLM应用开发另一个代表产品Llamaindex也发布了其在此领域的新功能——workflow，进一步提升应用编排的能力。早在去年，Llamaindex在这方面已经有了动作，推出了QueryPipeline（详见：应用编排的未来是Pipeline，LlamaIndex开发预览版推出QueryPipeline，提升应用开发的灵活性），它是一个声明式设计，可以自定义整个查询流程为一个DAG（有向无环图）流程，支持从简单到复杂的不同服务流程。对于一般的RAG类...LLMEDAGraphMSRA古纾旸：2024年，视觉生成领域最重要的问题有哪些？
精华文章链接:https:arxiv.orgpdf2407.18290亮点直击概述了视觉生成领域中的各种问题。这些问题的核心在于如何分解视觉信号，其他所有问题都与这一核心问题密切相关，并源于不适当的信号分解方法。本文旨在引起研究人员对视觉信号分解重要性的关注。问题1：生成模型的目标是什么？在作者看来，生成模型的设计目的是“创造人们所设想的”。数字信号的生成需要经过三个里程碑：第一个里程碑是将用户的想法翻译成计算机可以理解的格式...视觉生成为什么最新的LLM使用混合专家(MoE)架构
原创本文详细介绍了混合专家(MoE)架构，该架构通过混合或融合不同的“专家”模型共同解决特定的问题。专业化的必要性医院有很多具有不同专长的专家和医生，他们擅长解决各自领域内的医疗难题。外科医生、心脏病专家、儿科医生等各类专家紧密合作，为患者提供了全面而个性化的医疗护理服务。同样，人们也可以将这一合作模式应用于人工智能领域。人工智能中的混合专家(MoE)架构被定义为不同“专家”模型的混合或融合，能够共同处理或...LLM人工智能大型语言模型小模型和开源正在成为AI发展的变数
原创编译丨诺亚出品51CTO技术栈（微信号：blog51cto）在IT行业，“精益”常用来描述追求更高效率和成本效益的流程，生成式AI也不例外。一些企业的AI系统运行成本高达数百万美元，并消耗大量电力，促使企业寻求更高效、精益的AI解决方案。企业自然倾向于借助公共云快速部署生成式AI，因其提供便捷的一站式服务。大型云服务商已从AI投资中获益。但使用云服务的成本有时会超过传统数据中心，尽管如此，企业仍在寻找有效降低成本的方法...AI小模型开源大模型技术细节——大模型之文本生成与文档总结
原创“大模型就是一个黑盒，盒子外面的人一直在雾里看花”我们一直在说大模型大模型，但大部分人都没深入研究过大模型的具体实现以及隐藏在大模型这个黑盒下的技术细节。思考个问题，根据要求让大模型生成一段文字和给大模型一个PDF文本，让它总结文本内容，这两种方式是同一种大模型吗？文本生成大模型和文档总结大模型很多人都简单的认为，生成文本的模型和进行文档总结的模型是一回事，都属于文本处理模型。因为从使用者的角度来...生成式AI人工智能应用大模型的分类——生成式大模型和判别式大模型联系与区别
原创“明白模型的类型，才能明白模型的应用”在学习机器学习的过程中，生成式模型和判别式模型是两个经典类型的模型，弄明白两者之间的联系与区别是一个非常重要的事情，也会加深对大模型的理解。那么什么是生成模型和判别模型呢？生成式模型和判别式模型的区别与联系生成式模型和判别式模型是两种不同的机器学习类型，它们之间具有不同的目标和应用场景，很重要的一点是不论生成式模型还是判别式模型，都是基于监督学习的机器学习...大模型生成式AI人工智能应用实践出真知：Agents 领域“一年打怪升级”的经验分享
原创 精华编者按：在你构建AIAgents时，是否曾遇到这些困扰：总是在简单任务上出错，从而让你有时会怀疑自己的技术水平？面对客户的需求，AIAgent表现得像个“笨蛋”，无法准确理解和执行指令？随着底层模型的更新，AIAgents的性能不升反降，让人手足无措？这些问题不仅影响了AIAgents的性能，甚至可能导致项目延期、成本超支，甚至失去客户的信任。在AI技术飞速🚀发展的今天，任何一个表现不佳的Agents都可能很快被市场淘汰。今天我们分...AI AgentsLLMsStability.ai开源3D模型，仅需0.5秒就能快速生成
著名开源大模型平台Stability.ai开源了3D生成模型——StableFast3D（以下简称“SF3D”）。用户通过图片仅需0.5秒就能快速生成高质量3D模型，还包括UV展开网格、材质参数、具有减少照明烘焙的反照率颜色，以及可选的四边形或三角形重网格等，这也是目前最快的3D生成模型。开源地址：https:github.comStabilityAIstablefast3dhuggingface：https:huggingface.costabilityaistablefast3d在传统的3D重建模型中，变换器通常输出较低...模型生成超越DiffEdit、SDEdit等6大编辑模型！字节等提出人像服饰、卡通表情编辑新SOTA！
精华文章链接：https:arxiv.orgpdf2407.20455亮点直击：一种数据生成技术，提供了具有更好身份和布局对齐的配对数据；一种多条件扩散模型，能够生成保留特征的结果，并在推理中提供准确的编辑mask指导；实现了最先进的人像编辑效果。现有的技术在进行人像编辑时面临挑战，难以保留主体特征（如身份）。本文提出了一种基于训练的方法，通过自动生成的配对数据来学习所需的编辑，同时确保保留未更改的主体特征。具体来说，本文设计了...模型生成如何拯救LoRA初始化？LoRA-GA：性能显著提升+收敛速度更快！
文章链接：https:arxiv.orgpdf2407.05000亮点直击提出了LoRAGA，一种新颖的LoRA初始化方法，通过近似低秩矩阵的梯度与全权重矩阵的梯度来加速收敛。确定了在非零初始化下的缩放因子，该因子确保适配器输出的方差不受适配器的秩和输入维度的影响。通过广泛的实验验证了LoRAGA，证明了与原版LoRA相比，其性能显著提升且收敛速度更快。具体而言，LoRAGA在T5Base的GLUE子集上比LoRA提高了5.69%，在Llama27B上在MTbench、GSM8K和Huma...模型训练阿里「轨迹可控版Sora」，告别「抽卡」，让视频生成更符合物理规律
目前，扩散模型能够生成多样化且高质量的图像或视频。此前，视频扩散模型采用UNet架构，主要侧重于合成有限时长（通常约为两秒）的视频，并且分辨率和纵横比受到固定限制。Sora的出现打破了这一限制，其采用DiffusionTransformer（DiT）架构，不仅擅长制作10到60秒的高质量视频，而且还因其生成不同分辨率、各种纵横比、且遵守实际物理定律的能力而脱颖而出。可以说Sora是DiT架构最有利的证明，然而，基于Transformer的扩散模型...视频生成AI如何检测并尽量减少AI模型中的幻觉？
原创我们几乎每天都会听到关于更广泛地成功实施AI工具的故事。随着ChatGPT、Midjourney及其他模型向公众开放，越来越多的人开始在日常生活中依赖AI。虽然机器学习算法很明显能够满足更具挑战性的需求，但它们还不够完美。AI频繁出现的幻觉问题阻碍它们成为人类最可靠的替代者。虽然对于普通用户来说，AI错误只是一笑了之的小故障，但对于业务流程来说，这种不可预测性可能导致各种后果，轻则失去客户信任，重则官司缠身。一些国家已...AI模型LLMAI幻觉Agent Planning大揭秘：轻松拿捏多计划选择！
在人工智能的世界里，我们经常面临一个挑战：如何让机器像人类一样，面对复杂任务时，能够生成多种可能的解决方案，并从中选择最优的计划呢？这正是“多计划选择”（MultiPlanSelection）要解决的问题。今天，咱们就来聊聊这个有趣的话题。首先，想象一下，如果我们的智能Agent面对一个复杂的问题，它可能会生成多个计划。但是，这些计划可能各不相同，甚至有些可能根本不可行。这时候，多计划选择就派上用场了。它包括两个主要...Agent智能节点亚马逊 RAG 新突破：REAPER 技术开启大型智能对话助手新境界
Rufus：亚马逊新一代智能购物助手今年2月份，亚马逊在新一代大语言模型和RAG技术的赋能下，推出了新的智能购物助手：Rufus。Rufus能够解答顾客关于购物需求、产品对比等问题，并基于这些信息提供建议，帮助顾客发现产品。Rufus采用了RAG（检索增强生成）框架，通过大型语言模型（LLM）结合一个或多个检索来源的证据来生成对顾客查询的回应。作为一个复杂的对话系统，Rufus覆盖了非常多的用户关心的领域，因此必须从庞大的数据存...亚马逊RAG智能LLM 推理的 Attention 计算和 KV Cache 优化：PagedAttention、vAttention 等
一、背景最近，SGLang引起了广泛关注，出现了许多“SGLang吊打vLLM和TRTLLM”的言论。不得不说，SGLang确实是一项非常出色的工作。与此同时，vLLM的性能问题和TRTLLM的易用性问题也广受诟病，但是在实际应用中，我们仍然需要保持理性。比如，已经使用了LMDeploy或TRTLLM，是否要在当前阶段切换到SGLang；SGLang在对应的场景是否一定有这么大的提升？不过，本文中并非要介绍SGLang，而是旨在探讨vLLM的基石——PagedAttention的...LLMKV计算OpenDevin：一个面向通用型Agent AI软件开发者的开放平台
一、结论写在前面Codehttps:github.comOpenDevinOpenDevinBenchmarkhttps:hf.cospacesOpenDevinevaluationSlackhttps:bit.lyOpenDevinSlack论文标题：OpenDevin:AnOpenPlatformforAISoftwareDevelopersasGeneralistAgents论文链接：https:arxiv.orgpdf2407.16741软件是论文人类拥有的最强大的工具之一；它使熟练的程序员能够以复杂而深刻的方式与世界互动。同时，得益于大型语言模型（LLMs）的...AI软件开发者一篇模块化RAG之最新全面系统性综述
RAG访问外部知识库增强了LLMs处理知识密集型任务的能力，随着应用场景需求的增加，RAG系统变得更加复杂。传统的RAG依赖于简单的相似性检索，面对复杂查询和变化多端的文本块时表现不佳：对查询的浅层理解、检索冗余和噪声。朴素RAG和高级RAG的案例。面对复杂问题时，两者都遇到了限制，难以提供令人满意的答案。尽管高级RAG通过分层索引、检索前和检索后的过程提高了检索精度，但这些相关文档并没有被正确使用。提出了一种新的...RAGLLMsRAG第一人称基础模型——情感与生理数据在AI中的应用
精华传统的基础模型，如ChatGPT和DallE，通常基于大量互联网数据进行训练。这些数据包括文本、图像和音频，通常通过公共数据存储库（如CommonCrawl）获取。尽管这些模型在生成内容方面表现出色，但它们缺乏对人类情感和生理反应的真实模拟。因此当前的基础模型只能在表面上近似人类行为，而无法深入理解和模拟人类的情感和生理状态。情感和生理状态在我们的决策和行为中起着核心作用。Damasio的体标记理论和Goel的系绳理性理论都强...AI模型Chat-GPT基于Llama3，为本地文件创建生成式AI搜索引擎
精华本文分享一个开源项目——一款创新的生成式搜索引擎，能够实现用户与本地文件的智能互动。此项目在微软Copilot等现有工具的基础上，推出了一种开放源代码的替代方案，旨在推动技术共享与创新。1系统设计为构建本地生成式搜索引擎或助手，需要几个组件：内容索引系统：负责存储本地文件内容，并配备信息检索引擎，以便高效地搜索与用户查询或问题最相关的文档。语言模型：用于分析选定的本地文档内容，并据此生成精炼的总结性答...Llama3AI搜索引擎“年轻的”IMO选手：扫荡“围棋”后，开始扫荡“数学”
原创谷歌称著名数学家蒂莫西·高尔斯爵士（SirTimothyGowers）和约瑟夫·迈尔斯（JosephMyers）博士使用国际海事组织（IMO）的官方规则对人工智能模型的解决方案进行了评分。该公司报告称，其组合系统获得了42分中的28分，略低于29分的金牌门槛。AlphaProof解决了两个代数问题和一个数论问题，而AlphaGeometry2解决了几何问题。这包括在比赛中最难的问题上获得满分，谷歌声称今年只有五名人类参赛者解决了这个问题。图表显示了Alpha...谷歌AlphaProof形式语言
