AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
超越静态管道：使用LlamaIndex增强人工智能代理
原创本文使用LlamaIndex的查询引擎工具和函数工具构建人工智能代理，并演示如何有效地集成和利用这些工具。基本的检索增强生成(RAG)数据管道通常依赖于硬编码的步骤，每次运行时都遵循预定义的路径。这些系统没有实时决策，也不会根据输入数据动态调整动作。这种限制会降低在复杂或不断变化的环境中的灵活性和响应性，凸显了传统RAG系统的一个主要弱点。LlamaIndex通过引入代理解决了这个限制。代理超越了查询引擎，因为它...人工智能LlamaIndexLLM开源模型，是全村希望还是智商税？
原创嘉宾郭炜、沈旸、程戈主持薛彦泽整理李美涵大模型的场域，被开闭源自动地划分为两个阵营。自此，开闭源之争的硝烟一直盘旋在大模型的上空。从奥特曼颇为无力的辩称：OpenAI的Open指的是人工智能成果的广泛共享，而非模型的开源。到李彦宏直截了当的断言：开源模型可能是一种“智商税”，随着时间的推移，开源模型只会越来越落后。开源模型在商业模式上的断裂及性能的落后一直饱受诟病。然而，Llama3.1的横空出世给开源注入了强...开源模型智商税LLMs、MLLMs等领域的模型合并：方法、理论、应用与机遇
精华一、结论写在前面论文标题：ModelMerginginLLMs,MLLMs,andBeyond:Methods,Theories,ApplicationsandOpportunities论文链接：https:arxiv.orgpdf2408.07666项目链接：https:github.comEnnengYangAwesomeModelMergingMethodsTheoriesApplications模型合并是机器学习社区中一种高效的赋能技术，无需收集原始训练数据，也不需要昂贵的计算。随着模型合并在各个领域的日益普及，全面理解现有的模型合并技术变得至...LLMs模型合并多模型协作增强模型推理能力
原创01、CorexPushingtheboundariesofcomplexreasoningthroughmultimodelcollaborationCorex：通过多模型协作推动复杂推理的边界摘要：大型语言模型（LLMs）正以前所未有的速度发展，并在拥有世界知识的自然语言处理（NLP）领域展现了相当的能力。受益于超大规模的训练语料库，单一的LLM能够胜任典型的NLP任务。然而，其在执行复杂任务时的表现仍受到其内部表示的局限性约束。为进一步突破这一边界，我们引入了Corex，这是一套将LLM...多模型协作大模型在机器人领域的应用：机遇、挑战与前景
原创 精华摘要:大型语言模型（LLMs）已经显著扩展，并逐渐融入各个领域。在机器人任务规划中，LLMs利用其先进的推理和语言理解能力，基于自然语言指令制定精准高效的行动计划。然而，对于需要与复杂环境交互的具体任务，仅限于文本的LLMs在与机器人视觉感知的兼容性方面往往面临挑战。本研究全面概述了LLMs和多模态LLMs在各种机器人任务中的新兴应用。此外，我们提出了一个利用多模态GPT4V增强具体任务规划的框架，通过结合自然语言指令...大模型机器人大模型学习范式之——语境学习(In-context learning)
原创“大模型学习的最终目的，就是提升模型的性能”在大语言模型技术中，怎么让大模型拥有更好的表现一直是一个值得思考的问题，研究者用了很多办法来提高大模型的输出质量，比如使用大规模高质量参数进行模型预训练和微调。后续又增加少样本和零样本学习以及提示学习等方法；总之，唯一的目的就是挖掘大模型的潜力，用最小的成本使得大模型性能最大化。而今天我们讨论的就是另一种方式——语境学习(ICL)。IncontextlearningInconte...大模型人工智能提示词大规模分布式 AI 模型训练—张量并行
一、背景本文中我们继续介绍分布式训练中的张量并行（TensorParallelism，TP），包括AlexNet、Google、Facebook、NVIDIA以及ColossalAI的一系列TensorParallelism方案。涉及1DTP，2D和3DTP，也包含行切分和列切分等。这里说的TensorParallelism和ZeroDP以及PytorchFSDP中的模型切分方式不一样，ZeroDP和FSDP中的模型切分在实际使用的时候还会将相应的参数AllGather到当前设备，使用全部的参数进行计算。而TensorParallelism中的...AI模型训练GMeLLo：结合知识图谱的 LLM 多跳问答技术，效果显著提升
精华1.GMeLLo提出的背景1.1多跳问答多跳问答的难度往往比较大，因为不仅要追溯事实，还要聚合与串联事实。事实的来源可以是知识图谱、表格、自由格式文本，或者是这些来源的异构组合。随着大型语言模型的发展，基于提示的方法搭配可选的检索模块已成为处理多跳问答的常用手段，但以往多数工作侧重于静态信息库。1.2知识编辑知识编辑目前有两种主流方案：修改模型参数和保留模型参数。1.2.1修改模型参数可进一步细分为元学习和定位编...GMeLLoLLM知识图谱TSLANet：时间序列模型的新构思
时间序列数据具有内在的长程和短程依赖性，对分析应用提出了独特的挑战。虽然基于Transformer的模型擅长捕获长程依赖关系，但它们在噪声灵敏度、计算效率和与较小数据集的过度拟合方面存在局限性。本次的研究人员引入了一种新颖的时间序列轻量级自适应网络（TSLANet），作为各种时间序列任务的通用卷积模型。具体来说，利用傅里叶分析来增强特征表示并捕获长期和短期相互作用，同时通过自适应阈值来减轻噪声。此外还引入了交互...TSLANet时间序列模型一文彻底搞懂GraphRAG
自ChatGPT引领人工智能的新潮流以来，我们见证了大型语言模型（LLM）与私有数据结合的巨大潜力。这种结合不仅催生了功能强大的AI应用，也标志着AI专业能力的提升。然而，随着深入探究，我们发现传统的文本嵌入检索技术（Text2VecRAG）在处理知识库问答时仍存在局限。本文阐述如何通过图形RAG技术，有效填补这一空白，实现对知识库的深入挖掘和全面理解。1局部和全局问题文本嵌入检索技术让LLM应用能够稳定地根据知识库内容回答...GraphRAGLLM知识库Agent的进化：RAISE如何让AI更聪明？
嘿，大家好！这里是一个专注于AI智能体的频道！今天和大家聊聊一个经典的，贝壳提出的RAISEAgent架构。除了架构之外，还包含一个全面的智能体训练框架，从数据选取到场景增强等等。FromLLMtoConversationalAgent:AMemoryEnhancedArchitecturewithFineTuningofLargeLanguageModels本文介绍了RAISE（通过Scratchpad和示例进行reasoning和acting），这是一种高级架构，可增强GPT4等大型语言模型(LLMs)与会话Agent的集成。RAISE是Re...AgentRAISEAI大模型的“记忆”不应仅仅只依靠向量数据库，mem0是一个很好的“融合架构”实践方向
我们在探讨大模型应用的成败时，我们往往会聚焦于三个关键要素：模型本身的性能、支撑长期记忆能力的知识库，以及扩展执行能力的工具箱。企业级层面更多因素参考下图：感兴趣可以联系获取更多细节就为大模型构建记忆能力来讲，过去一年里我们的重点落在向量检索层面，其存储底层焦点就是向量数据库，曾一度爆发向量数据库大战。随着需求的复杂化，我们越来越清楚地意识到，大模型的记忆能力仅仅依赖向量数据库是不够的。在今年...大模型RAG检索专用于理解游戏场景的开源大模型-VideoGameBunny
大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。VGB可以作为视觉AI助理，能够理解游戏环境并提供实时反馈。例如，在探索型的3A游戏中，可以帮助玩家识别关键物品或进行问答，帮助玩家能够更快地掌握游戏技巧，从而增强游戏的互...开源模型噩耗！SD3、FLUX.1等开源文生图模型，可能将无法使用
比美国SB1047更疯狂的法案来了——AB3211。AB3211是美国加州在今年2月16日制定的一项专门针对文生图模型的法案，经过6次修订最近以62:0投票在州参议院通过。如果在立法会议结束前再次获得通过，9月30日之前将提交给州长GavinNewsom签署最终执行令。OpenAI、微软、Adobe等科技巨头和多数州议员都支持该法案，通过只是时间问题。但AB3211会对SD3、FLUX.1等知名开源文生图模型在应用、技术迭代方面造成巨大影响。例如，文生图模型...开源开发兼顾身份保护和文本对齐！中山大学等提出CoRe：任意提示的文本到图像个性化生成！
精华文章链接：https:arxiv.orgpdf2408.15914亮点直击CoRe只用于输出embedding和注意力图，不需要生成图像，可以用于任意提示。在身份保护和文本对齐方面表现出优越的性能，特别是对于需要高度视觉可变性的提示。除了个性化一般对象外，方法还可以很好地实现人脸个性化，与最近的三种人脸个性化方法相比，生成了更多保留身份的人脸图像。近年来，文本到图像的个性化生成技术取得了显著进展，能够针对用户提供的概念实现高质量且可...图像生成AI高保真+通用！视频扩散模型加持，稀疏视图重建任意场景！清华&港科大发布ReconX
文章链接：https:arxiv.orgpdf2408.16767git链接：https:liuff19.github.ioReconX亮点直击ReconX，一种新颖的稀疏视角3D场景重建框架，该框架将模糊的重建挑战重新定义为时间生成任务。将3D结构指导融入视频扩散模型的条件空间中，以生成3D一致的帧，并提出了一种基于置信度的3D优化方案（3DGS），以便在生成的视频基础上重建场景。大量实验表明，ReconX在各种真实世界数据集上在高保真度和通用性方面优于现有方法。3D场景重建...模型框架用时间序列语言模型彻底改变预测分析现状
原创本文介绍了如何利用ARIMA和GARCH等高级时间序列模型来发掘新的洞察力，并提高预测准确性。ChatGPT和Bard等大语言模型（LLM）的兴起已极大地改变了许多人的工作、交流和学习方式，这已不是什么秘密。但除了取代搜索引擎外，LLM还有其他应用。最近，数据科学家已重新改造LLM用于时间序列预测。时间序列数据在从金融市场到气候科学的各个领域无处不在。在人工智能进步的推动下，LLM正在彻底改变我们处理和生成人类语言的方式。本文...大语言模型LLM时间序列模型我们对OpenAI 模型进行了软件开发基准测试评估
原创作者Reilly整理星璇出品51CTO技术栈（微信号：blog51cto）这一研究对软件开发领域的法学硕士学位进行了评估，重点关注其解决错误的有效性，这是软件开发人员工作流程中的一项关键任务。大型语言模型(LLM)正在日益塑造软件开发的未来，为代码生成、调试和错误解决提供了新的可能性。这些人工智能驱动工具的最新进展促使人们更深入地研究它们的实际应用及其对开发人员工作流程的潜在影响。本文探讨了LLM在软件开发中的有效性，特...OpenAI模型LLMT2I与StlyeGAN2首次联手！PreciseControl:单肖像生成精细个性化图像！
论文链接：https:arxiv.orgpdf2408.05083工程主页：https:rishubhpar.github.ioPreciseControl.homegit链接：https:github.comrishubhparPreciseControl亮点直击首次提出将大型文本到图像（T2I）模型与StyleGAN2结合的方法，通过将T2I模型条件化在丰富的潜在空间上实现。使用单张肖像图像进行有效个性化的方法，使得在空间中进行细粒度的属性编辑，并通过文本提示实现粗略编辑。引入了一种通过链式扩散过程融合多个个性化模型的...模型框架港理工&OPPO&Stability AI联合发布一致且高效的3D场景编辑方法——SyncNoise
文章链接：https:arxiv.orgpdf2406.17396项目链接：https:lslrh.github.iosyncnoise.github.io一句话亮点直击SyncNoise能够实现一致且高效的3D编辑，符合文本指令并保留编辑场景中的更多细节。今天和大家一起学习港理工、OPPO和StabilityAI联合发的一篇关于3D场景编辑的工作，主打一个一致且高效，视频demo非常赞，可以看看！基于文本的2D扩散模型在图像生成和编辑方面展示了令人印象深刻的能力。同时，这些2D扩散模型在3D编...3D模型
