AI.x社区

摘要:大型语言模型（LLMs）已经显著扩展，并逐渐融入各个领域。在机器人任务规划中，LLMs利用其先进的推理和语言理解能力，基于自然语言指令制定精准高效的行动计划。然而，对于需要与复杂环境交互的具体任务，仅限于文本的LLMs在与机器人视觉感知的兼容性方面往往面临挑战。本研究全面概述了LLMs和多模态LLMs在各种机器人任务中的新兴应用。此外，我们提出了一个利用多模态GPT4V增强具体任务规划的框架，通过结合自然语言指令...

“大模型学习的最终目的，就是提升模型的性能”在大语言模型技术中，怎么让大模型拥有更好的表现一直是一个值得思考的问题，研究者用了很多办法来提高大模型的输出质量，比如使用大规模高质量参数进行模型预训练和微调。后续又增加少样本和零样本学习以及提示学习等方法；总之，唯一的目的就是挖掘大模型的潜力，用最小的成本使得大模型性能最大化。而今天我们讨论的就是另一种方式——语境学习(ICL)。IncontextlearningInconte...

一、背景本文中我们继续介绍分布式训练中的张量并行（TensorParallelism，TP），包括AlexNet、Google、Facebook、NVIDIA以及ColossalAI的一系列TensorParallelism方案。涉及1DTP，2D和3DTP，也包含行切分和列切分等。这里说的TensorParallelism和ZeroDP以及PytorchFSDP中的模型切分方式不一样，ZeroDP和FSDP中的模型切分在实际使用的时候还会将相应的参数AllGather到当前设备，使用全部的参数进行计算。而TensorParallelism中的...

1.GMeLLo提出的背景1.1多跳问答多跳问答的难度往往比较大，因为不仅要追溯事实，还要聚合与串联事实。事实的来源可以是知识图谱、表格、自由格式文本，或者是这些来源的异构组合。随着大型语言模型的发展，基于提示的方法搭配可选的检索模块已成为处理多跳问答的常用手段，但以往多数工作侧重于静态信息库。1.2知识编辑知识编辑目前有两种主流方案：修改模型参数和保留模型参数。1.2.1修改模型参数可进一步细分为元学习和定位编...

时间序列数据具有内在的长程和短程依赖性，对分析应用提出了独特的挑战。虽然基于Transformer的模型擅长捕获长程依赖关系，但它们在噪声灵敏度、计算效率和与较小数据集的过度拟合方面存在局限性。本次的研究人员引入了一种新颖的时间序列轻量级自适应网络（TSLANet），作为各种时间序列任务的通用卷积模型。具体来说，利用傅里叶分析来增强特征表示并捕获长期和短期相互作用，同时通过自适应阈值来减轻噪声。此外还引入了交互...

自ChatGPT引领人工智能的新潮流以来，我们见证了大型语言模型（LLM）与私有数据结合的巨大潜力。这种结合不仅催生了功能强大的AI应用，也标志着AI专业能力的提升。然而，随着深入探究，我们发现传统的文本嵌入检索技术（Text2VecRAG）在处理知识库问答时仍存在局限。本文阐述如何通过图形RAG技术，有效填补这一空白，实现对知识库的深入挖掘和全面理解。1局部和全局问题文本嵌入检索技术让LLM应用能够稳定地根据知识库内容回答...

嘿，大家好！这里是一个专注于AI智能体的频道！今天和大家聊聊一个经典的，贝壳提出的RAISEAgent架构。除了架构之外，还包含一个全面的智能体训练框架，从数据选取到场景增强等等。FromLLMtoConversationalAgent:AMemoryEnhancedArchitecturewithFineTuningofLargeLanguageModels本文介绍了RAISE（通过Scratchpad和示例进行reasoning和acting），这是一种高级架构，可增强GPT4等大型语言模型(LLMs)与会话Agent的集成。RAISE是Re...

我们在探讨大模型应用的成败时，我们往往会聚焦于三个关键要素：模型本身的性能、支撑长期记忆能力的知识库，以及扩展执行能力的工具箱。企业级层面更多因素参考下图：感兴趣可以联系获取更多细节就为大模型构建记忆能力来讲，过去一年里我们的重点落在向量检索层面，其存储底层焦点就是向量数据库，曾一度爆发向量数据库大战。随着需求的复杂化，我们越来越清楚地意识到，大模型的记忆能力仅仅依赖向量数据库是不够的。在今年...

大模型在游戏开发领域扮演了重要角色，从AI机器人生成到场景搭建覆盖各个领域。但在游戏场景理解、图像识别、内容描述方面很差。为了解决这些难题，加拿大阿尔伯塔的研究人员专门开源了一款针对游戏领域的大模型VideoGameBunny（以下简称“VGB”）。VGB可以作为视觉AI助理，能够理解游戏环境并提供实时反馈。例如，在探索型的3A游戏中，可以帮助玩家识别关键物品或进行问答，帮助玩家能够更快地掌握游戏技巧，从而增强游戏的互...

比美国SB1047更疯狂的法案来了——AB3211。AB3211是美国加州在今年2月16日制定的一项专门针对文生图模型的法案，经过6次修订最近以62:0投票在州参议院通过。如果在立法会议结束前再次获得通过，9月30日之前将提交给州长GavinNewsom签署最终执行令。OpenAI、微软、Adobe等科技巨头和多数州议员都支持该法案，通过只是时间问题。但AB3211会对SD3、FLUX.1等知名开源文生图模型在应用、技术迭代方面造成巨大影响。例如，文生图模型...

文章链接：https:arxiv.orgpdf2408.15914​亮点直击CoRe只用于输出embedding和注意力图，不需要生成图像，可以用于任意提示。在身份保护和文本对齐方面表现出优越的性能，特别是对于需要高度视觉可变性的提示。除了个性化一般对象外，方法还可以很好地实现人脸个性化，与最近的三种人脸个性化方法相比，生成了更多保留身份的人脸图像。近年来，文本到图像的个性化生成技术取得了显著进展，能够针对用户提供的概念实现高质量且可...

文章链接：https:arxiv.orgpdf2408.16767git链接：https:liuff19.github.ioReconX亮点直击ReconX，一种新颖的稀疏视角3D场景重建框架，该框架将模糊的重建挑战重新定义为时间生成任务。将3D结构指导融入视频扩散模型的条件空间中，以生成3D一致的帧，并提出了一种基于置信度的3D优化方案（3DGS），以便在生成的视频基础上重建场景。大量实验表明，ReconX在各种真实世界数据集上在高保真度和通用性方面优于现有方法。3D场景重建...

本文介绍了如何利用ARIMA和GARCH等高级时间序列模型来发掘新的洞察力，并提高预测准确性。ChatGPT和Bard等大语言模型（LLM）的兴起已极大地改变了许多人的工作、交流和学习方式，这已不是什么秘密。但除了取代搜索引擎外，LLM还有其他应用。最近，数据科学家已重新改造LLM用于时间序列预测。时间序列数据在从金融市场到气候科学的各个领域无处不在。在人工智能进步的推动下，LLM正在彻底改变我们处理和生成人类语言的方式。本文...

作者Reilly整理星璇出品51CTO技术栈（微信号：blog51cto）这一研究对软件开发领域的法学硕士学位进行了评估，重点关注其解决错误的有效性，这是软件开发人员工作流程中的一项关键任务。大型语言模型(LLM)正在日益塑造软件开发的未来，为代码生成、调试和错误解决提供了新的可能性。这些人工智能驱动工具的最新进展促使人们更深入地研究它们的实际应用及其对开发人员工作流程的潜在影响。本文探讨了LLM在软件开发中的有效性，特...

论文链接：https:arxiv.orgpdf2408.05083工程主页：https:rishubhpar.github.ioPreciseControl.homegit链接：https:github.comrishubhparPreciseControl亮点直击首次提出将大型文本到图像（T2I）模型与StyleGAN2结合的方法，通过将T2I模型条件化在丰富的潜在空间上实现。使用单张肖像图像进行有效个性化的方法，使得在空间中进行细粒度的属性编辑，并通过文本提示实现粗略编辑。引入了一种通过链式扩散过程融合多个个性化模型的...

文章链接：https:arxiv.orgpdf2406.17396项目链接：https:lslrh.github.iosyncnoise.github.io​一句话亮点直击SyncNoise能够实现一致且高效的3D编辑，符合文本指令并保留编辑场景中的更多细节。今天和大家一起学习港理工、OPPO和StabilityAI联合发的一篇关于3D场景编辑的工作，主打一个一致且高效，视频demo非常赞，可以看看！基于文本的2D扩散模型在图像生成和编辑方面展示了令人印象深刻的能力。同时，这些2D扩散模型在3D编...

虹膜识别作为识别人类身份的特殊验证方法，已经在门禁监控、在线支付、飞机场等广泛应用。但在应用的过程中也面临一些挑战。例如，佩戴眼镜、隐形眼镜或是虹膜受到部分遮挡等情况可能会干扰虹膜图像的采集，进而影响识别的准确性。美国密歇根州立大学的研究人员对GPT4的虹膜识别能力进行了一系列评估，使用了零样本学习方法，在各种挑战条件下对模型进行综合测试，包括不同的数据集、呈现攻击、眼镜遮挡等。结果显示，GPT4对虹...

OpenAI联合创始人兼首席执行官SamAltman在社交平台宣布，与美国AI安全研究所达成合作协议，对于OpenAI未来的模型进行预发布测试。这也就是说，只有通过美国政府的各种安全测试，OpenAI才能发布领先的大模型。已经无法自行发布产品，无形之中会限制其技术的发挥。例如，OpenAI正在测试的“草莓”和“猎户座”在功能方面可能会受到影响。其实当前美国网络司令部司令、前国家安全局局长中增根加入董事会时，就已经盯上了OpenAI，现...

0、背景我们要把AI大模型当做人的大脑，因此调用AI大模型，相当于调用一个人，把AI大模型当人看，TA懂人话、TA说人话、TA会直接给出结果，但结果不一定正确。因此在AI大模型的推理基础上，通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细剖析下。1、大语言模型（LLM）大语言模型（LLM）是通过深度学习方法，利用庞大...

本文将介绍如何借助于Langflow的直观GUI界面来创建一个RAG聊天机器人的完整过程，期间将LLM与向量数据库集成以实现上下文驱动的响应。简介检索增强生成（RetrievalAugmentedGeneration，简称“RAG”）是一种自然语言过程，它涉及将传统检索技术与LLM（大型语言模型）相结合，通过将生成属性与检索提供的上下文相结合来生成更准确和相关的文本。最近，这种技术在聊天机器人开发中得到了广泛的应用，使公司能够通过使用其数据定制...