AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
对于Advanced RAG系统，你不得不知道的三个阶段优化技巧
原创我阅读了一篇有关"AdvancedRAG"的论文，在阅读这篇论文后，我发现其中的一些概念和技术具有很高的实用价值。接下来，我将结合我在公司的实践经验，分享以下RAG系统的三个阶段的优化：预检索和数据索引技术检索技术检索后处理预检索和数据索引技术使用LLM增加信息密度如果来⾃异构数据源（例如PDF、抓取的⽹络数据、⾳频记录）的⾮结构化数据没有经过特定处理，信息密度比较低下，包含不相关的信息和或噪⾳，或者有很多信息重复...RAGGraphRAG与传统RAG怎么选？二者的融合方案是什么
原创
社区头条最近工作比较忙，一直在重构公司现有的RAG推荐系统。在给GraphRAG提交了几个PR并成功合并后，暂时没有继续对GraphRAG做出更多贡献。然而，最近同事和粉丝纷纷私信我，他们最常问的问题有："什么时候应该使用GraphRAG？"，"在哪些场景下应该使用传统的RAG"以及"我们目前在公司使用的是传统RAG，那要如何与GraphRAG相结合呢？"。为了系统地解答这些问题，我决定写一篇文章，对这些问题进行详细的探讨。我将先从多个方面解释Grap...GraphRAGRAG自回归和Rectified Flow完美融合统一多模态理解和生成！DeepSeek&北大等开源JanusFlow
论文链接：https:arxiv.orgpdf2411.07975github链接：https:github.comdeepseekaiJanus亮点直击统一多模态框架：提出JanusFlow，一个同时处理图像理解和文本到图像生成任务的统一模型，解决了任务分离带来的架构复杂性问题。创新优化策略：采用任务解耦和表示对齐两大关键策略，提高理解与生成任务的独立性与语义一致性。卓越性能表现：在多模态理解与文本到图像生成基准测试中超越现有专用模型和统一模型，取得领先成绩。紧凑...模型生成AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式
原创编者按：未来我们与计算机的交互方式将发生怎样的变革？当AI能像人类一样自如地操控电脑和手机，我们的工作方式会有什么改变？本文深入剖析了Anthropic、微软和苹果三大科技巨头在突破这一瓶颈上的最新进展。通过解读他们各自独特的技术路线——从Anthropic采用像素计数方式实现精准导航，到微软将界面解析为结构化数据，再到苹果专注于移动端的多模态交互方案，文章为我们展现了AI驱动屏幕交互的未来图景。作者TulaMasterman编...AILLMsAI AgentsAI Agent大爆发！微软刚刚发布大量商用AI Agent，全民智能体！
今天凌晨，微软在芝加哥召开“Microsoftignite2024”全球开发者大会，AIAgent成为本次大会的重点。微软发布的这些AIAgent包括简单易用的开发、维护一站式平台AzureAIFoundry、AzureAIAgent，同时也有集成在Microsoft365、Dynamics365等主打产品。这体现出了微软力推AIAgent商业化的决心。这些AIAgent的基础模型全部由OpenAI的GPT4o、o1提供技术支持，可视化操作界面简单易用，没有编程经验的业务人员也能快速完成开发，同时内置...智能体生成AdaBoost分类器完全图解
原创 社区头条本文将通过完整的源码与图解方式向你展示AdaBoost算法运行逻辑，并指出其优点与不足，还将其与随机森林算法进行对比分析。简介每个人都会犯错，即使是机器学习领域最简单的决策树也存在这个问题。AdaBoost（自适应增强）算法不会忽略这些错误，而是会做一些不同的事情：它会从这些错误中学习（或适应）以变得更好。与一次生成多棵树的随机森林不同，AdaBoost算法从一棵简单的树开始，并识别它错误分类的实例。然后，它会构建新...AdaBoost机器学习算法GraphRAG新增文件对已有知识库影响有多大？缓存又是何时失效？一文带你探究到底
原创在使用LLM应用时，我们经常会遇到需要向知识库中添加新文件的需求。传统的RAG通过对chunk进行embedding来处理这种情况，并且新文件的加入不会影响之前生成的chunkembedding。但是，GraphRAG的处理方式有所不同。由于其索引过程涉及多个pipeline阶段，因此可能会产生一些问题：当新文件加入时，是否需要对已有的文件重新进行索引？缓存在这个过程中起到了什么作用？哪些workflow需要重做？带着这些问题，我们来一探究竟。GraphRA...知识图谱GraphRAGRAGRAG工作流哪种组合效果最佳？深入探究RAG领域最佳实践
原创检索增强型生成（RAG）技术已被证明在整合最新信息、减少错误想象以及提升回应质量方面非常有效，特别是在特定领域中。虽然已经提出了许多旨在通过查询依赖的检索来增强大型语言模型的RAG方法，但这些方法仍然受到其复杂实现和延长响应时间的影响。通常，一个RAG工作流涉及多个处理步骤，每个步骤都可以以不同的方式执行。那么哪些处理步骤的组合能起到好的效果呢？今天给大家分享一篇相关的论文：RAG领域的最佳实践[1]。1.介...RAGLLM大模型Omnivision-968M：最小多模态模型，为边缘设备而生！
原创 精华最近在HuggingFace上有一个开源多模态模型引起了广泛关注：Omnivision968M。这款模型以其不到1B参数量的小巧体积（仅968M参数量）脱颖而出，成为目前市场上最小的视觉语言模型之一。Blog:https:nexa.aiblogsomnivisionModel:https:huggingface.coNexaAIDevomnivision968MOmnivision968M🚀Omnivision968M是由NexaAI这家创业公司推出（与国内做CMOS闻名的同名半导体企业Omnivision无关）。NexaAI的愿景是打造先进的端...多模态模型【技术前沿】FlashAttention-2：深度学习中的高效注意力机制新突破
一、引言在深度学习领域，尤其是自然语言处理和计算机视觉任务中，Transformer模型凭借其强大的性能已成为主流架构。然而，Transformer模型中的注意力机制虽然有效，但往往伴随着高昂的计算成本和内存消耗。为了解决这一问题，研究人员不断探索新的方法以优化注意力机制的性能。近期，FlashAttention2的提出为这一领域带来了新的突破。本文将详细介绍FlashAttention2，探讨其如何在保持精确性的同时，实现快速且内存高效的注意...深度学习性能应用前景o1的风又吹到多模态，直接吹翻了GPT-4o-mini
开源LLaVAo1：一个设计用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVAo1独立地参与到总结、视觉解释、逻辑推理和结论生成的顺序阶段。LLaVAo1超过了一些更大甚至是闭源模型的性能，例如Gemini1.5pro、GPT4omini和Llama3.290BVisionInstruct。基础模型与LLaVAo1的比较。基础模型Llama3.211BVisionInstruct在推理过程中有明显的缺陷，整个推理过程中出现了几个错误。相比之下，LLaVAo1首先概述问题，从图像中解释相关...o1GPT视觉解释解密心智理论：从人类社会到人工智能的集体智慧提升之路
精华 社区头条集体智慧（CollectiveIntelligence，CI）在许多领域都扮演着至关重要的角色。无论是在经济学、进化理论，还是在神经网络和社会性昆虫的研究中，集体智慧都展现出了其广泛的应用前景。在经济学中，市场行为往往可以被视为一种集体智慧的表现，个体的决策汇聚成市场的集体行为，这种现象在信息传播、价格形成等方面尤为明显。在进化理论中，集体智慧则体现在物种的协同进化过程中，例如蚂蚁和蜜蜂的群体行为，这些社会性昆虫通过...人工智能优化群体系统LangChain-RAG必备：向量数据库如何CRUD
社区头条今天我将带领大家，以最为基础的CRUD入手来看看向量数据库应该如何使用。考虑到目前市面上的向量数据库众多，每个数据库的操作方式也无统一标准。「本文将基于LangChain提供的VectorStore类中的统一操作方法，以chroma向量数据库作为示例进行演示。」向量数据库新增LangChain的VectorStore类是一个通用的向量数据库的接口，它可以对接不同的底层向量数据库，如chroma、faiss、annoy等，实现统一的操作方法和API。VectorStore类...LangChainCRUD数据库2024时序预测都有哪些经典工作—总结篇
在这个系列里，圆圆会带大家梳理2024年时间序列预测领域的经典工作，涉及多个优化方向。在这一节里，会为大家整体介绍2024年的时间序列一些具有突破性进展的领域。后续章节将持续在知识星球中更新，深入解读和串联这些领域的相关工作。1.时间序列基础模型2024年是时间序列预测与大模型深度结合的元年，涌现了很多时间序列基础模型和大模型中建模方法在时间序列预测的应用。一方面，今年出现了很多类型的时间序列基础模型，希望...时序预测LLM扩散模型对话华为云马会彬：AI原生应用变革，本质上是一场「从1到 0」的创新
社区头条嘉宾马会彬编辑云昭出品51CTO技术栈（微信号：blog51cto）进入2024年，业界对于生成式AI的注意力开始转向应用层。AI编程领域的Cursor、AI生成视频领域的可灵、自动驾驶领域的Robotaxi等，都取得了很大的突破。据有关媒体报道，2024年创投界在AI应用层上的投资规模整体超过了模型层。这种转变的背后，折射出业界对于大模型的认知发生了新变化。为什么AI应用会成为今年的焦点？华为云高级技术专家马会彬对此表示，“这背后是因为...华为云马会彬AINano-graphrag: 轻量级、灵活的 GraphRAG 实现
微软提出的GraphRAG很有效，但是官方实现和使用都很复杂，不易修改和定制。近日，网络上出现一个国人开发的更简洁、易用且高度可定制的版本实现——nanographrag，它保留了核心功能，同时提供了更友好的用户体验。值得一提的是之前介绍的fastgraphrag也受到了该项目的启发。nanographrag核心特点是其简洁性、易用性和可定制性。代码量仅为1100行（不包括测试和提示），是官方实现的紧凑高效替代品。它设计为轻量级、异步和完全...GraphRAGLLM函数【智汇金秋创造季】智汇成海，致敬开发者的“超级码力”！
社区头条
以下为本次活动获奖名单（名单中为用户昵称），请于三日内向51CTO小助手（微信号：assistant51cto）提供回帖截图用以核实获奖信息，并将收货信息发给51CTO小助手，包括收货姓名、收货电话、收货地址等。活动一：探索AI技术，成为寻宝智多星活动二：票选你心中的超级“码”力东风洪飞wx62284da96d71b珏大爷王大腰Doris沈JakeSU📣答案公布1️⃣活动1：探索AI技术，成为寻宝智多星六个问题答案如下，看看你答对了没？序号问题答案Q...谷歌Google多模态大模型数据构造方法
原创本文将以LLaVA和MiniGPT4为例介绍多模态大模型数据构造的方式。数据质量是决定多模态模型性能的关键因素。高质量的数据能够减少噪声干扰，提高模型的学习和预测准确性。同时多模态数据的多样性直接影响模型的泛化能力。一个包含丰富多样数据的集合能够训练出更加健壮的模型，使其能够在不同的应用场景中表现良好。本文以LLaVA和MiniGPT4为例，介绍相关多模态数据的构造过程，给大家在训练或者微调自己的多模态模型提供思路。L...多模态大模型数据构造大模型面经—如何评估显卡利用率及显卡运用优化方法
原创本篇总结了显卡利用率评估方法及显卡运用优化方法。本篇来总结一些显卡优化的经验，还是按照面经的形式给出，希望能给到大家一些实际训练效率优化的帮助下面是一个快捷目录。一、如何评估显卡利用率？二、如何优化显存利用率？一、如何评估显卡利用率使用deepseed时，zero3如果没有nvlink，多卡训练下会变慢很多，下面有三种方法来评估训练时发挥了多少GPU性能。1.flops比值法采用Nvidia可参考的显卡峰值计算速度进行计算gpu...大模型面经再谈大模型检索增强生成——RAG
原创“RAG的核心部件有大模型，embedding模型和检索系统；而RAG的重点和难点都在于检索系统”RAG检索增强生成——也是很多人理解的本地知识库，但RAG和本地知识库还是有很大区别的；但这不是今天讨论的重点，重点是为什么会有RAG技术，以及RAG技术解决了哪些问题？大模型存在的几个主要问题，知识的局限性实时性和幻觉问题以及隐私数据RAG并不能完全解决幻觉问题，但可以减少幻觉的发生incontextlearning语境学习上下文学习RAG与大...RAG大模型
