AI.x社区

1、先从传统思维的架构设计说起我们先来看一个场景：用户输入一个问题（Prompt）后，如何实现用户问题的自动路由和查询（比如：是RAG检索还是SQL查询）？解决方案：意图识别架构设计第一、对于用户输入的问题（Prompt），我们通过意图识别模块来判断是需要路由给RAG检索还是路由给SQL查询；第二、意图识别模块接收用户的问题（Prompt）,然后将用户的问题交给大模型去判断分类；第三、意图识别架构设计如下图所示：第四、大模型...

1、Agent智能体进入黄金发展期Agent智能体的发展正步入黄金时代。随着众多新框架的层出不穷和对该领域的持续投入，现在Agent智能体已逐步摆脱初期的动荡，迅速崛起，成为开发者的首选，超越了RAG。那么，2024年是否会成为Agent智能体系统全面接管撰写邮件、预订航班、数据分析等任务的元年呢？​这或许有可能，但距离这一目标还有许多挑战需要克服。在构建Agent智能体的过程中，开发者们不仅要考虑选用哪种大模型、应用场景和技...

一、17个传统RAG框架传统的RAG（RetrievalAugmentedGeneration）框架，是一种集成了多个关键环节的综合体系，这些环节包括文本切块（Chunk）、向量转换（向量化）、数据存储、信息检索、二次排序、内容生成、内容评估等。该框架的精髓在于能够灵活适应各种策略，例如文档处理方法和检索策略等。其中，具有代表性的实现有RAGFlow（专注于深度文档理解）、QAnything（引入重排序Rerank机制）以及高度可配置的Dify等。这些实现虽然...

一、RAG评估的挑战增强检索生成技术（RetrievalAugmentedGeneration，简称RAG）目前正成为增强大语言模型（LLM）性能的核心手段。该技术通过将外部知识库融入LLM，大幅提升了大模型的精确度和对上下文的感知力。然而，对RAG系统性能的评测颇具挑战，这促使了一系列开源RAG评估框架的诞生。下面，让我们共同探讨5大开源的RAG评估框架。二、开源评估框架1：RagasRagas（RetrievalAugmentedGenerationAssessment）是一款专为评测增...

1、sCM新扩散模型在今日凌晨，OpenAI推出了创新的扩散模型方法sCM，这一方法仅需两步骤即可生成高质量的图片和3D模型，实现了高达50倍的时钟速度提升，特别是在处理高分辨率任务时表现尤为出色。举例来说，利用sCM训练的一个拥有15亿参数的模型，在单个A100GPU上，无需进行任何推理优化，就能在0.11秒内完成内容的生成。目前，在扩散模型中生成图片速度最快的是StabilityAI开源的SD快速版本，它需要四步来生成高质量图片。而sCM...

1、RIG新模式上月，谷歌在Huggingface和Kaggle两大平台发布了两个新型开源模型：datagemmarag27bit与datagemmarig27bit。特别是其中的RIG（RetrievalInterleavedGeneration）检索交错生成模型，它开创了大型语言模型（LLM）与外部数据库交互的新方法。2、RAGVSRIG对于那些对大型语言模型（LLM）有所了解的同学来说，他们清楚LLM是通过训练数据来学习知识的。因此，在使用大型模型时，我们可能会遇到“幻觉”和“信息过时”等问...

1、为什么要在MacBook上搭建知识库？最核心最重要的是我们手上的文档资料出于安全要求，不能随便上传到云服务，也就无法实际验证知识库的实际效用。另外对于IT同学来说，自己亲手搭建一个完整的方案、能灵活调整和对接各种不同的模型、评测各种模型不同的表现，也是出于对技术的探索本能使然。使用的MacBook配置如下，对大模型经过量化处理（比如：int8）后，可以流畅运行。2、知识库的架构设计基于一台MacBook搭建部署的架构设...

1、写作和编程利器canvas今晨，OpenAI推出了类似AnthropicArtifacts的应用—canvas，宣称其为“ChatGPT写作和编程的新手段”。在canvas这个界面，你可以与ChatGPT一起完成写作和编码项目，而不再局限于简单的聊天。canvas是一种新的交互方式，也是OpenAI推出ChatGPT以来的首个重大视觉界面更新。canvas会在单独的窗口中打开，方便用户与ChatGPT一起协作完成项目。canvas的Beta版本为用户提供了一种全新的合作方式：你不仅能够通...

1、技巧一：明确表述需求问：如何更准确地改写功能需求以适应Cursor的使用？原因：Cursor的设计旨在精确执行用户的具体指令。过多的细节可能导致执行复杂化，而过于模糊的描述则可能让Cursor在执行时缺乏必要的指导，影响项目的精准控制。操作步骤：精确阐述需求，剔除无关的细枝末节。避免在需求中使用含糊其辞的词语（比如“上传”），除非它们对功能实现至关重要。示例：不够明确：“开发一个文件处理功能，涵盖上传和下载操...

一、什么是AIAgent？1、用快思考与慢思考类比大模型的能力根据丹尼尔·卡尼曼的著作《思考，快与慢》，人类的思维可以分为两大系统：系统1和系统2。系统1负责直觉式的快速思考，这种思考往往是无意识的；而系统2则擅长进行有意识的逻辑推理和主动控制。在探讨大型模型的思维能力时，我们首先可以观察到，这些大模型可能具备了类似人类的分析问题能力，它们能够理解、分析和解决复杂问题。进一步地，人类与动物的一个重要区别在...

1、什么是大模型Agent？大模型Agent，作为一种人工智能体，是具备环境感知能力、自主理解、决策制定及执行行动能力的智能实体。简而言之，它是构建于大模型之上的计算机程序，能够模拟独立思考过程，灵活调用各类工具，逐步达成预设目标的智能存在。Agent是AI大模型应用的主要新形态，在技术架构范式也发生了很大的变化，从面向过程的架构变成了面向目标架构。2、Agent架构设计剖析大模型虽作为智能体的核心“大脑”，负责思维...

1、知识图谱与大模型的特点和互补性知识图谱的独特性：知识组织：它由实体及其相互间的联系构成的三元组网络，有效地描绘了知识的框架。数据可信度：知识图谱所包含的信息普遍具有高度的准确性和信赖度。解释性：知识图谱的架构更贴合人类的认知方式，它为知识的解释和逻辑推理提供了途径。大模型的优势：语言理解力：这些模型能够深入理解庞大的文本资料，具备强大的上下文学习及跨领域适应能力。零样本学习能力：在自然语言处...

一、现状在AI领域，从原型到生产的过程极具挑战。构建大型语言模型（LLM）、小型语言模型（SLM）或多模态应用虽令人激动，但将其转化为可扩展、可靠的生产系统，需深入理解其复杂性。这不仅仅是硬件扩展或算法优化的问题，而是涉及数据、模型架构与应用需求之间关系的深入探究。二、15种RAG技术在本文中，我们将深入探讨15种先进的检索增强生成（RAG）技术，这些技术能够帮助您将AI原型转化为生产级别的强大解决方案。这些技术...

1、大模型的痛点大模型技术席卷全球，为日常工作和生活带来便利，但也面临时效性、准确性等问题。如何提升大模型的性能？解决其挑战？构建高级应用？成为重要待解决问题。RAG（检索增强生成）技术通过信息检索和文本生成，显著提升了大模型的性能。但RAG也存在局限性，比如：数据依赖、检索效率等。如何解决这些痛点？如何进一步提升RAG性能？是本文剖析的重点。2、RAG的痛点NaiveRAG通过检索和生成，提升大模型在问答、智能助...

AI大模型技术架构全景图AI大模型已经在具体的业务场景落地实践，本文通过梳理AI大模型技术架构的全景视图，让你全面了解AI大模型技术的各个层次，从基础实施层、云原生层、模型层、应用技术层、能力层、到应用层，如下图所示，揭示AI大模型如何在不同的层面上协同工作，推动产业应用的落地。一、基础设施层AI大模型技术发展离不开坚实的基础设施支持，涵盖了GPU、CPU、RAM、HDD、Network等关键硬件设施。这些硬件设备为AI大模型...

0、背景我们要把AI大模型当做人的大脑，因此调用AI大模型，相当于调用一个人，把AI大模型当人看，TA懂人话、TA说人话、TA会直接给出结果，但结果不一定正确。因此在AI大模型的推理基础上，通过RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下来我们详细剖析下。1、大语言模型（LLM）大语言模型（LLM）是通过深度学习方法，利用庞大...

1、Prompt的重要性在RAG（增强检索生成）系统中，打造有效的提示词（Prompt）对于保障大模型输出精准且相关的答案至关重要。提示词不仅负责指导大模型正确解读用户提问，还需整合检索所得的信息，以实现回答的精确性和针对性。接下来，本文将探讨如何在RAG系统中打造高效的提示词，进而提高RAG系统的回答水平。2、理解用户意图把握用户的核心需求是创建高效Prompt的首要环节。各种问题关注的焦点各异，设计Prompt时必须保证大模...

1、为什么要对GraphRAG本地部署？微软开源GraphRAG后，热度越来越高，目前GraphRAG只支持OpenAI的闭源大模型，导致部署后使用范围大大受限，本文通过GraphRAG源码的修改，来支持更广泛的Embedding模型和开源大模型，从而使得GraphRAG的更容易上手使用。2、GraphRAG一键安装第一步、安装GraphRAG需要Python3.103.12环境。第二步、创建知识数据文件夹安装完整后，需要创建一个文件夹，用来存储你的知识数据，目前GraphRAG只支持tx...

0、RAG简介RAG（RetrievalAugmentedGeneration）结合知识库检索与大模型回答，确保信息可靠且精准，同时节省了微调成本。RAG流程简要概括为3步，对应其名：1、检索：借助Embedding，将问题转化为向量，比对知识库，选取最相关的TopK知识。2、增强：结合检索出的上下文和问题，构造Prompt。3.生成：将Prompt输入大模型，产出答案。从工程视角划分，RAG实施分为两阶段：阶段一：离线数据预处理：涵盖知识文件导入、文本切分、向量...

1、nanoGraphRAG简介nanoGraphRAG：一款简洁且易于定制的GraphRAG实现。😭GraphRAG确实功能强大，但官方的实现版本阅读与修改起来颇为不易。😊本项目为您呈现了一个更为精简、高效、清晰的GraphRAG版本，同时保留了其核心特性。🎁nanoGraphRAG的代码量大约只有800行，除了测试和示例之外。👌短小精悍，易于扩展，支持异步操作，且完全采用类型注解。Github地址：https:github.comgusye1234nanographrag2、nanoGraphRAG部署和使...