AI.x社区

腾讯最近发布了一款名为Hunyuan的先进Moe（MixtureofExperts）模型，该模型在多个基准测试中表现出色，超越了Llama3，成为自然语言处理（NLP）领域的新领导者。地址如下：github:https:github.comTencentTencentHunyuanLargeblobmainREADMECN.mdhf:https:huggingface.cotencentTencentHunyuanLarge以下是Hunyuan模型的一些关键优势：合成数据增强：HunyuanLarge通过合成数据增强训练，能够学习到更丰富的表示，处理长上下文输入...

AutoRetrieval是一种高级的RAG技术，它在启动向量数据库检索之前使用AgentLLM动态推断元数据过滤器参数和语义查询，而不是将用户查询直接发送到向量数据库检索接口（例如密集向量搜索）的朴素RAG。您可以将其视为查询扩展重写的一种形式，也可以将其视为函数调用的一种特定形式；后文我们将给出实现逻辑和代码。达到效果如下：用户输入GivemeasummaryoftheSWEbenchpaper推理结果改写查询:summaryoftheSWEbenchpaper过滤参数:{"f...

今天介绍了一种全新的LlamaIndex数据结构：文档摘要索引。将描述它如何比传统语义搜索提供更好的检索性能，并通过一个示例进行了演示。背景大型语言模型(LLM)的核心用例之一是针对自己的数据进行问答。为此，我们将LLM与“检索”模型配对，该模型可以对知识语料库执行信息检索，并使用LLM对检索到的文本执行响应合成。这个整体框架称为检索增强生成（RAG）。目前，大多数构建LLM驱动的QA系统的用户倾向于执行以下操作：获取源文...

通过上文的方法​​RAG高级优化：一文看尽query的转换之路​​，我们召回了一些相关片段，本文我们将介绍在将召回片段送入大模型之前的一些优化手段，它们能帮助大模型更好的理解上下文知识，给出最佳的回答：LongtextReorderContextualcompressionRefineEmotionPromptLongtextReorder根据论文LostintheMiddle:HowLanguageModelsUseLongContexts，的实验表明，大模型更容易记忆开头和结尾的文档，而对中间部分的文档记忆能力不...

传统的检索方法通常依赖于对query进行语义理解(基于向量)或关键字匹配(BM25)，这两种方法都有其优点和缺点。融合检索、HyDE和RAGFusion可以创建一个更健壮和准确的检索系统。本文将介绍三种优化方法：Fusionretrieval：基于向量和基于bm25的检索HyDE(假设文档嵌入)：通过根据查询生成和嵌入假设文档来增强检索。RAGFusion：通过结合多次搜索迭代的结果来提高检索质量。高级RAG技术介绍FusionRetrieval融合检索是一种强大的文档...

上篇文章我们介绍了借助LLM和OCR将文档转换成markdown的方法：​​颠覆传统OCR轻松搞定复杂PDF的工具​​。本篇文章将介绍如何对markdown进行有效切分。之前介绍了文本切分五个层级，本文方法是第三个层次：Level1:CharacterSplitting简单的字符长度切分Level2:RecursiveCharacterTextSplitting通过分隔符切分，然后递归合并Level3:DocumentSpecificSplitting针对不同文档格式切分(PDF,Python,Markdown)Level4:SemanticSplittin...

LLM辅助OCR项目是一个先进的系统，旨在显著提高光学字符识别(OCR)输出的质量。通过利用尖端的自然语言处理技术和大型语言模型(LLM)，将原始OCR文本转换为高度准确、格式良好且可读的文档成为可能。本篇文章将介绍一款在github上拥有1.7kstar的开源实现工具LLMAidedOCR。特征本项目支持以下功能：PDF到图像转换使用Tesseract进行OCR使用LLM（本地或基于API）进行高级错误更正智能文本分块，高效处理Markdown格式选项抑制页眉和页...

​准确地找到与用户查询最相关的信息是RAG系统成功的关键，如何帮助检索系统提升召回的效果是RAG系统研究的热门方向，之前的文章介绍了在分块阶段的优化方法：RAG高级优化：基于问题生成的文档检索增强。本文将介绍三种query理解的方法，以增强检索增强生成(RAG)系统中的检索过程：查询重写：重新定义查询，使其更加具体和详细。Stepback提示：生成更广泛的查询，以获得更好的上下文检索。子查询分解：将复杂查询分解为更简单的...

Reranker是任何检索架构(RAG、Agent等)的重要组成部分，但它们通常也比PipeLine中其他部分更模糊。有时，甚至很难知道该使用哪一个。每个问题都是不同的，使用X的最佳模型不一定与使用Y的模型相同；新的重新排名方法不断涌现，该如何兼容他们呢？今天介绍一款高效扩展工具rerankers：设计目标新的重新排名方法不断涌现：例如，RankGPT使用LLM对文档进行重新排序，就在去年出现，取得了非常有希望的零样本基准测试结果。所有不同...

在我们日常处理大模型的输出时，经常希望输出的结果为结构化的(例如输出json格式)，这样有助于我们进行结果的后处理。但是在模型输出超过限制和流式输出时就会遇到问题了，由于答案没完全输出，转json就存在问题。大型语言模型（LLMs）产生结构化输出的原因包括：提高可读性：结构化输出使得信息以一种逻辑清晰、易于理解的方式呈现，提高了信息的可读性和用户体验。便于处理：结构化数据可以更容易地被机器读取和处理，有助于...

我们将在本文中介绍一种文本增强技术，该技术利用额外的问题生成来改进矢量数据库中的文档检索。通过生成和合并与每个文本片段相关的问题，增强系统标准检索过程，从而增加了找到相关文档的可能性，这些文档可以用作生成式问答的上下文。实现步骤通过用相关问题丰富文本片段，我们的目标是显著提高识别文档中包含用户查询答案的最相关部分的准确性。具体的方案实现一般包含以下步骤：文档解析和文本分块:处理PDF文档并将其划分...