AI.x社区

表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。​​【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路​​前期文章也介绍了传统视觉的方法进行表格结构识别的方法，​​【文档智能】轻量级级表格识别算法模型SLANet​​关于表格识别在这里就不做过多的介绍了。国庆期间，笔者利用一个较长的时间段，训练了一个多模态的表格识别模型，效果还不错，特此记录一下多模态的效果。训练...

前言前面文档介绍了文档智能上多种思路及核心技术实现《​​【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路​​》，表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。本文介绍的轻量级的表格识别算法模型——SLANet，旨在在保证准确率的同时提升推理速度，方便生产落地。SLANet综合了PPLCNet作为基础网络，采用CSPPAN进行特征融合，并引入Attention机制以实现结构与位置信息的精...

先说结论：这篇文章的方法和前面介绍的两个多模态RAG的工作非常相似，可以看看往期介绍：​​【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索​​​​【RAG&多模态】多模态RAGVisRAG：基于视觉的检索增强生成在多模态文档上的应用​​M3DOCRAG同样也指出，现有的方法要么专注于单页文档的多模态语言模型，要么依赖于基于文本的RAG方法，这些方法使用OCR等文本提取工具。然而，这些方法在实际应用中存在困...

关于​​【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索​​前面已经介绍了（供参考），这次来看看ColPali实践。所需权重：多模态问答模型：Qwen2VL72BInstruct，https:modelscope.cnmodelsQwenQwen2VL72BInstruct基于PaliGemma3B和ColBERT策略的视觉检索器：ColPali（LoRA）：https:huggingface.covidorecolpaliColPali（基座）：https:huggingface.covidorecolpaligemma3bmix448base多模态检索问答实践...

前言本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。图1MHA、GQA、MQA一览selfattentionselfattention在自注意力机制中，输入通常是一个统一的输入矩阵,而这个矩阵后续会通过乘以不同的权重矩阵来转换成三个不同的向量集合：查询向量Q、键向量K和值向量V。这三组向量是通过线性变换方式生成：1.查询向量(Q):QXWQ2.键向量(K):KXWK3.值向量(V):VXWVWQ，WK和WV是可学习的权重矩阵，分别对应于查...

文章指出，传统RAG通过向量检索排序召回与Query相关的片段，通过prompt生成回复，LLMs与检索器之间存在语义鸿沟（LLMs难以有效利用检索器提供的信息）。下面来看看这篇文章引入检索信息增强RAG性能的trick。RAG和的比较。采用可训练的Former来弥合检索器和LLM之间的语义鸿沟方法模型架构检索特征提取这样存在一个问题，这些表示不能直接使用，因为单一的表示无法捕捉到用于LLM生成的交互特征。因此，为了适应各种检索器，需要将...

AssisTRAG通过集成一个智能信息助手来提升LLMs处理复杂推理任务的能力。该框架由两个主要组件构成：一个冻结的主语言模型和一个可训练的助手语言模型。AssisTRAG与之前的RAG对比1.组件主语言模型（MainLLM）：负责根据提供的信息生成答案。这个模型是固定的，不进行训练。助手语言模型（AssistantLLM）：负责信息管理，包括记忆管理和知识管理。这个模型是可训练的。可以看出，相比之前的RAG，该框架主要创新点是引入一个Assist...

前期文章提到，多模态的RAG框架ColPali通过视觉语言模型（VLMs）高效地检索纯视觉特征的文档，实现视觉文档问答。​​【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索​​本文再来看一个类似工作，VisRAG，一种基于视觉语言模型的检索增强生成（RAG）方法，用于解决多模态文档中的信息利用问题。方法VisRAG分为VisRAGRet和VisRAGGen两个阶段。传统的基于文本的RAG（TextRAG，左）依赖于解析后的文本进行检...

前面文章提到，文档智能解析能够有效的增强RAG系统的准确性。​​【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路​​文档智能解析RAG一般流程可以看到基于PDF的RAG，需要先对pdf进行解析，生成文本chunk，然后再基于文本建索引。这种pipline的方式，每个解析模块都需要放置对应的解析模型，存在着错误传播的问题。因此，笔者看到ColPali时，这种端到端的方案挺有意思，本文来看一看这个思路。ColBERT在此...

前言现阶段，尽管大模型在生成式问答上取得了很大的成功，但由于大部分的数据都是私有数据，大模型的训练及微调成本非常高，RAG的方式逐渐成为落地应用的一种重要的选择方式。然而，如何准确的对文档进行划分chunks，成为一种挑战，在现实中，大部分的专业文档都是以PDF格式存储，低精度的PDF解析会显著影响专业知识问答的效果。因此，本文将介绍针对pdf，介绍一些pdf结构化技术链路供参考。一、可编辑文档1.1语义分段经pdf解析...