AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
颠覆传统OCR轻松搞定复杂PDF的工具
LLM辅助OCR项目是一个先进的系统，旨在显著提高光学字符识别(OCR)输出的质量。通过利用尖端的自然语言处理技术和大型语言模型(LLM)，将原始OCR文本转换为高度准确、格式良好且可读的文档成为可能。本篇文章将介绍一款在github上拥有1.7kstar的开源实现工具LLMAidedOCR。特征本项目支持以下功能：PDF到图像转换使用Tesseract进行OCR使用LLM（本地或基于API）进行高级错误更正智能文本分块，高效处理Markdown格式选项抑制页眉和页...自然语言处理技术大型语言模型光学字符识别从数据仓库到数据飞轮：技术进化与实践案例解析
原创从数据仓库到数据飞轮：技术进化与实践案例解析前言数据技术的发展如同企业发展的脉络，从数据仓库的诞生到数据中台的崛起，再到如今数据飞轮的广泛应用，这一系列技术变革不仅展示了数据管理的演进过程，更反映了企业在应对复杂市场需求时对数据利用的不断深化。每一个技术阶段的出现，都是企业在面对数据量激增、业务流程复杂化以及对实时分析需求提升时的必然选择。数据仓库的出现，最早解决了企业分散在各个业务系统中的数...数据仓库数据治理经典论文ReAct精读
原创人类智能的一个独特特征是能够将面向任务的行为与语言推理（或称作内心独白）无缝结合。理论上，这被认为是人类认知中的重要一环，能够实现自我调节或策略化并维持工作记忆。以在厨房烹饪一道菜为例，在任何两个具体行为之间，我们可能会：（1）用语言进行推理以跟踪进度（例如“现在一切都切好了，我应该把水壶里的水加热”）；（2）处理异常情况或根据情况调整计划（例如“我没有盐，所以让我用酱油和胡椒代替”）；（3）意识...ReAct大模型技术在AIGC领域所面临的主要问题
原创“怎么打造出一款具有市场竞争力的AIGC产品？”AIGC——人工智能生成内容，是大模型技术目前的一个主要应用方向，简单来说大模型就像一个擅长某个领域的人，比如绘画，写作，设计等；而这种内容创作的领域就属于AIGC。但AIGC虽然发展得如火如荼，但其还面临着诸多问题。AIGC所面临的问题技术方面AIGC作为一项人工智能技术的应用场景，其技术是第一个需要解决的问题，否则一切都无从谈起。但AIGC在技术方面还面临着很多问题，比...大模型AIGC从openAI最新模型GPT-o1再谈思维链(Cot)技术，大模型该怎么提升其逻辑推理能力？
原创“推理能力是大模型迈向AGI的必经之路”最近openAI发布了号称史上最强模型——o1，其具有强大的逻辑推理能力，号称能达到人类的博士生水平。而从o1模型的评测来看，o1模型在数学竞赛，编码，科学问答等方面表现良好，甚至高出了GPT4o一大截。而且，o1在物理，化学，生物，逻辑学等其它领域，相比GPT4o都得到了巨大的提升。而据介绍o1模型之所以具有如此强大的逻辑推理能力，就是因为使用了思维链技术；当然，目前官方并没有公布...大模型思维链什么时候需要训练和微调属于自己的大模型——小微企业必须要明白的问题
原创“从问题出发，先有需求再有解决方案”老板和员工在思维方式上有一个很大的差别就是，作为老板他们喜欢寻找现有的解决方案，如果现有的解决方案无法满足的情况下，才会自己设计一个解决方案。而作为员工来说特别是技术人员，大都有一种技术至上的心态，比如说很多技术人员找工作会特别在乎公司用的技术是否足够牛逼，足够高大上。之所以产生这种现象的原因是因为，技术人员的心态是学会牛逼的技术，走到哪里都不怕。而老板的心...大模型人工智能麻省理工创新模型：用2D视频扩散，生成 3D 视频
精华传统的3D视频生成主要有两种方法，一种是通过2D视频模型和静态3D场景模型的分类器指导来优化动态3D视频场景表示，不过这种对算力的需求极大，生成一个3D视频需要数小时；另一种是通过变形初始3D场景表示来实现，但需要严格的时间结构并且需调整复杂的参数。为了解决这些难题，麻省理工、Databricks马赛克科研所和康奈尔大学联合推出了创新模型Vid3D。该模型假设无需明确建模3D时间动态，通过生成2D视频的时序动态轮廓，然后独立...3D视频生成不要沉迷大模型的技术与理论，学习大模型的方法——从做一个小应用开始
原创“在应用中学习技术，而不是沉迷于技术本身”不知道大家都是怎么学习大模型技术的，但从个人的经验和公众号的反馈来看，有些人在学习大模型技术时转进了牛角尖，导致很多东西学不明白，事倍功半。今天就从个人的学习历程出发，来讨论一下关于大模型技术的学习方法。学习大模型技术的方法应该跟很多人一样，之所以学习大模型技术是因为大模型技术的爆火，以及大模型技术在未来的发展潜力，更重要的一点是不了解和学习大模型以后...大模型OpenAI o1引发的思维链思考：思维链提示启发大模型推理
摘要：我们探索了生成一个思维链（一系列中间推理步骤）可以怎样显著提高大型语言模型执行复杂推理的能力。特别是，我们展示了这种推理能力是如何通过一种称为思维链提示的简单方法，在足够大的语言模型中自然出现的，其中提供了一些思维链演示作为提示的示例。在三个大型语言模型上的实验表明，思维链提示可以提高一系列算术、常识和符号推理任务的性能。经验收益可能是惊人的。例如，用只有八个思维链示例来提示PaLM540B在数...语言模型AI超全两万字长文详解视频扩散模型的最新进展
精华最近，AIGCer在使用一些视频生成工具，对其中的技术点有了强烈兴趣，正好搜索到了这篇视频扩散模型综述，方法果然浩如烟海，读下来感觉受益良多，分享给大家。人工智能生成内容（AIGC）浪潮在计算机视觉领域取得了巨大成功，扩散模型在这一成就中发挥着关键作用。由于其出色的生成能力，扩散模型逐渐取代了基于GAN和自回归Transformer的方法，在图像生成和编辑以及视频相关研究领域表现出色。然而，现有的调查主要集中在图像生...AI生成Open-Sora 1.1 解读：完全开源的高效复现类Sora视频生成方案！
项目链接：https:github.comhpcaitechOpenSoraOpenSora1.1是ColossalAI开发的开源视频生成模型的最新迭代，标志着在这个快速发展的领域取得了实质性的飞跃。在其前身OpenSora1.0的基础上，该版本在功能、训练效率和整体灵活性方面进行了显著改进。OpenSora项目是一项致力于高效制作高质量视频，并使所有人都能使用其模型、工具和内容的计划。通过采用开源原则，OpenSora不仅实现了先进视频生成技术的低成本普及，还提供了一个精...视频生成技术使用人工智能增强 IaC以提高下一代基础设施的效率
原创本文探讨了人工智能正在重塑IaC运营的一些重要领域，并讨论了未来可能会发生的情况。在当今的技术领域中，人工智能（AI）几乎在每个领域都产生了深远的影响。基础设施即代码（IaC）的爱好者一直在探索人工智能如何推动IaC生态系统的下一场变革。正如人们所看到的，人工智能在提升DevOps和平台能力方面发挥着重要作用。而且很明显的是，人工智能将成为未来IaC实践的核心。以下将探讨人工智能正在重塑IaC运营的一些重要领域，并讨...人工智能IaCAIOpenAI文本嵌入模型入门指南
原创这篇综合指南介绍了如何使用OpenAI文本嵌入模型在GenAI应用程序中嵌入创建和语义搜索。向量嵌入在AI中至关重要，它可以将复杂的非结构化数据转换成机器可以处理的数值向量。这些嵌入捕获数据中的语义和关系，从而实现更有效的分析和内容生成。ChatGPT的创建者OpenAI提供了各种嵌入模型，这些模型提供高质量的向量表示，可用于包括语义搜索、聚类和异常检测在内的各种应用。这篇指南将探讨如何利用OpenAI的文本嵌入模型来构建响...OpenAIChatGPT向量嵌入RAG高级优化：一文看尽Query的转换之路
原创准确地找到与用户查询最相关的信息是RAG系统成功的关键，如何帮助检索系统提升召回的效果是RAG系统研究的热门方向，之前的文章介绍了在分块阶段的优化方法：RAG高级优化：基于问题生成的文档检索增强。本文将介绍三种query理解的方法，以增强检索增强生成(RAG)系统中的检索过程：查询重写：重新定义查询，使其更加具体和详细。Stepback提示：生成更广泛的查询，以获得更好的上下文检索。子查询分解：将复杂查询分解为更简单的...RAGQuery一款好用的开源工具，高效实现Reranker
原创Reranker是任何检索架构(RAG、Agent等)的重要组成部分，但它们通常也比PipeLine中其他部分更模糊。有时，甚至很难知道该使用哪一个。每个问题都是不同的，使用X的最佳模型不一定与使用Y的模型相同；新的重新排名方法不断涌现，该如何兼容他们呢？今天介绍一款高效扩展工具rerankers：设计目标新的重新排名方法不断涌现：例如，RankGPT使用LLM对文档进行重新排序，就在去年出现，取得了非常有希望的零样本基准测试结果。所有不同...开源工具Reranker支持大模型流式输出的JSON提取工具
原创在我们日常处理大模型的输出时，经常希望输出的结果为结构化的(例如输出json格式)，这样有助于我们进行结果的后处理。但是在模型输出超过限制和流式输出时就会遇到问题了，由于答案没完全输出，转json就存在问题。大型语言模型（LLMs）产生结构化输出的原因包括：提高可读性：结构化输出使得信息以一种逻辑清晰、易于理解的方式呈现，提高了信息的可读性和用户体验。便于处理：结构化数据可以更容易地被机器读取和处理，有助于...大模型JSONRAG高级优化：基于问题生成的文档检索增强
原创我们将在本文中介绍一种文本增强技术，该技术利用额外的问题生成来改进矢量数据库中的文档检索。通过生成和合并与每个文本片段相关的问题，增强系统标准检索过程，从而增加了找到相关文档的可能性，这些文档可以用作生成式问答的上下文。实现步骤通过用相关问题丰富文本片段，我们的目标是显著提高识别文档中包含用户查询答案的最相关部分的准确性。具体的方案实现一般包含以下步骤：文档解析和文本分块:处理PDF文档并将其划分...RAG增强问答文本检索的排序（RAG）模型，你学会了吗？
引言：文本检索在信息检索系统中的重要性文本检索是信息检索系统的核心组成部分，它在搜索引擎、问答系统和推荐系统等多种应用中发挥着至关重要的作用。随着技术的发展，文本检索已经从简单的关键词匹配演变为利用复杂的算法理解和匹配文本的语义。特别是在问答系统中，文本检索技术能够从大量数据中找到与用户查询最相关的信息，这对于提高系统的准确性和用户满意度至关重要。近年来，随着深度学习技术的发展，基于神经网络的...文本检索排序RAGOpenAI发布新模型：o1系列模型，更像理科生的模型
精华本来今天准备发一篇金融相关的Agent论文结果一大早上，各大群就都开始流传着各种聊天记录原来是凌晨OpenAI发布了新的o1系列模型（以下简称o1模型或o1），所以迫不及待的找了些资料赶紧学习下。图片看上去，这个o1系列模型在数学、编码、科学等一系列理科生擅长的事情上，表现比GPT4还好。目前，各大微信群的讨论大致分为两种观点：•o1太牛逼了，GPT5来了，AGI立马到来！•o1这不就是个Workflow+Agent吗？收集了各方的【小道消...OpenAI模型o1 系列在长上下文LLM的时代，RAG是否仍然必要？
一、结论写在前面论文标题：InDefenseofRAGintheEraofLongContextLanguageModels论文链接：https:arxiv.orgpdf2409.01666克服早期生成式大型语言模型（LLMs）的有限上下文限制，检索增强生成（RAG）在过去一直是基于上下文的答案生成的可靠解决方案。最近，长上下文LLMs的出现使得模型能够整合更长的文本序列，使得RAG变得不那么吸引人。最近的研究表明，长上下文LLMs在长上下文应用中显著优于RAG。与现有倾向于长上下...LLMSELF-ROUTERAG
