AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
定制你的AI助手：大型语言模型适配方法详解
这是一个由三部分组成的系列博客文章中的第一篇,主题是关于如何适配开源大型语言模型(LLMs)。在这篇文章中,我们将探讨适配LLMs到特定领域数据的各种方法。在第2部分,我们将讨论如何确定微调是否适合你的使用场景。在第3部分,我们将探讨一些整理优质训练数据集的经验法则。引言大型语言模型(LLMs)在大量语言任务和自然语言处理(NLP)基准测试中展现出了卓越的能力。基于这些"通用"模型的产品应用正在兴起。在这篇博客文章中,我们...AI语言模型多模态与伪多模态大模型
原创“透过现象看本质，才是最应该做的选择”对大模型了解的人应该知道，大模型是因为openAI的GPT模型爆火的，当然大模型的发展也是经过多年的发展才有了今天的地步。在之前的文章中也介绍过，大模型的全程是大规模预训练语言模型的简称，也就是说大模型刚开始是在语言处理领域大放异彩的。因此，可以说大模型是深度学习，也就是神经网络模型与自然语言处理相结合而产生的一种技术。而随着大模型在自然语言处理领域的爆发，一些技术...多模态伪多模态大模型评估RAG系统组件的终极指南
原创RAG系统包含两个核心组件：检索器和生成器，本文将介绍如何评估这两个组件。检索增强型生成（RAG）系统被设计用来提升大型语言模型（LLM）的响应质量。当用户提交查询时，RAG系统从向量数据库中提取相关信息，并将其作为场景传递给LLM。然后，LLM使用这个场景为用户生成响应。这一过程显著提高了LLM反应的质量，减少了“幻觉”。图1RAG系统工作流程在图1的工作流程中，RAG系统中有两个主要组件：检索器：它利用相似度搜索的能力...LLMRAG系统大型语言模型如何利用RAG+Agent轻松解决企业复杂问题？
原创 精华1、大模型的痛点大模型技术席卷全球，为日常工作和生活带来便利，但也面临时效性、准确性等问题。如何提升大模型的性能？解决其挑战？构建高级应用？成为重要待解决问题。RAG（检索增强生成）技术通过信息检索和文本生成，显著提升了大模型的性能。但RAG也存在局限性，比如：数据依赖、检索效率等。如何解决这些痛点？如何进一步提升RAG性能？是本文剖析的重点。2、RAG的痛点NaiveRAG通过检索和生成，提升大模型在问答、智能助...RAGAgent增加大模型推理能力的几个提示方法
原创01.Complexitybasedpromptingformultistepreasoning（ICLR2023)基于复杂度的提示方法用于多步推理摘要：我们研究了如何提示大规模语言模型进行多步推理。已有研究表明，当使用链式思考（CoT）提示，即用一系列短句描述从问题到答案的中间推理步骤时，大型语言模型能够为新的输入生成新的推理链并预测答案。本研究的核心问题是：哪些推理示例能成为最有效的提示？为此，我们提出了基于复杂度的提示方法，一种用于多步推理的简单...大模型大模型开发之算子
原创“算子指的是神经网络中完成特定功能的一些算法节点”在学习人工智能技术的过程中，简单学习了一些关于机器学习和神经网络的基础知识，以及大模型的训练和微调过程。然后就把大部分精力放到了大模型的应用之上，比如AIGC，知识库，Agent等。而今天，我们来了解一下大模型技术的实现之——算子。算子关于算子这个概念，也是最近几天刚接触到的，在此之前都没听过这个名词。还是闲来无事浏览招聘网站的时候，看到有招聘算子开发的...大模型外滩大会闭幕，王坚、王小川、闫俊杰这些大佬都释放了哪些信号？
原创整理言征出品51CTO技术栈（微信号：blog51cto）9月8日，2024Inclusion·外滩大会圆满闭幕，国内外一众AI大佬、独角兽创始人汇集上海，发表了目前对于生成式AI发展浪潮的观点，这里摘选精彩一二，看看都释放了哪些信号。1.王坚：AI+的重点不是加什么，而是怎么加王坚此次演讲分享了此次AI革命的不同之处：“当你看AI、AI+跟AI基础设施的时候，你就会发现这个世界不但技术在革命，机制也在革命，基础设施也在革命。没有比这三项革...外滩大会闫俊杰王小川编辑任何场景! 3DitScene：通过语言引导的解耦 Gaussian Splatting开源来袭！
文章：https:arxiv.orgpdf2405.18424项目：https:zqh0253.github.io3DitSceneHuggingFace:https:huggingface.cospacesqihang3DitScene场景图像编辑在娱乐、摄影和广告设计中至关重要。现有方法仅专注于2D个体对象或3D全局场景编辑，导致缺乏一种在3D层面上以不同粒度有效控制和操作场景的统一方法。本研究提出了3DitScene，这是一种新颖且统一的场景编辑框架，利用语言引导的解耦GaussianSplatting实现从2D到3D的无缝编辑，允许...框架3D风格控制水平创新高！南理工&InstantX&小红书发布CSGO:简单高效的端到端风格迁移框架
论文链接：https:arxiv.orgpdf2408.16766项目链接：https:csgogen.github.io亮点直击构建了一个专门用于风格迁移的数据集设计了一个简单但有效的端到端训练的风格迁移框架CSGO框架，以验证这个大规模数据集在风格迁移中的有益效果。引入了内容对齐评分（ContentAlignmentScore，简称CAS）来评估风格迁移的质量，有效衡量迁移后内容损失的程度。大量的定性和定量研究验证了本文提出的方法在零样本风格迁移方面取得了先进的成果。...生成端到端基于语言代理树搜索（LATS）和GPT-4o攻克复杂的LLM决策问题
原创本文将通过一个完整的财务决策方面的案例来展示如何将语言代理树搜索与GPT4o模型相结合以增强LLM决策能力。简介大型语言模型（LLMs）在执行涉及复杂推理的自然语言任务方面表现出了非凡的能力。因此，这些模型已经发展成为能够规划、制定战略和解决复杂问题的代理。然而，当涉及到在不确定性下做出决策时，挑战依然存在，因为结果不是确定性的，或者在不断变化的环境中需要自适应决策，特别是在每一步都影响下一步的多步骤场景...大型语言模型LLMGPT-4o将端侧大模型进行到底-MiniCPM3-4B开源
面壁一直都在做端侧大模型，之前有文本系列MiniCPM2B模型，还有多模态系列的MiniCPMV系列模型，今天又开源了MiniCPM34B模型，真是端侧一路走到低。这次MiniCPM34B也是在效果上有了巨大的提升，超过Phi3.5miniInstruct模型，肩比Llama3.18BInstruct、GLM49BChat、Qwen27BInstruct等一众模型，堪称小模型之王。之前的MiniCPM2B模型报告也是干活满满，详见：https:shengdinghu.notion.siteMiniCPMc805a17c5c8046398914e47f0542095a...开源模型MiniCPM-2BiText2KG：显著降低LLM构建知识图谱时的幻觉现象
精华1.当前知识图谱构建存在的问题知识图谱通过捕捉实体之间的关系来构建知识的结构化表示，在分析文本数据集和从结构化异构数据中推断知识方面具有显著优势。比如，知识图谱能够融合来自多个来源的不同数据，提供一个具有凝聚力的信息视角。还能为文本语料库的分析提供更高层次的可解释性。知识图谱的重要性不必多言，最近的GraphRAG又再一次将知识图谱掀起高潮。1.1传统知识图谱构建的问题传统的命名实体识别、关系提取和实体解析...LLM幻觉现象数据集大规模分布式 AI 模型训练系列——流水线并行
一、背景本文中我们继续介绍另一种非常常见的并行方案——流水线并行（PipelineParallelism）。二、MicrosoftPipelinedBP2.1摘要我们在之前的文章中提到过，2012:ImageNetClassificationwithDeepConvolutionalNeuralNetworks中使用TensorParallelism在2个GPU上训练AlexNet。同一年，微软的研究者开始使用PipelineParallelism训练语音识别模型CDDNNHMM（ContextDependentDeepNeuralNetworkHMM）。首先，作者提出了CDDNNHMM模型，...AI模型并行OLMoE: 开源的MoE语言模型(预训练&效果)
一、结论写在前面论文标题：OLMoE:OpenMixtureofExpertsLanguageModels论文链接：https:arxiv.orgpdf2409.02060Weights：https:hf.coallenaiOLMoE1B7B0924Data：https:hf.codatasetsallenaiOLMoEmix0924Code：https:github.comallenaiOLMoELogs：https:wandb.aiai2llmolmoereportsOLMoE1B7B0924Vmlldzo4OTcyMjU3论文开源了OLMoE1B7B和OLMoE1B7BINSTRUCT，包括模型、数据、代码和日志。...OLMoE语言模型AI教母李飞飞：用温暖的人性之光，照亮AI的未来之路
在普林斯顿大学金秋送爽的九月，一场跨越时空的对话正在上演。1999届校友、人工智能教母李飞飞站在杰德温体育馆的讲台上，目光炯炯有神，声音温柔而坚定。台下坐满了2024届的新生，他们的眼中闪烁着对未知世界的好奇和期待。普林斯顿大学2024届的新生"还记得25年前，我也像你们一样坐在这里，满怀梦想又忐忑不安，"李飞飞微笑着说，眼角泛起一丝怀念，"那时的我，刚从中国来到美国没多久，英语还说不利索，却已经开始梦想着要改...李飞飞AI原生代mPLUG-DocOwl2:新模型无需OCR，多页文档理解迈入新纪元
精华OCRFree多页文档理解的挑战与进展在现代信息时代，多页文档的自动理解和处理变得尤为重要。这些文档可能包括书籍、报告、学术论文等，它们通常包含大量的文本、图表和其他视觉元素。传统的文档理解方法依赖于光学字符识别（OCR）技术将图像转换为文本数据。然而，OCR过程不仅耗时，而且在处理高分辨率或多页文档时，容易出现错误，尤其是在文档格式复杂或字体多样的情况下。随着深度学习技术的发展，OCRFree的文档理解方法逐渐...模型OCR多页Open LLM集中爆发的一周，卷疯了！
开源大模型领域热闹非凡的一周，各种开源，PaperAgent进行了概括：端侧、Code、RAG、Agent、Reflection（反思纠正）、MoE，你关注的都在这里了。ReflectionLlama3.170B开源ReflectionLlama3.170B是世界上顶尖的OpenLLM，通过反思微调技术（ReflectionTuning）训练，能够检测并纠正推理错误，具有很高的热度，HuggingFace热门排行Top1。Agent中需要LLM具有很强的推理规划能力，这种反思技术训练的模型是否很契合Agent尼？有待进...Open LLMOLMoE开源MiniCPM3.0在智能助手领域的具体应用
原创第三代小钢炮MiniCPM3.0以其仅4B的参数规模，实现了令人印象深刻的性能，足以与市面上参数规模达到千亿的大模型相媲美。这款模型由面壁智能开发，它不仅在参数效率上取得了显著的成就，而且还具备了一些先进的特性，如无限长文本处理能力、端侧FunctionCalling性能以及强大的RAG（检索增强生成）功能。这些特性使得MiniCPM3.0在自然语言理解、知识推理、代码生成和数学计算等多个方面展现出了卓越的能力。MiniCPM3.0的发布标志...AI模型AI智能kotaemon核心GraphRAG、Agent、多模态代码解读！
要说最近RAG方面火热的项目当属kotaemon，短时间暴涨8kstar一个开源、清晰、强大且可定制的RAGUIkotaemon的亮点是可定制化RAGUI，核心技术点是混合索引（Vector、Keyword、GraphRAG）、复杂推理Agent（ReAct、ReWOO、MemoryGIST和GraphReader）、多模态。混合索引（GraphRAG）混合索引主要是指：全文和矢量融合，这里还有一个选型就是集成了RAG的新范式：GraphRAG看代码直接用的微软GraphRAG检索后重排采用LLMRerankerR...GraphRAGAgent代码巧妙应用机器学习引导科研理解
图1：理解物理现象的途径有很多，其中原因α产生结果β。(a)不受控制的观察会导致原因和结果之间的松散联系。(b)结合已知物理定律的精心设计的实验可以得到简单的因果关系，但为复杂现象设计这样的实验可能极具挑战性。(c)通用的机器学习（ML）模型（神经网络）通过优化许多参数来拟合复杂数据，但解析这些黑箱（例如，数百万个）参数的意义是非常困难的。(d)包含一些限制或简化操作（白色）的机器学习模型使得识别复杂现象的因...机器学习应用ML工具
