回放
回放
回放
AI.x社区
- 登录/注册
社区头条
微调大型语言模型（LLM）的五个技巧
原创数据质量、模型架构以及偏见缓解方面的专家建议开发人员可以掌握LLM微调来提高人工智能开发的性能和效率。为什么微调至关重要大型语言模型（LLM）配备了处理广泛任务的通用能力，包括文本生成、翻译、提取摘要和回答问题。尽管LLM的性能表现非常强大，但它们在特定的任务导向型问题或特定领域（例如医学和法律等）上仍然效果不佳。LLM微调是指对预训练好的LLM进行进一步训练，使用更小、更具体的数据集，以增强其在特定领域任务...LLM大型语言模型人工智能AdaBoost分类器完全图解
原创本文将通过完整的源码与图解方式向你展示AdaBoost算法运行逻辑，并指出其优点与不足，还将其与随机森林算法进行对比分析。简介每个人都会犯错，即使是机器学习领域最简单的决策树也存在这个问题。AdaBoost（自适应增强）算法不会忽略这些错误，而是会做一些不同的事情：它会从这些错误中学习（或适应）以变得更好。与一次生成多棵树的随机森林不同，AdaBoost算法从一棵简单的树开始，并识别它错误分类的实例。然后，它会构建新...AdaBoost机器学习算法对话华为云马会彬：AI原生应用变革，本质上是一场「从1到 0」的创新
嘉宾马会彬编辑云昭出品51CTO技术栈（微信号：blog51cto）进入2024年，业界对于生成式AI的注意力开始转向应用层。AI编程领域的Cursor、AI生成视频领域的可灵、自动驾驶领域的Robotaxi等，都取得了很大的突破。据有关媒体报道，2024年创投界在AI应用层上的投资规模整体超过了模型层。这种转变的背后，折射出业界对于大模型的认知发生了新变化。为什么AI应用会成为今年的焦点？华为云高级技术专家马会彬对此表示，“这背后是因为...华为云马会彬AILangChain-RAG必备：向量数据库如何CRUD
今天我将带领大家，以最为基础的CRUD入手来看看向量数据库应该如何使用。考虑到目前市面上的向量数据库众多，每个数据库的操作方式也无统一标准。「本文将基于LangChain提供的VectorStore类中的统一操作方法，以chroma向量数据库作为示例进行演示。」向量数据库新增LangChain的VectorStore类是一个通用的向量数据库的接口，它可以对接不同的底层向量数据库，如chroma、faiss、annoy等，实现统一的操作方法和API。VectorStore类...LangChainCRUD数据库多模态大模型能力评测基准全面综述：理解、推理、生成、应用、趋势
精华随着人工智能的快速发展，多模态大型语言模型（MLLMs）已经成为理解视觉数据和语言上下文的关键技术。这些模型能够处理和生成结合文本、图像和其他模态的内容，但如何有效评估它们的性能一直是个挑战。本文通过全面回顾现有的多模态基准测试，为研究人员提供了评估MLLMs性能的工具和方法，这对于推动人工智能技术的发展具有重要意义。多模态大型语言模型（MLLMs）的快速发展为人工智能带来了重大进步，显著增强了理解和生成多模...多模态大模型生成
直播
已累计开展直播 25 场
更多 已开设好课 124 个
更多
最新动态
【大奖征文】AIGC创新先锋者征文大赛悬赏召集
置顶
社区头条🎉🎉敲黑板！社区首个征文大赛华丽丽开始啦📣📣现在报名参加「AIGC创新先锋者征文大赛」创作内容，发帖成功即可获得阳光普照奖，此外更有机会获得键鼠套装、定制周边等多重好礼！还等什么，赶紧来参加！！！🌟🌟⏰活动时间：9月26日11月30日🌟参与活动可获得如下好礼：🎁好礼一：活动期间，只要发布1篇合格的带话题文章，即可获得阳光普照奖：成为AI.x社区AIGC开发者体验官，免费获得AIGC学习资料、线下技术沙龙席位、求职岗位...AIGC创新先锋者征文【智汇金秋创造季】智汇成海，致敬开发者的“超级码力”！
置顶 社区头条
热门内容榜 • 最近上榜
随着秋风送爽，我们迎来了硕果累累的季节。在这一年中程序员最特别的日子——1024程序员节，我们向改变世界的代码“魔法师”们致敬！51CTOAI.x社区联合Google携手打造【智汇金秋创造季】，汇聚技术的力量，助力每一位开发者将创意和热情转化为现实。🍁活动简介在这个收获的季节，我们为开发者们准备了一系列精彩活动，包括专业课程学习、创新技术应用案例，以及开发者“超级码力”投票活动。让我们一起探索、学习和创新，让这个...谷歌Google测试时训练(TTT)太强了！
论文笔记分享，标题：TheSurprisingEffectivenessofTestTimeTrainingforAbstractReasoning测试时训练（TTT）是个新概念：在推理过程中使用从输入数据派生的损失暂时更新模型参数文章的结论：TTT显著提高了ARC任务上的性能，与基线微调模型相比，准确率提高了高达6倍；将TTT应用于一个8B参数的语言模型，在ARC的公共验证集上达到了53%的准确率，将公共和纯神经网络方法的最新水平提高了近25%。通过将我们的方法与最近的程序生成...训练TTTLoRASeed-Music：字节跳动的AI音乐大模型，让每个人都成为音乐家
音乐，作为人类情感表达的重要艺术形式，一直以来都在不断演进与发展。在人工智能技术蓬勃发展的今天，音乐创作领域迎来了一位强有力的“伙伴”—seedmusic。字节跳动凭借其卓越的技术实力，推出了这款令人瞩目的AI音乐生成大模型，它正在以全新的方式重塑音乐创作的版图，让音乐创作变得更加触手可及，充满无限可能。一、seedmusic概述seedmusic是字节跳动精心打造的一款AI音乐生成大模型。它的核心使命是将用户简单的输入转化...字节跳动AI音乐大模型Extract-Refine-Retrieve-Read (ERRR)：优化大语言模型的RAG（检索增强查询）
原文：QueryOptimizationforParametricKnowledgeRefinementinRetrievalAugmentedLargeLanguageModels一、研究背景与挑战在自然语言处理领域,大语言模型(LLMs)取得了显著进展。这些模型通过在海量语料上进行训练,展现出理解人类文本和生成高质量响应的卓越能力。然而,大语言模型存在一个重要的局限性它们难以准确捕捉信息的动态更新。因为这些模型是在静态语料库上预训练的,当面对最新或不常见的信息时,它们往往会生成过时或不准...大语言模型RAG使用Cursor和Claude AI打造你的第一个App
1Cursor简介Cursor是一款人工智能代码编辑器，基于VisualStudioCode开发，具备无缝集成的AI功能。它支持多种人工智能模型，能够与OpenAI、Anthropic、Google和Azure等主流平台实现集成。在实际使用中，Cursor与Claude3.5模型的配合效果尤为理想，这一模型被成功应用于应用程序的开发过程中。2开始使用Cursor首先，需要在设备上安装Cursor。安装完成后，创建账户并登录。登录后，可以创建一个新的文件夹，从头开始编写代码。对于...CursorClaudeAI微软、Anthropic正在拉满大模型的情绪价值
原创编辑星璇出品51CTO技术栈（微信号：blog51cto）再过3天，ChatGPT就要迎来它的第二个生日了，GPT推出也已经6年了。到目前为止，大型语言模型（LLM）一直在有效发展。它们真实、敏捷且足智多谋。甚至可以说它们在检索信息方面接近完美。但是作为“信息传递工具”，又如何呢？在最近接受ReidHoffman采访时，MicrosoftAI首席执行官MustafaSuleyman表示：“AI研究人员通常倾向于忽视信息传递工具的重要性。考虑到理解和响应人类情感...微软AnthropicChatGPTLLaVA-o1：第一个能够进行自发、系统推理的视觉语言模型，类似于 GPT-o1
原创 精华01、概述近年来，随着人工智能技术的快速进步，视觉语言模型（VLM）开始在多模态任务中崭露头角。然而，相较于文字生成领域的巨头如GPTo1，这些模型在处理复杂视觉问答任务时表现得力不从心。它们通常缺乏系统的推理能力，无法有效组织信息，导致对图片和文字的组合理解存在明显局限。针对这一痛点，由北京大学、清华大学、鹏城实验室、阿里巴巴达摩院和美国李海大学联合研究团队推出了一款全新的视觉语言模型——LLaVAo1。这一...LLaVA-o1大语言模型Qwen开源强大、多样、实用的Qwen2.5-Coder系列（0.5B/1.5B/3B/7B/14B/32B）
原创01、概述在软件开发的世界里，智能、高效、专业的编程语言模型始终是行业发展的关键推动力。尽管现有的编程模型在自动化代码生成、自动补全和推理方面已经取得了显著进展，但仍然存在不少问题，诸如在处理多样化的编码任务时效率不高、缺乏领域特定的专业性，以及在现实编程场景中的应用困难。尽管大型语言模型（LLM）不断崛起，专门针对代码的模型却往往难以与其专有的同行竞争，尤其是在通用性和适用性方面。这使得业界对于一...大语言模型OuteTTS-0.1-350M 发布：一种新颖的文本到语音 (TTS) 合成模型，利用纯语言建模，无需外部适配器
原创01、概述在日益增长的语音合成需求中，文本转语音（TTS）技术快速进步，但也面临不少挑战。传统TTS模型往往依赖复杂的多模块架构，如深度神经网络、语音合成器、文本分析器等适配器，以生成自然的人类语音。这种复杂度带来了大量资源消耗，对设备的要求极高，使得许多设备无法轻松使用。尤其是个性化的语音生成和应用场景，传统TTS技术往往需要庞大的数据集和较高的硬件配置，对此，OuteAI发布了OuteTTS0.1350M，为TTS领域带来...大语言模型【多模态 & 文档智能】一次多模态大模型表格识别解析探索小实践记录
表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路前期文章也介绍了传统视觉的方法进行表格结构识别的方法，【文档智能】轻量级级表格识别算法模型SLANet关于表格识别在这里就不做过多的介绍了。国庆期间，笔者利用一个较长的时间段，训练了一个多模态的表格识别模型，效果还不错，特此记录一下多模态的效果。训练...多模态文档智能微调大型语言模型（LLM）的五个技巧
原创 社区头条数据质量、模型架构以及偏见缓解方面的专家建议开发人员可以掌握LLM微调来提高人工智能开发的性能和效率。为什么微调至关重要大型语言模型（LLM）配备了处理广泛任务的通用能力，包括文本生成、翻译、提取摘要和回答问题。尽管LLM的性能表现非常强大，但它们在特定的任务导向型问题或特定领域（例如医学和法律等）上仍然效果不佳。LLM微调是指对预训练好的LLM进行进一步训练，使用更小、更具体的数据集，以增强其在特定领域任务...LLM大型语言模型人工智能【文档智能】轻量级级表格识别算法模型-SLANet
原创前言前面文档介绍了文档智能上多种思路及核心技术实现《【文档智能&RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路》，表格识别作为文档智能的重要组成部分，面临着复杂结构和多样化格式的挑战。本文介绍的轻量级的表格识别算法模型——SLANet，旨在在保证准确率的同时提升推理速度，方便生产落地。SLANet综合了PPLCNet作为基础网络，采用CSPPAN进行特征融合，并引入Attention机制以实现结构与位置信息的精...文档智能SLANet图解DSPy：Prompt的时代终结者？！
DSPy是一种编程模型，旨在改进语言模型（LM）在复杂任务中的使用方式。传统上，LM使用特定的提示模板（Prompt）进行控制，这些模板是基本前期大量的尝试而找到的预设指令。DSPy通过将LM流水线抽象为文本转化图谱，例如被其他申明模块触发的LM的命令计算图谱。1.PromptEngineering要理解DSPy，需要先理解提示词工程PromptEngineering。提示词工程也称之为上下文提示词或者上下文学习。它指的是在不更新模型权重的情况下引导LLM的...DSPyPrompt大模型LLM实践系列-细聊LLM的拒绝采样
最近学强化的过程中，总是遇到“拒绝采样”这个概念，我尝试科普一下，争取用最大白话的方式让每个感兴趣的同学都理解其中思想。拒绝采样是LLM从统计学借鉴过来的一个概念。其实大家很早就接触过这个概念，每个刷过leetcode的同学大概率都遇到过这样一个问题：“如何用一枚骰子获得17的概率？”答案很简单：把骰子扔两次，获得6636种可能的结果，丢弃最后一个结果，剩下的35个结果平分成7份，对应的概率值便为17。使用这种思想...LLM拒绝采样映射【RAG&多模态】再看多模态RAG进行文档问答的方案
先说结论：这篇文章的方法和前面介绍的两个多模态RAG的工作非常相似，可以看看往期介绍：【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索【RAG&多模态】多模态RAGVisRAG：基于视觉的检索增强生成在多模态文档上的应用M3DOCRAG同样也指出，现有的方法要么专注于单页文档的多模态语言模型，要么依赖于基于文本的RAG方法，这些方法使用OCR等文本提取工具。然而，这些方法在实际应用中存在困...RAG多模态【多模态&RAG】多模态RAG ColPali实践
原创关于【RAG&多模态】多模态RAGColPali：使用视觉语言模型实现高效的文档检索前面已经介绍了（供参考），这次来看看ColPali实践。所需权重：多模态问答模型：Qwen2VL72BInstruct，https:modelscope.cnmodelsQwenQwen2VL72BInstruct基于PaliGemma3B和ColBERT策略的视觉检索器：ColPali（LoRA）：https:huggingface.covidorecolpaliColPali（基座）：https:huggingface.covidorecolpaligemma3bmix448base多模态检索问答实践...多模态RAGColPali4种革新性AI Agent工作流设计模式全解析
AIAgent的四种关键设计模式如下：反思：LLM检查自己的工作，以提出改进方法。使用工具：LLM使用网络搜索、代码执行或任何其他功能来帮助收集信息、采取行动或处理数据。规划：LLM提出并执行一个多步骤计划来实现目标。多智能体协作：多个AI智能体一起工作，分配任务并讨论和辩论想法，提出比单个智能体更好的解决方案。1.反思如图1所示，反思模式允许AIAgent在完成任务后对自身的输出进行再次审视和评估。在这种模式下，AIAge...AIAgent模式HunYuan MoE：聊一聊 LLM 参数量、计算量和 MFU 等
一、背景最近在看腾讯最新混元大模型的Paper时（[2411.02265]HunyuanLarge:AnOpenSourceMoEModelwith52BillionActivatedParametersbyTencent[1]），看到了如下关于计算Budget的公式由于我们的工作中也会经常根据计算资源Budget评估LLM预训练时间，而该公式与我们平常的计算方式不太一致；此外，如下图所示，我们也看到很多文章中将上述公式中的第二项理解为长序列情况下Attention的额外计算开销，而将6ND>9.6ND看成Router引入的...LLM参数量MFURAG系统的检索机制真的需要那么"完美"吗？
1、重磅揭秘：RAG系统的检索机制真的需要那么"完美"吗？在人工智能领域，RAG（检索增强生成）技术正在成为解决大语言模型局限性的关键方案。但是，一个有趣的问题出现了：RAG系统中的检索部分，真的需要追求100%的准确性吗？最近，一项研究给出了令人意外的答案。这项研究首次深入探讨了RAG系统中检索器和阅读器两大组件的关系。研究团队通过大量实验发现，即使降低检索准确度，对最终的问答效果影响也相对较小。换句话说，我们...RAG系统效率一文彻底搞懂深度学习 - 模型评估（Evaluation）
原创深度学习广泛应用于图像识别、语音识别、自然语言处理等多个领域。模型通过大量数据的学习和训练，能够自动提取数据中的特征，并基于这些特征进行预测和分类。如何准确评估这些模型的性能，确保它们在实际应用中能够表现出色，就需要依赖于模型评估这一关键环节。在模型评估中，我们通常会使用各种评估指标来衡量模型的性能。分类问题常用准确率、精确率、召回率和F1分数等指标；回归问题则使用均方误差、平均绝对误差等指标。...深度学习模型评估IdentifyMe：一个具有挑战性的长文本指代消解基准测试
1引言共指消解（CR）是文本理解的一个基本任务。尽管LLMs在广泛的NLP任务上取得了巨大进展，但它们在CR上的表现相对不尽人意，甚至在指称检测上也面临困难。通过广泛分析，Gan等人（2024）的工作已经确定，在典型的CR设置中，由于基于跨度的输出格式不适合LLMs，因此低估了LLMs出色的指称理解能力。他们建议调整CR数据集和任务指标，以支持LLMs的评估。沿着这些思路，我们创建了IdentifyMe基准测试，用于MCQ格式的指称消解，这...LLMsMCQIdentifyMe使用MCTS显著提升LLM在复杂任务的推理能力
精华一、概述•Title:ReasoningwithLanguageModelisPlanningwithWorldModel•URL:https:arxiv.orgabs2305.14992•Code：https:github.commaitrixorgllmreasoners•Demo:https:github.commaitrixorgllmreasonersblobmaindemo.ipynb1Motivation•尽管COT表现不错，但是当前LLM在生成plan、复杂数学推理、逻辑推理时仍然表现不够好。•LLMs缺乏内部“世界模型”来预测世界状态（例如环境状态、中间变量值）并...MCTSLLMMCTS超强！一区直接写！基于SSA+Informer-SENet故障诊断模型
1模型创新点介绍1.1时序特征捕捉与建模使用Informer的编码器层来捕捉长故障信号时序依赖特征长时间序列处理：传统的RNN和LSTM等方法在处理长时间序列时存在计算效率低、梯度消失等问题。Informer通过改进Transformer架构，使用ProbSparseSelfAttention机制，有效地提高了计算效率，特别是对于长时间序列数据。全局特征提取：通过多头注意力机制，Informer能够捕捉序列数据中的全局特征和长时间依赖关系，确保对故障信号的时序特...SSASENet模型RAG 应用效果不太理想？试试以下RAG优化策略大幅提升问答效果
原创自从2022年12月ChatGPT横空面世以来，AI领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮AI热潮相比于之前的AI，最大的区别在于：生成式。通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、Mistral、BERT等都是LLM，LLM是对训练文本信息的压缩，同时拥有了泛化能力，不同于数据库和搜索引擎，LLM能创造性地生成历史上没有出现过的文本内容。虽然LLM...RAGLLM大模型对于Advanced RAG系统，你不得不知道的三个阶段优化技巧
原创我阅读了一篇有关"AdvancedRAG"的论文，在阅读这篇论文后，我发现其中的一些概念和技术具有很高的实用价值。接下来，我将结合我在公司的实践经验，分享以下RAG系统的三个阶段的优化：预检索和数据索引技术检索技术检索后处理预检索和数据索引技术使用LLM增加信息密度如果来⾃异构数据源（例如PDF、抓取的⽹络数据、⾳频记录）的⾮结构化数据没有经过特定处理，信息密度比较低下，包含不相关的信息和或噪⾳，或者有很多信息重复...RAGGraphRAG与传统RAG怎么选？二者的融合方案是什么
原创最近工作比较忙，一直在重构公司现有的RAG推荐系统。在给GraphRAG提交了几个PR并成功合并后，暂时没有继续对GraphRAG做出更多贡献。然而，最近同事和粉丝纷纷私信我，他们最常问的问题有："什么时候应该使用GraphRAG？"，"在哪些场景下应该使用传统的RAG"以及"我们目前在公司使用的是传统RAG，那要如何与GraphRAG相结合呢？"。为了系统地解答这些问题，我决定写一篇文章，对这些问题进行详细的探讨。我将先从多个方面解释Grap...GraphRAGRAG自回归和Rectified Flow完美融合统一多模态理解和生成！DeepSeek&北大等开源JanusFlow
论文链接：https:arxiv.orgpdf2411.07975github链接：https:github.comdeepseekaiJanus亮点直击统一多模态框架：提出JanusFlow，一个同时处理图像理解和文本到图像生成任务的统一模型，解决了任务分离带来的架构复杂性问题。创新优化策略：采用任务解耦和表示对齐两大关键策略，提高理解与生成任务的独立性与语义一致性。卓越性能表现：在多模态理解与文本到图像生成基准测试中超越现有专用模型和统一模型，取得领先成绩。紧凑...模型生成AI像人一样操控电脑：多模态AI Agents和屏幕交互新范式
原创编者按：未来我们与计算机的交互方式将发生怎样的变革？当AI能像人类一样自如地操控电脑和手机，我们的工作方式会有什么改变？本文深入剖析了Anthropic、微软和苹果三大科技巨头在突破这一瓶颈上的最新进展。通过解读他们各自独特的技术路线——从Anthropic采用像素计数方式实现精准导航，到微软将界面解析为结构化数据，再到苹果专注于移动端的多模态交互方案，文章为我们展现了AI驱动屏幕交互的未来图景。作者TulaMasterman编...AILLMsAI AgentsAI Agent大爆发！微软刚刚发布大量商用AI Agent，全民智能体！
今天凌晨，微软在芝加哥召开“Microsoftignite2024”全球开发者大会，AIAgent成为本次大会的重点。微软发布的这些AIAgent包括简单易用的开发、维护一站式平台AzureAIFoundry、AzureAIAgent，同时也有集成在Microsoft365、Dynamics365等主打产品。这体现出了微软力推AIAgent商业化的决心。这些AIAgent的基础模型全部由OpenAI的GPT4o、o1提供技术支持，可视化操作界面简单易用，没有编程经验的业务人员也能快速完成开发，同时内置...智能体生成AdaBoost分类器完全图解
原创 社区头条本文将通过完整的源码与图解方式向你展示AdaBoost算法运行逻辑，并指出其优点与不足，还将其与随机森林算法进行对比分析。简介每个人都会犯错，即使是机器学习领域最简单的决策树也存在这个问题。AdaBoost（自适应增强）算法不会忽略这些错误，而是会做一些不同的事情：它会从这些错误中学习（或适应）以变得更好。与一次生成多棵树的随机森林不同，AdaBoost算法从一棵简单的树开始，并识别它错误分类的实例。然后，它会构建新...AdaBoost机器学习算法GraphRAG新增文件对已有知识库影响有多大？缓存又是何时失效？一文带你探究到底
原创在使用LLM应用时，我们经常会遇到需要向知识库中添加新文件的需求。传统的RAG通过对chunk进行embedding来处理这种情况，并且新文件的加入不会影响之前生成的chunkembedding。但是，GraphRAG的处理方式有所不同。由于其索引过程涉及多个pipeline阶段，因此可能会产生一些问题：当新文件加入时，是否需要对已有的文件重新进行索引？缓存在这个过程中起到了什么作用？哪些workflow需要重做？带着这些问题，我们来一探究竟。GraphRA...知识图谱GraphRAGRAGRAG工作流哪种组合效果最佳？深入探究RAG领域最佳实践
原创检索增强型生成（RAG）技术已被证明在整合最新信息、减少错误想象以及提升回应质量方面非常有效，特别是在特定领域中。虽然已经提出了许多旨在通过查询依赖的检索来增强大型语言模型的RAG方法，但这些方法仍然受到其复杂实现和延长响应时间的影响。通常，一个RAG工作流涉及多个处理步骤，每个步骤都可以以不同的方式执行。那么哪些处理步骤的组合能起到好的效果呢？今天给大家分享一篇相关的论文：RAG领域的最佳实践[1]。1.介...RAGLLM大模型Omnivision-968M：最小多模态模型，为边缘设备而生！
原创 精华 热门内容榜 • TOP7最近在HuggingFace上有一个开源多模态模型引起了广泛关注：Omnivision968M。这款模型以其不到1B参数量的小巧体积（仅968M参数量）脱颖而出，成为目前市场上最小的视觉语言模型之一。Blog:https:nexa.aiblogsomnivisionModel:https:huggingface.coNexaAIDevomnivision968MOmnivision968M🚀Omnivision968M是由NexaAI这家创业公司推出（与国内做CMOS闻名的同名半导体企业Omnivision无关）。NexaAI的愿景是打造先进的端...多模态模型【技术前沿】FlashAttention-2：深度学习中的高效注意力机制新突破
一、引言在深度学习领域，尤其是自然语言处理和计算机视觉任务中，Transformer模型凭借其强大的性能已成为主流架构。然而，Transformer模型中的注意力机制虽然有效，但往往伴随着高昂的计算成本和内存消耗。为了解决这一问题，研究人员不断探索新的方法以优化注意力机制的性能。近期，FlashAttention2的提出为这一领域带来了新的突破。本文将详细介绍FlashAttention2，探讨其如何在保持精确性的同时，实现快速且内存高效的注意...深度学习性能应用前景o1的风又吹到多模态，直接吹翻了GPT-4o-mini
开源LLaVAo1：一个设计用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVAo1独立地参与到总结、视觉解释、逻辑推理和结论生成的顺序阶段。LLaVAo1超过了一些更大甚至是闭源模型的性能，例如Gemini1.5pro、GPT4omini和Llama3.290BVisionInstruct。基础模型与LLaVAo1的比较。基础模型Llama3.211BVisionInstruct在推理过程中有明显的缺陷，整个推理过程中出现了几个错误。相比之下，LLaVAo1首先概述问题，从图像中解释相关...o1GPT视觉解释解密心智理论：从人类社会到人工智能的集体智慧提升之路
精华 社区头条集体智慧（CollectiveIntelligence，CI）在许多领域都扮演着至关重要的角色。无论是在经济学、进化理论，还是在神经网络和社会性昆虫的研究中，集体智慧都展现出了其广泛的应用前景。在经济学中，市场行为往往可以被视为一种集体智慧的表现，个体的决策汇聚成市场的集体行为，这种现象在信息传播、价格形成等方面尤为明显。在进化理论中，集体智慧则体现在物种的协同进化过程中，例如蚂蚁和蜜蜂的群体行为，这些社会性昆虫通过...人工智能优化群体系统LangChain-RAG必备：向量数据库如何CRUD
社区头条今天我将带领大家，以最为基础的CRUD入手来看看向量数据库应该如何使用。考虑到目前市面上的向量数据库众多，每个数据库的操作方式也无统一标准。「本文将基于LangChain提供的VectorStore类中的统一操作方法，以chroma向量数据库作为示例进行演示。」向量数据库新增LangChain的VectorStore类是一个通用的向量数据库的接口，它可以对接不同的底层向量数据库，如chroma、faiss、annoy等，实现统一的操作方法和API。VectorStore类...LangChainCRUD数据库2024时序预测都有哪些经典工作—总结篇
在这个系列里，圆圆会带大家梳理2024年时间序列预测领域的经典工作，涉及多个优化方向。在这一节里，会为大家整体介绍2024年的时间序列一些具有突破性进展的领域。后续章节将持续在知识星球中更新，深入解读和串联这些领域的相关工作。1.时间序列基础模型2024年是时间序列预测与大模型深度结合的元年，涌现了很多时间序列基础模型和大模型中建模方法在时间序列预测的应用。一方面，今年出现了很多类型的时间序列基础模型，希望...时序预测LLM扩散模型对话华为云马会彬：AI原生应用变革，本质上是一场「从1到 0」的创新
社区头条嘉宾马会彬编辑云昭出品51CTO技术栈（微信号：blog51cto）进入2024年，业界对于生成式AI的注意力开始转向应用层。AI编程领域的Cursor、AI生成视频领域的可灵、自动驾驶领域的Robotaxi等，都取得了很大的突破。据有关媒体报道，2024年创投界在AI应用层上的投资规模整体超过了模型层。这种转变的背后，折射出业界对于大模型的认知发生了新变化。为什么AI应用会成为今年的焦点？华为云高级技术专家马会彬对此表示，“这背后是因为...华为云马会彬AINano-graphrag: 轻量级、灵活的 GraphRAG 实现
微软提出的GraphRAG很有效，但是官方实现和使用都很复杂，不易修改和定制。近日，网络上出现一个国人开发的更简洁、易用且高度可定制的版本实现——nanographrag，它保留了核心功能，同时提供了更友好的用户体验。值得一提的是之前介绍的fastgraphrag也受到了该项目的启发。nanographrag核心特点是其简洁性、易用性和可定制性。代码量仅为1100行（不包括测试和提示），是官方实现的紧凑高效替代品。它设计为轻量级、异步和完全...GraphRAGLLM函数多模态大模型数据构造方法
原创本文将以LLaVA和MiniGPT4为例介绍多模态大模型数据构造的方式。数据质量是决定多模态模型性能的关键因素。高质量的数据能够减少噪声干扰，提高模型的学习和预测准确性。同时多模态数据的多样性直接影响模型的泛化能力。一个包含丰富多样数据的集合能够训练出更加健壮的模型，使其能够在不同的应用场景中表现良好。本文以LLaVA和MiniGPT4为例，介绍相关多模态数据的构造过程，给大家在训练或者微调自己的多模态模型提供思路。L...多模态大模型数据构造大模型面经—如何评估显卡利用率及显卡运用优化方法
原创本篇总结了显卡利用率评估方法及显卡运用优化方法。本篇来总结一些显卡优化的经验，还是按照面经的形式给出，希望能给到大家一些实际训练效率优化的帮助下面是一个快捷目录。一、如何评估显卡利用率？二、如何优化显存利用率？一、如何评估显卡利用率使用deepseed时，zero3如果没有nvlink，多卡训练下会变慢很多，下面有三种方法来评估训练时发挥了多少GPU性能。1.flops比值法采用Nvidia可参考的显卡峰值计算速度进行计算gpu...大模型面经再谈大模型检索增强生成——RAG
原创“RAG的核心部件有大模型，embedding模型和检索系统；而RAG的重点和难点都在于检索系统”RAG检索增强生成——也是很多人理解的本地知识库，但RAG和本地知识库还是有很大区别的；但这不是今天讨论的重点，重点是为什么会有RAG技术，以及RAG技术解决了哪些问题？大模型存在的几个主要问题，知识的局限性实时性和幻觉问题以及隐私数据RAG并不能完全解决幻觉问题，但可以减少幻觉的发生incontextlearning语境学习上下文学习RAG与大...RAG大模型训练大模型时，显存都哪去了？
原创GPT2（XL）有15亿个参数，使用16位精度，一个参数占用2个字节的内存，因此这些参数大约占用3GB的内存。按照如下超参数设置：优化器→Adam批量大小→32变换层数量→48序列长度→1000要想在单个GPU上训练GPT2，所需的最小内存大概是多少？答案可能会吓到你。在一个拥有32GB内存的单个GPU上，几乎无法训练一个3GB的GPT2模型。但这怎么可能呢？内存都去哪了？让我们来了解一下。模型在训练过程中有很多方面会持续占用内存。1)优化器...大模型一文彻底搞懂自然语言处理 - 贝叶斯统计（Bayesian Statistics）
原创在NLP领域，联合概率和条件概率是基础且重要的概念，它们与贝叶斯统计方法紧密相关。联合概率指多个事件共同发生的概率，条件概率则描述某事件在特定条件下的发生概率。贝叶斯定理通过结合先验概率和条件概率，更新文本中事件发生的概率估计，这在垃圾邮件过滤、命名实体识别和情感分析等NLP任务中至关重要。贝叶斯统计则基于贝叶斯定理来推断未知参数或事件发生的概率，从而提升了NLP模型在处理文本数据时的准确性和效率。Ba...自然语言处理贝叶斯统计超GPT-4o，1240亿参数！最强开源多模态模型 Pixtral Large！
今天凌晨，法国著名开源大模型平台Mistral.ai，开源了超大多模态模型——PixtralLarge。PixtralLarge有1240亿参数，支持128K上下文，能理解文本、图表、图像等，也是Mistral.ai自家聊天助手leChat目前正在使用的视觉模型。支持中文、法文、英文等十多种主流语言。根据测试数据显示，PixtralLarge在MMMU、MathVista、ChartQA、DocVQA、VQAv2等基准测试的数据，超过了GPT4o、Gemini1.5Pro、Claude3.5Sonnet、Llama3.290B，成为目...模型开源5岁小孩哥和ChatGPT深聊45分钟，AI成带娃利器！
OpenAI联合创始人兼总裁GregBrockman，转发了一个特殊的ChatGPT实际用例。一位5岁小孩用高级语音模式与ChatGPT深聊了超过45分钟，并且在聊天的过程中问了很多问题，ChatGPT细心为他解答了这些难题并且从头至尾都保持着耐心，这对于幼儿教育领域来说非常有开创性。分享这个案例的是《永远不够》的作者、Tiny的联合创始人AndrewWilkinson。他的5岁儿子是从关于汽车是如何制造的问题开始的，ChatGPT以一种他能够理解的方式解释了这...ChatGPTAIVLM版o1超越一众开源和闭源模型！LLaVA-o1：多阶段自主推理（北大&清华&阿里等）
论文链接：https:arxiv.orgabs2411.10440亮点直击引入了LLaVAo1，这是一种专为系统性推理设计的视觉语言模型，在需要结构化思维和推理的任务中表现出色。证明了LLaVAo1使用阶段级束搜索具有推理时的可扩展性。这意味着通过增加计算资源，本文的方法性能可以进一步提升，从而适用于更复杂的任务和场景。在各种基准测试上的广泛实验表明，本文的方法相较于更大规模和闭源模型实现了更优异的性能，凸显了LLaVAo1在多模态推理中的有...AI模型提升人工智能性能的三种关键的LLM压缩策略
原创 社区头条在当今快节奏的数字环境中，依赖人工智能的企业面临着新的挑战：运行人工智能模型的延迟、内存使用和计算能力成本。随着人工智能快速发展，幕后推动这些创新的模型变得越来越复杂、资源密集。虽然这些大模型在处理各种任务中取得了出色的性能，但它们通常伴随着很高的计算和内存需求。对于威胁检测、欺诈检测、生物识别登机等实时人工智能应用，提供快速、准确的结果变得至关重要。企业加快实施人工智能的真正动机不仅在于节省...人工智能LLM机器学习开源新发布｜PolarDB-X v2.4.1 增强企业级运维能力
PolarDBX开源脉络2021年10月在云栖大会上，阿里云正式对外开源了云原生分布式数据库PolarDBX，采用全内核开源的模式，开源内容包含计算引擎、存储引擎、日志引擎、Kube等。2022年1月，正式发布2.0.0版本，新增集群扩缩容、以及binlog生态兼容等特性，兼容maxwell和debezium增量日志订阅，以及新增其他众多新特性和修复若干问题。2022年3月，正式发布2.1.0版本，全面提升PolarDBX稳定性和生态兼容性，其中包含基于Paxos的三副本...人工智能
