AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
大模型微调：Hugging Face Transformers全流程实战
原创随着大模型在人工智能领域的兴起，如何将其应用于垂直领域成为关键问题。本文描述了模型微调技术，通过调整预训练模型的参数，使其适应特定任务，从而提升模型在特定领域的表现。文中以Yelp数据集为例，详细介绍了如何使用HuggingFaceTransformers框架对BERT模型进行微调，实现评论星级分类任务。文档涵盖了微调的背景、主流手段、架构和工具，并深入讲解了微调的思路和实践步骤，包括数据预处理、模型选择、超参数设置、训练评...大模型人工智能AI模型对 AI 产品定价模式的新思考：基于人数 or 工作量？
原创 精华编者按：传统的基于用户数量的定价模式是否还适用于AI产品？我们今天为大家带来的这篇文章中，作者提出：AI产品应该采用基于工作量的定价模式，而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在AI产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使用AI工具，而另一些人可能几乎不碰。这不仅会增加企业的不必要开支，还可能阻碍AI工具在整个组织中的广泛应用和创新。作者分享了他们在AI产...LLMsAI定价模式字节憋大招，中国版Sora该有的样子！
原创编辑言征出品51CTO技术栈（微信号：blog51cto）字节终于又跳动了一把！昨天，字节豆包大模型冷不防就公开了一个新品大招！9月24日，深圳。字节对于大模型领域的雄心壮志再度升级，不等OpenAI的Sora发布，视频生成领域，字节要当No.1。字节就是这样，总在看似寻常的更新会议上，放出惊艳的大招！划重点：不负大家对于字节的期待，全新的豆包视频生成模型实在威力惊人，活动现场非常火爆！图片巡展开始，火山引擎总裁谭待宣布了豆...字节中国版SoraTransformer结构优势 ,How Much Attention Do You Need?
前言本期基于凯斯西储大学（CWRU）轴承数据，进行Transformer的结构优势进行讲解，结合论文《HowMuchAttentionDoYouNeed》，探索不同模块对故障分类任务的影响力。1《HowMuchAttentionDoYouNeed》1.1论文解析论文提到三个观点：（1）Sourceattentiononlowerencoderlayersbringsnoadditionalbenefit(x4.2).解释：SourceAttention：通常指的是在编码器（encoder）中，模型关注输入序列的不同部分的机制。在Transformer中，编码器...Transformer机制解码器微软：RAG并不是你唯一的解决方案！
将外部数据整合到LLMs中的技术，如检索增强生成（RAG）和微调，得到广泛应用，但在不同专业领域有效部署数据增强LLMs面临着重大挑战：从检索相关数据和准确解释用户意图到充分利用LLMs的推理能力来处理复杂任务对于数据增强LLM应用来说，没有一种放之四海而皆准的解决方案。应用落地性能不佳往往是由于未能正确识别任务的核心焦点，或者任务本身就需要多种能力结合，必须被分离出来以获得更好解决方案。数据增强LLM应用中不同查...微软RAG微调Google Research Scholar和DeepMind奖学金支持项目：多智能体系统中的合作弹性
精华韧性，即系统在面对破坏性事件时的承受、适应和恢复能力，是一个跨学科的重要概念。在生态学中，韧性指的是生态系统在受到干扰后恢复到原始状态的能力；在工程学中，韧性涉及系统在故障或攻击后恢复功能的能力；在心理学中，韧性则描述了个体或群体在面对压力和逆境时的应对和恢复能力。经济学、社会科学、网络科学等领域也都对韧性进行了广泛研究。在人工智能（AI）领域，特别是合作人工智能（CooperativeAI）中，韧性的重要性...项目多智能体系解读AI大模型，从了解token开始
精华上次《科普神文，一次性讲透AI大模型的核心概念》一文中，我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。但是收到不少非技术背景的小伙伴反馈，相关的算法内容的解释技术性还是太强，很难完全理解。所以这次，题主从最基础的概念“token”着手，跳过了复杂的算法逻辑，这次一定让你建立起对AI大模型工作原理的清晰认知。什么是token？最小的语义单元你可能会好奇，大规模语言模型是...AI大模型token一文总结特征增强&个性化在CTR预估中的经典方法和效果对比
在CTR预估中，主流都采用特征embedding+MLP的方式，其中特征非常关键。然而对于相同的特征，在不同的样本中，表征是相同的，这种方式输入到下游模型，会限制模型的表达能力。为了解决这个问题，CTR预估领域提出了一系列相关工作，被称为特征增强模块。特征增强模块根据不同的样本，对embedding层的输出结果进行一次矫正，以适应不同样本的特征表示，提升模型的表达能力。最近，复旦大学和微软亚研院联合发布了一篇特征增强工作...MLPCTR模型谷歌发布Gemini模型重大更新，OpenAI、Anthropic反击，竞争仍在继续
9月24日，谷歌发布了两个更新版的Gemini模型：Gemini1.5Pro002和Gemini1.5Flash002。此次更新带来了多项重要改进：性能提升：MMLUPro测试提高约7%数学相关测试提高约20%视觉理解和代码生成提高27%整体响应更有帮助，减少了拒绝回答的情况价格下调：Gemini1.5Pro模型价格大幅降低，最高降幅达64%。此措施将于2024年10月1日生效。使用限制放宽：Gemini1.5Flash：2000RPMGemini1.5Pro：1000RPM速度提升：输出速度提高2倍，延迟降低...谷歌模型OpenAI文档概要索引，简单提升检索性能的新选择
原创今天介绍了一种全新的LlamaIndex数据结构：文档摘要索引。将描述它如何比传统语义搜索提供更好的检索性能，并通过一个示例进行了演示。背景大型语言模型(LLM)的核心用例之一是针对自己的数据进行问答。为此，我们将LLM与“检索”模型配对，该模型可以对知识语料库执行信息检索，并使用LLM对检索到的文本执行响应合成。这个整体框架称为检索增强生成（RAG）。目前，大多数构建LLM驱动的QA系统的用户倾向于执行以下操作：获取源文...大型语言模型LLMRAGRAG高级优化：检索后处理模块成竹在胸
原创通过上文的方法RAG高级优化：一文看尽query的转换之路，我们召回了一些相关片段，本文我们将介绍在将召回片段送入大模型之前的一些优化手段，它们能帮助大模型更好的理解上下文知识，给出最佳的回答：LongtextReorderContextualcompressionRefineEmotionPromptLongtextReorder根据论文LostintheMiddle:HowLanguageModelsUseLongContexts，的实验表明，大模型更容易记忆开头和结尾的文档，而对中间部分的文档记忆能力不...RAG提高LLM安全性的分步指南
原创随着LLM持续火爆，如何实现其安全性成为组织必须思考的关键问题。在过去一年中，关于大型语言模型（LLM）的讨论激增，这促使许多组织开始思考：我们应该如何保护人工智能？安全影响又是什么？要回答这些问题，最好先了解一下LLM的运作原理。首先，我们简要介绍一下LLM和LLM应用程序是什么？LLM安全性与传统安全性有何不同？什么是保护LLM的良好框架？我们如何实现这些框架？从某种角度来看，LLM的兴起就像当初的社交网络，试想...大型语言模型LLMGenAI轻松解析本地PDF表格，基于LlamaIndex和UnstructuredIO打造RAG
1使用LlamaIndex和UnstructuredIO检索数据在数据检索领域，LlamaIndex以其强大的工具和技术，为用户带来了全新的检索体验。这个框架的亮点在于索引系统的灵活性，用户可以根据文档的具体内容，量身定制索引策略，以适应不同的文档结构。每种索引都设计得独具匠心，能够精准匹配各种文档结构，确保信息检索的准确性和高效性。对于包含大量表格的PDF文件，建议使用LlamaIndex推荐的RecursiveRetriever。这种递归检索技术的精髓在...PDFLlamaIndexRAG一篇大模型Agent最新综述
嘿，大家好！这里是一个专注于AI智能体的频道最近这2篇综述有点撞车了，不是纯正的Agent综述，可以了解一下最新的应用测的Agent发展情况！现实中的Agent系统会面临很多的挑战，常见的有以下几点：感知模块的探索不足：当前研究中对LLMbasedAgent的感知模块探索不够，尤其是在处理代码这类特殊文本输入时，缺乏对树图结构等高级输入模式的研究。角色扮演能力的需求：Agent常常需要在不同任务中扮演多种角色，如代码生成器、测试...模型AgentAPIAgent工作流记忆 - 让AI助手更聪明地完成复杂任务
今天我要跟大家分享一篇很有意思的论文,题目是《AgentWorkflowMemory》,也就是"Agent工作流记忆"。这篇论文提出了一种新方法,让AI助手(我们称之为Agent)能更好地完成复杂的网页任务。背景:AI助手的挑战首先,我们来聊聊这个研究的背景。现在的AI技术已经非常强大了,特别是像GPT这样的大语言模型(LLM),它们可以进行对话、回答问题,甚至可以帮我们完成一些简单的任务。但是,当面对复杂的、需要多个步骤才能完成的任务时,AI助手还是...AgentAI助手AGI进入千日冲刺？奥特曼深夜长文警告：如果没有足够的AI基础设施，可能会引发战争！
原创奥特曼深夜发文！引来无数网友围观。谈起心目中的“智能时代”，奥特曼又一次重申：可能在几千天内，我们就会拥有AGI！图片奥特曼说，“在未来几十年，我们将能够做到一些对我们的祖父母来说似乎像魔法一样的事情。”而纵观历史，人类的能力扩展不外乎受惠于科技的发展，“我们之所以更有能力，并不是因为基因的改变，而是因为我们受益于社会基础设施比任何一个人都要聪明和更有能力；从某种重要意义上说，社会本身就是一种先进...AGIAI奥特曼突发！OpenAI被黑客入侵，发布虚假加密Token激励，首席科学家、首席技术官纷纷中招，马斯克也在入侵名单
原创编辑星璇出品51CTO技术栈（微信号：blog51cto）OpenAI什么时候不光卖大模型的token，也开始卖加密货币的token（代币）了！？许多网友还以为OpenAI在落一招大棋子，但真相却是一场黑色幽默：OpenAI被骗子钓鱼了！一、OpenAI官方账号遭骗子入侵，发行加密代币近两年来OpenAI名声大火，已经开始有不轨之徒冒充OpenAI官方账号来散步虚假信息、甚至被利用来窃取用户凭据。美东时间，9月23日下午晚些时候，OpenAINewsroom（OpenAI最近...OpenAITokenICOOpenAI o1推理模型基础入门
原创本文介绍了如何使用OpenAIo1预览版和o1迷你版，用于决策、编码以及从头开始构建一个端到端机器学习项目。在GPT5备受期待的同时，OpenAI发布了一种先进的语言模型，它可以在认真思考后做出反应，具备与博士生相当的智能。这种改进版模型向前迈出了一大步，提供了实用的解决方案，而不是遗漏指令或产生幻觉。我们在这篇博文中将介绍OpenAI的o1推理模型及其特别之处和值得注意的方面。然后，我们将使用ChatGPT访问o1预览版和o1迷...OpenAIo1推理模型机器学习快速理解 GraphRAG：构建更可靠、更智能的 Chatbot
原创编者按：传统的检索增强生成（RAG）技术在处理需要深入理解实体关系的问题时常常力不从心，那么有什么新的技术可以突破这一限制吗？本文深入探讨了GraphRAG技术，这一创新方案通过将非结构化文本转化为结构化知识图谱，巧妙地解决了上述难题。GraphRAG能显著提升AI系统理解和回答复杂问题的能力，尤其在跨时代、跨学科的问题上表现出色。作者也指出了实施GraphRAG面临的挑战，包括知识图谱构建的复杂性、可扩展性问题以及维护成...AIGraphRAGLLMQwen2-VL全面解读！阿里开源多模态视觉语言模型，多项超越GPT4o与Claude 3.5-Sonnet
文章链接：https:arxiv.orgpdf2409.12191Github链接：https:github.comQwenLMQwen2VL亮点直击本文介绍了Qwen系列大型视觉语言模型的最新成员：Qwen2VL系列，该系列包括三款开放权重模型，总参数量分别为20亿、80亿和720亿。如图1所示，Qwen2VL的关键进展包括：在各种分辨率和宽高比上的最先进理解能力：Qwen2VL在视觉基准测试中表现出色，包括DocVQA、InfoVQA、RealWorldQA、MTVQA、MathVista等。对长时间视频（超过20分钟）的...AI模型
