AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
MHA -> GQA：提升 LLM 推理效率
一、背景我们在之前的文章中详细分析过GQA相比MHA的推理优势（省显存、计算强度高），不过GQA有可能导致精度的损失，因此早期的一些不太大的LLM会使用MHA。针对这个问题有两种优化思路：将MHA转换为GQA，长短序列都适用。在长序列场景使用Token稀疏化方案或者结合投机采样策略。本文中我们介绍一个将MHA转换为GQA的工作，不过论文的实验还偏少，效果也不是非常好；此外，最新的模型基本都在预训练阶段默认采用GQA（LLaMA38B、...LLMMHA效率用AI实验室加速科研：让科学家专注于创意，告别琐碎！
社区头条图片1.科研难题：时间长、成本高、效率低科学发现往往是一个漫长且昂贵的过程，许多优秀的研究创意因资源限制被搁置。现有的自动化工具尝试让大语言模型（LLMs）充当“科研助手”，但却面临成果质量、可行性以及研究细节等问题。为解决这些痛点，AgentLaboratory应运而生——这是一种基于LLM的全自动科研框架，它不仅能高效完成文献综述、实验设计和代码生成，还能输出完整的研究报告。图片2.核心创新：让AI协助而非取代科学家A...AILLMLLMs中科大揭秘微调大模型的秘诀：如何精准选择数据提升AI性能
精华引言：数据选择对于微调大型语言模型的重要性在当今的人工智能领域，大型语言模型（LLMs）的发展已经达到了令人瞩目的高度，它们不仅能够生成接近真实人类语言的文本，还能够完成许多经典的自然语言处理（NLP）任务。这些模型如GPT和BERT等，通过在大规模数据集上进行预训练，已经展示出了强大的语言理解和生成能力。然而，要使这些模型在特定的下游任务中达到最佳表现，仅仅依靠预训练是不够的，这就需要通过微调（finetuning...微调大模型AI性能多Agent思想显著提升小模型工具调用能力
今天分享一篇阿里的利用Agent思想做工具调用的文章，标题为《SmallLLMsAreWeakToolLearners:AMultiLLMAgent》。其提出的多LLM代理微调框架，将工具调用拆解为三个agent（Planner、Caller、Summarizer），并结合一个二阶段的微调策略。对比单个LLM表现更为出色，性能也更为稳定，并且能够超过像ChatGPT、GPT4等闭源模型，证明了多agent思路在工具调用上的有效性。除了工具调用，或许本文的方法也可以拓展到问答的其他场景，大家...小模型工具LLM基于阿里开源Qwen2.5-7B-Instruct模型进行多代理RAG开发实战
原创 社区头条本文使用基于阿里通义千问团队开源Qwen2.57BInstruct大模型的代码代理开发一个本地多代理RAG系统的完整过程。引言大型语言模型已经展现出令人印象深刻的能力，并且随着每一代新模型的发布，它们仍在稳步改进。例如，聊天机器人和自动摘要器等应用程序可以直接利用LLM的语言能力，因为这些LLM只要求生成文本输出——这也是该类模型的自然设置。此外，大型语言模型还表现出了理解和解决复杂任务的令人印象深刻的能力，但是只要它...大型语言模型LLMRAG故障诊断一区直接写，图卷积+BiGRU-Attention 并行诊断模型
社区头条前言本期推出一种基于KNN+GCN和基于全局注意力机制优化的BiGRU并行分类模型，在故障诊断任务上效果显著！1模型简介与创新点介绍1.1模型简介在应用图卷积网络(GraphConvolutionalNetworks,GCN)到信号模式识别领域中，最关键的是如何构建数据的图结构；我们利用基于KNN的轴承故障信号预处理的方法，来构建故障信号序列的图结构，并用GCN+BiGRUGlobalAttention网络模型进行诊断识别，取得了一定精度的分类效果。1.2创新点介绍基于K...图卷积BiGRUAttention神经网络是怎么学习的？
原创“神经网络的本质就是一个数学函数，也就是yf(x)中的f”今天这篇文章主要是用来记录一个问题，神经网络是怎么学习的？这个问题是在昨天写神经网络的开发框架——PyTorch和神经网络架构——Transformer架构时突然发现的一个问题。神经网络的学习过程在学习大模型或者说神经网络的过程中，我们知道一件事就是，神经网络在设计完成之后，需要经过大量的数据进行训练；具体流程就是要把训练数据输入到模型中，然后模型经过一系列的...神经网络Transformer什么是神经网络？神经网络开发框架——PyTorch和架构Transformer的区别和联系
原创“PyTorch就是工具，而Transformer就是理论；而理论指导工具。”我们都知道大模型的本质是一个神经网络模型，因此我们学习大模型就是在学习神经网络模型；但了解了很多关于神经网络的理论，但大部分人对神经网络都没有一个清晰的认识，也就是说神经网络到底是什么？它长什么样？事实上所谓的神经网络本质上就是一个数学模型，里面涉及大量的数学运算；只不过其运算的主要数据类型是——向量，具体表现为多维矩阵。PyTorch和Tran...神经网络PyTorchTransformer2025 年最值得学习的 10 项高薪人工智能技能
原创01、概述随着2024年接近尾声，我们见证了人工智能（AI）领域的巨大进步。强大的大语言模型（LLM）重塑了我们与技术的互动方式，自主智能体的出现将生产力提升到了新的高度。每年都有新的可能性涌现，AI仍然是最令人兴奋、发展最快的领域之一。无论你是初创企业的创始人、技术开发者，还是正在考虑换个职业道路的求职者，了解未来市场的发展方向至关重要。如果你想提升技能或从头开始，了解哪些AI技能在未来几年中最具需求，可以...AI人工智能AMD发布科研Agent，论文自动化评分趋近顶会NeurIPS水平！
科学发现漫长且成本高昂，为了加速科学发现，降低研究成本，并提高研究质量，芯片厂商AMD推出了AgentLaboratory，这是一个基于自主大型语言模型（LLM）的框架，能够完成整个研究流程。AgentLaboratory接受人类研究想法和一组笔记作为输入，将其提供给一系列由LLM驱动的专门Agent组成的流程线，并产生研究报告和代码仓库。AgentLaboratory接受人类提供的研究想法，并通过三个阶段——文献综述、实验和报告撰写——来产生全面的研...AMDAgentNeurIPSHume AI 推出 OCTAVE：下一代语音语言模型，具有动态语音和个性创建等新的新兴功能
原创01、概述随着人工智能技术的不断发展，语音助手、自动转录和情感分析等领域都取得了显著的进展。我们看到越来越多的AI系统能够完成精确的语音识别和翻译任务，为我们的日常生活带来了诸多便利。然而，尽管这些系统在处理准确性和效率方面表现优异，但它们依然未能很好地捕捉到人类情感和意图的细微差别。换句话说，虽然AI能够精准地转录语音或翻译文本，但在传递和理解情感方面却存在明显的不足，这就限制了它们在许多需要情感...大语言模型运动应用（生成&克隆&迁移&编辑）全搞定！阿里通义提出动画框架Perception-as-Control
精华 社区头条文章链接：https:arxiv.orgpdf2501.05020项目链接：https:chenyingjie.github.ioprojectsPerceptionasControl亮点直击引入了3D感知运动表示，以促进精细化的协同运动控制，该表示可以被修改和感知，从而将用户意图转化为空间对齐的运动控制信号。基于3D感知运动表示，提出了一种精细化运动可控的图像动画框架，即PerceptionasControl，利用扩散模型实现精确且灵活的协同运动控制。该框架通过对用户意图的解析，可以支持多种与运...AI3D视频艾伦图灵研究所最新成果：多智能体博弈中的可纠正性和一致性
精华多智能体系统研发正在快速发展，过去一年我们曾分析41篇研究多智能体的论文，说明自主代理系统的研究正逐渐成为一个炙手可热的话题。为了使这些系统能够与人类用户和其他系统有效互动，确保其行为的可纠正性（corrigibility）和一致性（alignment）是至关重要的。1月11日，arXiv发表的艾伦图灵研究所的最新成果《OnCorrigibilityandAlignmentinMultiAgentGames》，这篇论文聚焦于多代理环境中的自主代理的可纠正性问题，并提出...艾伦图灵多智能体产品Google 发布了用于视频生成的最先进的“Veo 2”和用于图像创建的“Improved Imagen 3”
原创 精华01、概述近年来，AI视频和图像生成技术的进步不仅在视觉质量上取得了突破，还在响应用户的详细指令方面变得更加智能。对于艺术家、电影制作人、企业以及各类创意工作者而言，AI工具正打开全新的创作可能性，带来了前所未有的高精度和高效输出。这些技术不仅能够生成逼真的图像和视频，还能提供接近人类创意的“电影级”效果，满足从娱乐到广告等多领域的专业需求。然而，AI视觉生成技术的最大挑战在于如何实现更高的真实感与精...视频模型人工智能如何用 AI Agent 提升交易系统研发效率
社区头条本文将介绍如何利用AIAgent技术，帮助工程师在交易系统的研发过程中提高效率，具体从问题排查、测试数据生成、经验共享等多个角度分析，并通过案例展示其应用。一、交易系统研发中的挑战交易系统可以比作一个复杂的“千层饼”，包含大量的链路、服务和数据。任何一个环节出现问题，都会对系统的稳定性和效率产生影响。对于工程师而言，在复杂的交易系统中进行问题排查、测试和优化，如同在迷宫中寻找出口。以下是工程师在日常研...AIAgent技术谷歌、三星、LG角逐AI TV，2025大模型版新电视引围观！业内人士：失望！
原创 社区头条编辑星璇出品51CTO技术栈（微信号：blog51cto）要问CES2025上热门展品有哪些？相信很多人都会说：机器人！但眼花缭乱的审美疲劳下，不妨稍微分点时间来关注下家中常备的电视机。会展上如果你问某人他们想从2025年发布的电视中得到什么，他们会说“更多的软件和人工智能”。这也不难理解，因为早在半年前，国内外许多电视厂商就纷纷宣布要搞大模型版本的电视了！不妨一看国外电视界面的扛把子们都玩出哪些花样来。本周在拉斯维加...AI TV电视三星RAG的技术困境：为何单纯依赖向量嵌入不可靠？
原创编者按：向量嵌入技术真的能像宣传的那样精确地帮助检索和理解信息吗？检索增强生成（RAG）技术的可靠性真的像我们想象的那么高吗？本文揭示了RAG技术中最为致命的技术短板——向量嵌入技术的语义匹配可靠性。作者并非停留在批评，而是提供了一个务实的解决方案：将向量嵌入作为搜索结果的优化工具，与传统的同义词搜索等方法配合使用，而非唯一检索依据。本文系原作者观点，BaihaiIDP仅编译转载。作者MichaelWood编译岳扬在RAG...RAGLLMs频域Mask实现只需正样本的时间序列表示学习
社区头条今天给大家介绍一篇时间序列表示学习的文章，这篇文章提出了一种和对比学习不同的表示学习方法，无需显示构造负样本，避免了伪负样本影响对比学习效果的问题。论文标题：FrequencyMaskedEmbeddingInference:ANonContrastiveApproachforTimeSeriesRepresentationLearning下载地址：https:arxiv.orgpdf2412.20790v11.研究背景表示学习可用来将原始数据转换成向量，用于后续的深度学习任务。现有的表示学习基本都采用对...Mask时间序列正样本smolagents：Hugging Face 开源的Agent框架，用代码驱动 Agent 的新思路
精华 社区头条近日，HuggingFace最近开源的一个Agent项目：smolagents。相较于其它框架，它的理念和实现都比较简单。基于python开发，核心设计理念是“少即是多”。相比市面上动辄几万行代码的Agent框架，它保持了极简的风格，核心代码仅有数千行，但功能却毫不逊色。HuggingFace团队希望通过这种方式，降低Agent开发的门槛，让更多开发者能够快速上手。设计亮点smolagents的最大亮点在于其对“代码Agent”的原生支持。这意味着Agent的行为将...Agent框架代码RAG应用在得物开放平台的智能答疑的探索
社区头条一、背景得物开放平台是一个把得物能力进行开放，同时提供给开发者提供公告、应用控制台、权限包申请、业务文档等功能的平台。面向商家：通过接入商家自研系统。可以实现自动化库存、订单、对账等管理。面向ISV：接入得物开放平台，能为其产品提供更完善的全平台支持。面向内部应用：提供安全、可控的、快速支持的跨主体通讯。得物开放平台目前提供了一系列的文档以及工具去辅助开发者在实际调用API之前进行基础的引导和查询。...RAG得物开放平台
