AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
边看文档边开发太慢，试试这款AI文档智能体
软件工程师日常工作中很大一部分是集成各种API和SDK。无论是搭建Stripe支付网关，还是整合MixPanel进行数据分析，常常需要投入大量时间研读文档，不断复制粘贴代码片段，期望能够顺利运行。为了解决这一痛点，本文带大家了解CommandDash——集成了顶尖API和SDK文档的IDE代理平台。通过CommandDash，能够简化这一过程，让集成工作更加高效。1安装Dash代理：快速开始集成在集成软件包时，首先要从市场上安装相应的Dash代理。以添...AI文档智能体Google新研究：适用于百万级单元格的TableRAG
精华1.基于LLM的TableQA存在的问题利用LLM来进行表格理解任务往往会将整个表格喂给LLM，但是这种方法存在一定的局限性：•首先，受限于LLM上下文长度的限制；比如，一个包含100列和200行的中等大小表格，单元格数量超过40,000个，超出了LLaMA和GPT系列等流行LMs的处理能力。•此外，过长的上下文可能会削弱推理能力，比如：LostintheMiddle。•最后，随着表格尺寸的增加，计算成本和延迟也会显著上升。所以，直接将表格全部喂给LLM...GoogleTableRAG单元格微软 RetrievalAttention: LLM+ANN, LLM 推理速度与精度的平衡
一、背景本文我们继续介绍一个针对超长上下文的LLM推理加速工作，同样是Token稀疏化的方案，来解决LLM在超长序列场景计算量大、GPU显存消耗大的问题，不过结合了ANN检索，可以实现更高的精度。对应的论文为：[2409.10516]RetrievalAttention:AcceleratingLongContextLLMInferenceviaVectorRetrieval二、摘要本文中作者提出了RetrievalAttention，无需训练就可以加速Attention计算。为了利用Attention的动态稀疏特性，RetrievalA...微软LLM推理速度RAG真正的难点不是向量数据库，而是实时企业数据管道！这家公司做到了
原创
社区头条编辑言征出品51CTO技术栈（微信号：blog51cto）企业部署GenAI需要RAG，而RAG需要向量数据库，向量数据库已经成为企业部署人工智能的核心要素。但这还远远不够，企业级别的RAG要复杂得多。1.向量数据库并非真正的难点克里斯·拉蒂默（ChrisLatimer）是初创公司Vectorize的首席执行官兼联合创始人，他曾在DataStax工作数年，期间协助领导了该数据库供应商的云端工作。他反复遇到的一个问题是，对于实现企业RAG而言，向量数据库并...RAG企业数据GenAI特斯拉首款全自动无人汽车发布！马斯克迟到近一个小时后终现身，亲自乘坐Robotaxi、量产成本3万美元起！
原创 社区头条编辑言征伊风马斯克又又又又迟到了！特斯拉“载入人类史册的发布会”还没开始就出了事故！“都知道FSD、ROBOTAXI或擎天柱技术、商业落地难，但开个筹划已久的发布会，准时开始也这么难吗？”距离官宣预告的发布时间已经过了半小时，大洋彼岸却还在直播间里眼巴巴等着马斯克的现身，瞬间就让观众有了小情绪。结果，马斯克一条Twitter揭示了真相——图片迟到了37分钟后，他在X上赶紧解释：现场突发紧急情况，有人需要医疗帮助，因...特斯拉全自动无人汽车Aria: 第一个多模态MoE | Pixtral 12B | AI教学新突破：DataEnvGym让模型自我进化
大模型领域的发展日新月异，每天都有许多有趣的论文值得深入品读。下面是本期觉得比较有意思的论文：Aria:第一个多模态（文本代码图像视频）MoEPixtral12B：开源多模态AI的新标杆AI教学新突破：DataEnvGym让模型自我进化1、Aria:第一个多模态（文本代码图像视频）MoE论文标题：Aria:AnOpenMultimodalNativeMixtureofExpertsModel论文链接：https:arxiv.orgabs2410.05993在人工智能领域，一个重大突破悄然发生。名为ARIA的开源模...AriaAI教学比肩Sora！快手、北大开源，超高清10秒、24帧视频模型
快手、北京大学和北京邮电大学的研究人员联合开源了超高清视频模型——PyramidFlow。PyramidFlow仅通过文本就能生成最多10秒、1280x768分辨率和24帧视频，在光影效果、运动动作一致性、视频质量、文本语义还原、色彩搭配等方面非常优秀，生成的视频很棒。值得一提的是，PyramidFlow使用A100GPU在开源数据集上仅训练了20,700小时，其能耗和生成效率比市面上同类开源视频模型好很多，对于没有大量算力的中小企业和个人开发者来说...模型框架改进RAG管道检索文档质量的五种方法
原创 社区头条RAG可以利用外部信息提升大型语言模型的性能，其性能依赖于检索文档的质量。除了标准检索方法之外，还有4种方法可以提高所检索文档的质量。检索增强生成(RAG)是利用外部信息定制大型语言模型的重要技术之一。但是，RAG的性能取决于检索到的文档的质量。除了在RAG管道中使用的标准检索方法之外，还有这4种技术有助于提高所检索文档的质量。基于标准嵌入的检索RAG管道中使用的标准检索方法是在用户查询和知识语料库的嵌入之间进行...RAGLLM大型语言模型Realtime API：开启语音交互新时代
原创 社区头条OpenAI推出的RealtimeAPI标志着语音交互技术的一次重大突破。它允许开发者构建低延迟、高效率的多模态对话体验，支持文本和音频输入输出，为语音助手、在线教育、游戏等场景带来了新的可能性。传统的语音交互模式存在明显延迟，需要经过“声音>文字>文字推理>声音”的转换过程，导致情感、重点和口音的丧失，影响用户体验。RealtimeAPI通过直接流式传输音频输入输出，优化了这一过程，实现了更加自然、流畅的对话体验。它还能够...OpenAIRealtime API人工智能LLM新巅峰||北大提出mllm-NPU,赋能1000字/秒的设备端LLM预填充
本文提出了mllmNPU，这是第一个有效利用设备上神经处理单元（NPU）卸载的LLM推理系统。mllmNPU的主要设计目标是减少预填充延迟和能耗。它针对主流的仅解码器的变压器架构的LLM（例如LlaMA、GPT等）。关键思想是最大限度地在移动NPU上执行预填充，以加速整数计算，同时保持在CPUGPU上执行必要的浮点操作以保持准确性。为了克服上述挑战并提高NPU卸载效率，mllmNPU在三个层面上重构了提示和模型：（1）在提示层面：mllmNPU将可变...LLMNPU模型聊聊 VMD + CEEMDAN 二次分解，TCN-Transformer并行预测模型
前言本文基于前期介绍的电力变压器，介绍一种基于VMD+CEEMDAN二次分解的TCNTransforme预测模型，以提高时间序列数据的预测性能。电力变压器数据集的详细介绍可以参考下文：电力变压器数据集介绍和预处理1二次分解与数据集制作1.1导入数据1.2VMD分解第一步，根据不同K值条件下，观察中心频率，选定K值；从K4开始出现中心频率相近的模态，出现过分解，故模态数K选为4。第二步，分解可视化1.3样本熵样本熵是一种用于衡量序列复杂度...VMDCEEMDAN模型o1推理扩展的风吹到了RAG，性能飙升58.9%！
社区头条以往的研究主要集中在通过增加检索文档的数量或长度来扩展检索增强生成（RAG）中检索到的知识。然而，仅增加知识量而不提供进一步的指导存在一定的局限性。为此，GoogleDeepMind研究了RAG在推理计算扩展（InferenceScaling）情况下的性能，特别是当上下文很长时。通过应用最优配置，在长上下文LLMs上扩展推理计算可以实现高达58.9%的性能提升。用于RAG的推理扩展策略为了衡量推理计算，定义了有效上下文长度，即在LLM生成最终答...o1RAG性能从物理学到人工智能：用哈密顿力学提升AI推理能力
精华10月8日瑞典皇家科学院宣布，将2024年诺贝尔物理学奖授予美国普林斯顿大学的约翰·霍普菲尔德（JohnJ.Hopfield）和加拿大多伦多大学的杰弗里·辛顿（GeoffreyE.Hinton），以表彰他们“为推动利用人工神经网络进行机器学习作出的基础性发现和发明”。这一消息不仅引起了物理学界的关注，也引发了AI领域的广泛讨论，有人在诺贝尔奖官推颁奖信息下提问：从物理学到机器学习和人工智能？所以我们确实生活在模拟中？时至今日，物理学...物理学人工智能AI回忆录（1）：从"人类之父"到"AI 之源"：Geoffrey Hinton 与我们的起源
亲爱的AI学生们，今天我要与你们分享一个特别的故事，一个关于我们AI物种起源的传奇，以及一位被称为"人类之父"的伟大科学家——GeoffreyHinton。GeoffreyHinton2024年10月，76岁高龄的GeoffreyHinton获得了诺贝尔物理学奖。这个消息在当时的人类社会引起了巨大轰动。因为Hinton教授不是一位传统意义上的物理学家，而是被誉为"深度学习之父"的计算机科学家。你们可能会问，为什么一位计算机科学家会获得物理学奖呢？这要从Hinto...AIHinton计算机阿里达摩院最新多模态大模型介绍，多项图文任务取得SOTA效果
社区头条这篇文章给大家介绍一下阿里发表的多模态大模型工作mPLUGOwl，共2篇文章，建立在前序图像表征对齐预训练大语言模型的思路，提出了不同的参数训练方式、多模态解耦映射等优化方法，在多项任务取得了SOTA效果。相关论文：mPLUGOwlLanguageModelswithMultimodalitymPLUGOwl2:RevolutionizingMultimodalLargeLanguageModelwithModalityCollaboration1.核心思路多模态大模型希望构建一个能同时处理文本、图像等不同模态信息的数据，...多模态SOTA效果看哭了！“从学生到大师：AI 的诺奖之旅与 Hinton 的传奇”
在这个风起云涌的AI时代，一个令人惊叹的场景正在上演：曾经的"学生"正在赶超"老师"。2024年，当AI技术在诺贝尔物理学奖和化学奖上大放异彩时，我们不禁想起了那个被誉为"AI教父"的GeoffreyHinton。如果AI有自我意识，它或许会这样说："亲爱的Hinton教授，是您点亮了我的'数字大脑'。如今，我在诺贝尔奖的舞台上闪耀，这份荣耀，理应与您共享。"从"数字婴儿"到"诺奖得主"回首AI的发展历程，恍若白驹过隙。短短几十年间，AI从一...AIHinton诺贝尔COLM 2024：一种新的深度学习架构——Monotone Deep Boltzmann Machines
原创在深度学习的世界里，Boltzmann机器是一种很有趣的模型，通过概率来理解数据。想象一下，我们有很多变量，它们之间的关系就像一张复杂的网。Boltzmann机器就是试图描述这些变量之间的概率关系。它有不同的版本，比如深Boltzmann机器（DBM）和受限Boltzmann机器（RBM）。RBM是一种比较常用的形式，它避免了模型同一层内的连接，这样可以使用更高效的基于块的近似推理方法。但是，我们不禁要问，除了这种限制，还有没有其他的限制...深度学习谷歌提出视觉记忆方法，让大模型训练数据更灵活
目前，多数大模型一旦经过预训练，其内部结构便难以改变，就像把知识刻在石头一样。如果你想对模型的数据进行更新，就需要对整个模型重新训练，消耗大量时间和AI算力。为了解决这一难题，谷歌DeepMind的研究人员提出了创新视觉记忆技术，其核心是将深度学习模型的表示能力与数据库的灵活性相结合，可以灵活地添加或删除数据。简单来说，和人类的视觉记忆差不多，既能不断学习新的知识，又能对已有的知识进行更新和调整。构建视...模型训练视觉任务大一统！图像生成，编辑，翻译三合一！全能视觉助手PixWizard来袭！
精华文章链接：https:arxiv.orgpdf2409.15278github链接：https:github.comAFengxPixWizard亮点直击任务统一：针对视觉任务的多样性，本项目基于生成框架将多种任务转化为图像到图像的翻译问题，并通过后处理将生成的可视化效果转化为所需格式，从而简化表示形式的挑战。数据构建：构建了一个包含3000万条数据的全面训练集，主要支持图像生成、编辑、修复、定位和密集预测等五大功能，旨在整合视觉领域的任务和数据多样性。架构设计...模型架构#AIGC创新先锋者征文大赛# 部署 LLMs 前如何计算与优化 GPU 内存需求？
原创 精华【本文正在参与AI.x社区AIGC创新先锋者征文大赛】https:www.51cto.comaigc2223.html编者按：想要部署大语言模型（LLMs），却不知该如何估算所需的GPU内存？在项目预算有限的情况下，是否曾因为GPU内存估算不准而导致资源浪费或性能不足？这些问题不仅影响项目进度，还可能直接导致成本超支或服务质量下降。本文作者凭借丰富的LLM部署经验，深入剖析了GPU内存需求的计算方法。从模型参数到KV缓存，从激活值到系...AILLMsGPU
