AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
AI技术新前沿本地LLM模型推理训练加速
原创在自然语言处理（NLP）的广阔天地中，大型语言模型（LLM）以其卓越的文本处理能力，引领着智能应用的新潮流。然而，如何高效、安全地在本地环境中部署和运行这些模型，成为了一个待解决的问题。本文将深入探讨七种主流的本地LLM推理框架，评估它们的性能、特性及应用场景，为您提供全面的技术选型参考。一、HuggingFace的transformers是一个Python库，可以简化本地运行LLM的过程。技术特性：提供超过40种模型架构，支持150多种...AIGC大模型再次提升RAG性能：两种高效的Rerank模型实践指南
原创在高级RAG应用中，检索后处理环节至关重要。Rerank技术通过重新排序检索出的文档块，确保与用户问题更相关的信息排在前面，从而提高语言模型生成答案的质量。在这个环节中，可以做一些诸如相似度过滤、关键词过滤、chunk内容替换等处理。其中，Rerank（重排序）是一种常见的，也是在RAG应用优化中很常见的一种技术处理环节。本文介绍了两种被广泛认可的Rerank模型：CohereRerank模型和bgererankerlarge模型，并提供了使用指南。...大模型RAGSpring AI：如何采用Java编写生成式人工智能应用程序
原创译者李睿审校重楼生成式人工智能(GenAI)是当今科技界的一个热门话题。它是人工智能的一个子集，专注于创造新的内容，例如文本、图像或音乐。GenAI组件的一种流行类型是大型语言模型(LLM)，它可以根据提示生成类似人类的文本。检索增强生成(RAG)是一种基于外部知识来源来提高生成式人工智能模型准确性和可靠性的技术。虽然大多数GenAI应用程序和相关内容都以Python及其生态系统为中心，但如果采用Java编写GenAI应用程序应该怎么...人工智能生成式人工智能LLM-based Agent在B端商业化的技术探索与实践
原创嘉宾欧迪佐编辑李美涵出品51CTO技术栈（微信号：blog51cto）本文整理自快手高级技术专家欧迪佐在WOT2024大会上的主题分享，更多精彩内容及现场PPT，请关注51CTO技术栈公众号，发送【WOT】即可直接领取。日前，在51CTO主办的WOT全球技术创新大会上，快手高级技术专家欧迪佐带来了主题演讲《LLMbasedAgent在B端商业化的技术探索与实践》，围绕着B端商业化的业务场景，详细介绍了构建Agent技术平台的实践经验与深入思考，为观众呈...LLM商业化技术哈佛DeepMind开辟「虚拟神经科学」新领域！在世界模拟器驯养「赛博老鼠」
人类和动物能够轻松灵活地移动，这是一种进化奇迹，目前还没有任何机器人能够完全模仿这种能力。如何能让机器人变得更加敏捷？科学家为了解决这个问题，选择从动物身上寻找答案，又开始用小白鼠做起了实验——毕竟成年老鼠的智力与8岁儿童相当，而且它们四肢相当灵活，对自己的身体有着精妙的控制能力。如果能通过老鼠破解大脑控制运动的密码，建立一个将控制原理与行为动物的神经活动结构联系起来的模型，那就再好不过了。《献...生物学模拟ChatGPT无法取代人类程序员！ IEEE 35页论文测出困难编码正确率仅为0.66%
精华有了ChatGPT，还需要人类程序猿编码吗？上个月，一项发表在IEEETSE期刊（TransactionsonSoftwareEngineering）上的研究评估了ChatGPT所生成的代码在功能性、复杂性和安全性方面的表现。结果显示，ChatGPT生成可用代码的能力差异很大。其成功率从0.66%到89%不等，这主要取决于任务的难度、编程语言等多种因素。论文地址：https:ieeexplore.ieee.orgdocument10507163具体来说，研究人员测试了GPT3.5在5种编程语言（C、C++、Java、...ChatGPT程序员彻底改变交互的九大基于语音的生成式AI助手
原创译者布加迪审校重楼基于语音的生成式AI助手正在悄然改变我们与技术交互的方式，取得了微妙而又重大的进步。这些AI助手不再只是响应命令，而是变得更直观简单、更有同理心，还能够理解复杂的人类情感和环境。虽然进展似乎是渐进式的，但AI助手的功能在迅速增强。本文深入介绍了几款领先的基于语音的生成式AI助手。1.GPT4o首先，OpenAI的GPT4o更先进，更有能力创建拥有众多功能的复杂应用程序，这证明了它的“发展”程度更高，能...人工智能AI助手大神卡帕西强烈推荐：通过做项目来学习，坚持“1万小时定律”
我们似乎正步入一个全新的计算范式，类似于计算机技术在1980年代的转型。我们正在进入的新范式，大语言模型就像CPU一样，使用Token而不是字节，并且有一个上下文窗口而不是RAM，这就是大语言模型操作系统（LargeLanguageModelOS,LMOS）。随后在18分钟左右的演讲中，Karpathy分享了从15年前初次接触人工智能至今的感受。过程中还回顾了在OpenAI的经历，描述了公司从八个人在公寓里工作到如今成为市值近千亿美元的行业巨头。不过...模型计算机谷歌推出全新模型，将Transformer与NAR相结合
Transformer架构的出现极大推动了大模型的技术创新，诞生出了ChatGPT、Coplit、讯飞星火、文心一言等一系列生成式AI产品。虽然Transformer在自然语言理解任务上表现很好,但在算法推理方面有严重的缺陷。例如，当面临超出训练数据分布的输入时,其泛化能力会急剧下降。这主要是因为它们的自回归性质和掩蔽注意力机制,不符合算法输出的逻辑顺序。而神经算法推理(NAR)在结构化输入上表现好，能够处理各种算法任务，并且在面对训练集...数据训练OpenAI Altman圆桌：AGI可以创造100万亿美元财富，十年内世界GDP翻一番
原创出品51CTO技术栈（微信号：blog51cto）OpenAICEOSamAltman和好友AirbnbCEOBrianChesky与NBC主持人LesterHolt展开了一场圆桌讨论。对话广泛涵盖了人工智能(AI)在日常生活和工业应用的各个方面的普遍影响，强调了AI能力的不断增强将给社会带来的广泛变化。Altman提到，希望AI技术持续给人类带来利益，让他们在自己所做的事情中发挥出最佳状态。以下是经过整理的圆桌全文：1.AI技术的渗透：每个行业都将被AI改造主持人：感谢大家来...OpenAIAGIGDP中国AI大模型论文数量全球第一，清华力压麻省理工、斯坦福
论文是研究新技术、开发新产品获取“图纸”的重要途径之一，OpenAI的研究人员正是借鉴了Transformer的论文（被引用超过9万次），才开发出了对全球各行业影响巨大的产品ChatGPT。而论文的数量、通过率和被引用次数是衡量一个国家科技人才素质，以及技术创新能力的重要标准之一。根据美国最古老大学之一乔治城大学的数据分析平台ETO，在今年5月发布的最新调查报告显示：2017—2022年期间，全球一共发布了125.5万篇与AI相关的论文...AI模型苹果开源视觉模型界的“瑞士军刀”，能执行数十种任务
苹果和瑞士洛桑联邦理工学院的研究人员联合开源了大规模多模态视觉模型——4M21。多数大模型通常针对特定任务或数据类型进行优化，这种专业化虽然能确保在特定领域的高性能，但也限制了模型的通用性和灵活性。例如，开源模型StableDifusion只能用于文生图，即便是Gemini这种多模态模型，也只能生成和解读图片。而4M21只有30亿参数，却可以提供图像分类、目标检测、语义分割、实例分割、深度估计、表面法线估计等数十种功能，基...苹果开源Web2Code：适用于多模态大模型的大规模网页转代码数据集与评估框架
一、结论写在前面论文标题：Web2Code:ALargescaleWebpagetoCodeDatasetandEvaluationFrameworkforMultimodalLLMs论文链接：https:arxiv.orgpdf2406.20098项目链接：https:mbzuaillm.github.iowebpage2code多模态大型语言模型（MLLMs）在图像、视频和音频等多种模态的理解和生成任务中展现了显著的成功。然而，现有的MLLMs在理解网页截图并生成相应HTML代码方面表现惊人地差。为了解决这一问题，这是一个由高质...多模态大模型转代码AI四大方向 分布生成可信永续
原创AI技术持续神速突破，正贯穿软硬件并跨各行产业应用，由数字化升级到AI化，带来人类生活与产业的各种变革。AI技术持续神速突破中，已然成为全球数字化的主流，也正贯穿软硬件并跨产业应用，从关键零组件、智能装置、软件、平台、应用服务等，正在形成人工智能产业生态。AI技术持续进步，融合各种新旧技术如云端、物联网、大数据、VR／AR／XR等成为各种AIoT新应用，AI成为各行各业的数字化升级到AI化，带来人类生活与产业的各种...人工智能生成式AI微软重磅开源 GraphRAG：新一代 RAG 技术来了！
原创 精华1、为什么需要GraphRAG？7月3日，微软重磅开源了基于图的RAGGraphRAG。在GitHub上发布后，短短4天时间，该项目迅速获得了6000Stars！足见这个项目的热度！Github地址：https:github.commicrosoftgraphrag强化主流大模型，比如：GPT4o、Qwen2、文心一言、GLM4、Llama3的搜索、问答、摘要及推理等功能，RAG已成为这些国际国内知名AI大模型不可或缺的核心技术。过往的RAG实践多沿袭简约路线：文档简化为文本字符串，切割为零碎段落...GraphRAGRAGMMLU-Pro：新的 LLM 评估基准
一、背景上一篇文章（LLM评估汇总：真的吊打LLaMA3，媲美GPT4吗？）我们简单汇总了一些常见的LLM评估指标，以及在收集这些指标时遇到的问题。最近在看[2405.19327]MAPNeo:HighlyCapableandTransparentBilingualLargeLanguageModelSeries时发现其提到了MMLUPro评估集，之前没有接触到，与此同时又正好看到了对应的Paper，这里简单进行介绍。MAPNeo和MMLUPro的部分作者是相同的。对应的Paper：[2406.01574]MMLUPro:AMor...LLM评估基准PWM: 基于世界模型的策略学习
原创强化学习（RL）在复杂任务上取得了令人瞩目的成果，但在具有不同实施方式的多任务设置中存在困难。世界模型通过学习环境的模拟来提供可伸缩性，但它们通常依赖于低效的无梯度优化方法。近日，佐治亚理工学者联合英伟达、加州大学圣地亚哥分校等学者提出了基于大世界模型的策略学习（PWM），这是一种新颖的基于模型的RL算法，它从大型多任务世界模型中学习连续控制策略。通过对离线数据进行世界模型的预训练，并将其用于一阶梯度...强化学习PWM你想要的GraphRAG的内容都在这了
最近微软终于开源了他的GraphRAG，短短7天就集齐了6.7KStar。那GraphRAG到底是个啥？？？图片GraphRAG的论文实际上要比代码开源早很多，论文应是今年4月份在Arxiv上发表的，但是代码是这个月1号才正式上传开源。图片项目开源地址：https:github.commicrosoftgraphrag项目帮助文档：https:microsoft.github.iographragpostsgetstarted1.为什么要提出GraphRAG？RAG，又称检索增强生成（RetrievalAugumentedGeneration）。RAG目前...GraphRAGRAGLLM可扩展性长文本评测集——Ada-LEval 详细解读
长文本评测随着大模型能够处理的上下文信息越来越多，达到百万级别的词汇量，人们对于模型长文本能力的研究兴趣也随之增长。这些工作基于一些开源自建的数据集构建样本，其构建评测集上的性能已可以一定程度上反映模型的能力。因此，在长文本评测这一工作里，我们认为一个好的长文本评测集应该具备以下性质：样本长度可控：测试样本的上下文长度最好是可控的，以便于测量和比较模型在各个上下文长度下的能力变化（若测试集由不...模型APIGPT-4RegMix-用回归任务解决大模型数据混合问题
写在前面大型语言模型在预训练过程中，如何选取数据的混合比例（利用较少的Tokens来实现较小的Loss从而加速预训练过程）是一个复杂和关键的问题。手动确认数据集中各个组成的比例是不可扩展的，并且很可能不是最优选择。今天给大家介绍一个用回归任务解决大模型数据混合问题的方法RegMix。其核心思想是，利用不同的数据混合比例先训练多个小模型并获取其结果，在利用这些样本训练一个回归模型，再遍历所有比例利用回归模型找到...大模型数据回归任务
