AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
AI大模型时代，Agent智能体开发的三重境界
原创一、第一重境界：当作能理解语义的API使用Agent智能体第一重境界，可以把大型语言模型看成一个特别的API，它能读懂人类语言。就像我们平时调用其他API那样，我们向智能体提问，它就能给出经过自己思考的答案。这个阶段的智能体，通常是把这种读心术般的语言理解力融入到标准的软件流程中，给软件添加智慧升级。它的作用主要围绕着理解并处理文字，比如：生成文本、做内容概括等，这些都离不开它强大的语言理解能力。工作起来，...AI大模型AgentLlama3实操增强的三种方式：RAG/Agent/Function Calling！！！
原创1、Llama3的RAG增强以下Github链接展示了从头开始使用LangGraph和Llama38B构建可靠的智能体。它将3种先进RAG技术（自适应RAG、纠正性RAG和自我RAG）的思想结合起来，形成LangGraph中的单一控制流程。https:github.comlangchainailanggraphblobmainexamplesraglanggraphragagentllama3local.ipynb方式一：自适应RAG路由，将问题路由到不同的检索方法。方式二：纠正性RAG后备方案，如果文档与查询不相关，则回退到网页搜索WebBrow...Llama3谷歌重磅发布CAT3D：一分钟搞定任意数量视图到3D场景重建
论文链接：https:arxiv.orgpdf2405.10314项目链接：https:cat3d.github.io3D重建的进步使得高质量的3D捕捉成为可能，但需要用户收集数百到数千张图像来创建一个3D场景。本文提出了CAT3D，一种通过多视点扩散模型模拟这种现实世界捕捉过程的方法，可以在3D中创建任何东西。给定任意数量的输入图像和一组目标新视点，本文的模型生成高度一致的场景新视图。这些生成的视图可以作为输入，用于稳健的3D重建技术，从而生成可以实时从...3D图像生成当AI遇上架构师：谁将主导未来？
原创架构师的核心能力是面对不同的业务场景给出合适的架构设计方案，Balance平衡设计就是架构师最重要的能力，没有之一。在AI大模型时代，AI大模型正在重新定义软件的范式。在当前，世界正在重新定义软件的背景下，作为一名架构师应该如何应对？面临哪些机会和挑战？本文来做一些探讨。1、AI大模型是新质生产力对程序员来说，我们现在正经历着时代的大转折。就好比以前马车时代，马是最重要的动力来源；到了汽车时代，汽车就成了主...AI大模型大模型应用的六种架构模式，你知道几种？
原创架构设计模式已成为程序员的重要技能。然而，当我们转向大模型应用领域，情况可能会有所不同。面对新兴技术，比如：生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。根据多年的架构设计经验，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，比如：成本问题、延迟问题以及生成的幻觉等问题。1、路由分发架构模式当用户输入一个Prompt查询时，该查询会被发送到路...大模型基于LangChain自查询检索器的RAG系统开发实战
原创本文介绍RAG(检索增强生成)技术并基于LangChain框架的自查询检索器来开发一个实战型电影推荐系统。引言最近，我在浏览Max.com网站时想找一部电影看。通常，这个过程包括浏览系统呈现给我的各种列表，阅读一些相关描述，然后挑选一些看起来有趣的电影。如果我知道我想看的电影的片名或我喜欢的演员的名字，我通常只会点击搜索功能。否则，搜索就没有多大用处了。现在，我突然想到了一个新的想法：为什么我不能用自然语言来查找一...LangChain电影推荐系统RAG系统开发从Claude 3中提取数百万特征，首次详细理解大模型的「思维」
精华刚刚，Anthropic宣布在理解人工智能模型内部运作机制方面取得重大进展。Anthropic已经确定了如何在ClaudeSonnet中表征数百万个概念。这是对现代生产级大型语言模型的首次详细理解。这种可解释性将帮助我们提高人工智能模型的安全性，具有里程碑意义。研究论文：https:transformercircuits.pub2024scalingmonosemanticityindex.html当前，我们通常将人工智能模型视为一个黑匣子：有东西进去就会有响应出来，但不清楚为什么模型会...模型思维Hinton万字访谈：用更大模型「预测下一个词」值得全力以赴
精华「这份访谈的每一秒都是精华。」最近，图灵奖得主GeoffreyHinton的一个访谈视频得到了网友的高度评价。视频链接：https:www.youtube.comwatchvtP4njhyGvo&t660s在访谈中，Hinton谈到了很多话题，包括当前大模型的技术路线、多模态学习的重要性、数字计算与共享知识、智能系统的意识与情感以及他的合作者和优秀学生……Hinton认为，大型语言模型通过寻找不同领域的共同结构来进行编码，这种能力使它们能够压缩信息并形成深层次的...模型预测拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾？这个现象叫做LLM的中间迷失（LostintheMiddle），是大模型当前仍面临的最大挑战之一。毕竟，LLM现在的上下文长度已经冲到了百万级别，而难以处理中间的信息，会使得LLM在评估大量数据时不再可靠。Midjourney对于LostintheMiddle的理解其实，我们人类也有类似「中间迷失」的毛病，心理学上叫「Primacyrecencyeffect」，感兴趣的读者可以参见：https:www.scie...GPT-4训练微软深夜再掀AI生产力革命，奥特曼登台「自曝」新模型！定制Copilot十亿打工人狂欢
精华AI生产力的革命，微软怎会缺席？在今天的开发者大会上，曾经誓要「颠覆」10亿打工人的Copilot，依然是全程的主角。没想到70年后，还是要靠微软重新定义软件不仅有Copilot加持的全新AIPC，日常生活助手Copilot，还有为全世界开发者提供的AI工具堆栈。更惊喜的是，SamAltman竟然在发布会的最后，被CTOKevinScott请上了台！两人开场先是一波寒暄，然后共同感慨，这简直是疯狂的一周，疯狂的一年！针对前段时间的OpenAI离职潮，奥特...微软AI微软Copilot+PC之后还有大招！牵手GPT-4o后能力简直王炸！奥特曼也来build现场了！
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）昨天，微软震撼发布的Copilot+PC，被大赞终于是真正的AIPC了！今天，在AI领域里拳打谷歌，脚踢苹果的微软又在build大会中狠狠地秀了一把肌肉。宣布要将Windows打造成人工智能最开放的平台和开发人员的最佳场所！图片毕竟是一场总计更新60+产品和解决方案的大会，今天的高亮就有不少：GitHubCopilot可扩展性的体验，尤其是面向企业用户对协作能力进行了提升AzureAI中的新前沿模型和...GPT-4o微软参数曝斯嘉丽曾拒绝为ChatGPT配音：GPT-4o语音上线前夕，这款最像“Her”的语音却下架了！
原创编辑伊风出品51CTO技术栈（微信号：blog51cto）OpenAI的离职潮还风波未平。另一边，ChatGPT语音模式中的“Sky”突然被宣布下架。OpenAI在推文中说：我们听到有人质疑我们如何选择ChatGPT中的声音，尤其是Sky。我们正在努力暂停Sky的使用，同时解决这些问题。消息一经发出，X上的网友顿时哀嚎一片，甚至威胁将投奔谷歌的产品。图片这都因为Sky是最好的、最性感的、最像斯嘉丽·约翰逊所饰演的《Her》的音色——这也正是Sky引起争...GPT-4oChatGPT配音拒绝AI生成代码！开源操作系统陆续举起“禁令”，Debian尚无行动
原创整理丨诺亚出品51CTO技术栈（微信号：blog51cto）当下，AI的崛起已成大势。但是，当AI的触角伸向开源操作系统时，一些社区陆续亮起了“红灯”。先是Linux发行版Gentoo在四月中旬发布了一项理事会政策，禁止使用AI工具生成的代码；随后，类UNIX操作系统NetBSD也于五月通过更新其提交指南，添加了类似规定。短短一个月间，Gentoo和NetBSD的明确表态引发了广泛的讨论：在AI的辅助下，我们真的能写出更好的代码吗？这些禁令的发布仅...AI代码系统震惊！首个植入人体芯片发生故障！
刚刚迎来人体试验100天的Neuralink，却传来了让人意外的消息。这家由科技巨匠马斯克创立的脑机接口公司，其植入人类大脑的首个侵入式大脑芯片，竟然出现了故障。该公司在一篇博客中透露，他们嵌入人类大脑的首个侵入式大脑芯片出现故障，神经元监视线似乎已从参与者的大脑中脱落。究竟是什么原因导致这些线从大脑中脱落？脱落了多少根连接线？这些移位线是否对人体构成安全威胁？目前，这些问题都还没有明确的答案。但这一事件...人体芯片故障斯坦福学者提出sim2real解决方案TRANSIC: 通过在线纠正学习进行模拟到真实政策转移
原创在模拟中学习并将学到的策略转移到现实世界有潜力实现通用型机器人。这种方法的关键挑战是解决模拟到现实（simtoreal）之间的差距。先前的方法通常需要先验的领域特定知识。研究人员认为获得这种知识的一种简单方法是让人类观察并协助机器人在现实世界中执行策略。然后机器人可以从人类那里学习以消除各种模拟到真实的差距。研究人员提出了TRANSIC，这是一种基于人机协作框架的数据驱动方法，以实现成功的模拟到真实转移。TRANS...通用型机器人大模型开始进入收益递减的时代？
目前人们好像已在接受这样的观点：“大语言模型(LLMs)正在以指数速度进步。”就在几天前，宾州大学沃登商学院（TheWhartonSchool)的EthanMollick教授在一篇广受关注的博客文章中声称，“目前对LLMs的能力评估显示，LLM的能力每5到14个月翻一番”。实际上Mollick教授引用的研究并未显示他所声称的内容。如果你仔细阅读，它没有提到能力的提高。它显示的是模型在达到给定性能水平所需的计算资源变得更有效率，“达到给定性能水平...模型收益递减基于多级注意力机制的并行预测模型
前言本文基于前期介绍的电力变压器（文末附数据集），介绍一种基于TransformerBiGRUGlobalAttentionCrossAttention并行预测模型，以提高时间序列数据的预测性能。电力变压器数据集的详细介绍可以参考下文：电力变压器数据集介绍和预处理1模型整体结构模型整体结构如下所示，多特征变量时间序列数据先经过基于多头注意的Transformer编码器层提取长期依赖特征，同时数据通过基于GlobalAttention优化的BiGRU网络提取全局...预测模型注意力机制没有指数级数据就没有Zero-shot！生成式AI或已到达顶峰
精华生成式人工智能已经触及峰顶了吗？在大模型正火的时候提这个问题，似乎不合时宜。毕竟，随着数据和模型规模的增大、计算能力的增加，我们似乎不再怀疑拥有超强人工智能的未来。——但是！来自UniversityofTübingen、剑桥和牛津大学的最新研究，用实验告诉我们：没有指数级数据，就没有Zeroshot！论文地址：https:arxiv.orgpdf2404.04125换句话说，模型要想达到AGI水平，所需的训练数据量是我们无法提供的。根据实验数据，模型...模型数据AAAI ||透视遮挡迷雾：ADP如何革新行人重识别技术？
摘要本文旨在解决人体重识别中遮挡问题对匹配的影响。现有方法使用背景作为人工遮挡，并依赖于注意力网络排除干扰。然而，简单背景遮挡与现实遮挡之间的显著差异可能会影响网络的泛化能力。为此，作者提出了一个基于注意力干扰和双路径约束网络（ADP）的新方法，以增强注意力网络的泛化能力。首先，为了模仿真实世界中的障碍物，引入了注意力干扰掩模模块（ADM），该模块可以生成类似于真实遮挡者的攻击性噪声，从而产生更复杂...ADPADM人脸识别苹果超强视觉预训练模型助力下游任务拿SOTA！（分类、检测、分割、深度估计）
精华文章链接：https:arxiv.orgpdf2405.08911CLIP模型在zeroshot分类和检索任务中表现非常出色。但最近的研究表明，CLIP中学习到的表示并不适用于目标检测、语义分割或深度估计等密集预测任务。为了缓解CLIP在下游任务中表现不佳的问题，最近引入了多阶段训练方法。在这项工作中，发现简单地提高图文数据集中描述的质量可以改善CLIP的视觉表示质量，从而显著提升其在下游密集预测视觉任务中的表现。事实上，使用高质量描述...数据训练
