AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
探索Transformer的演变：从基础到高级架构
原创本文探讨了Transformer从原始模型到高级架构的演变过程，并重点介绍这一过程中取得的重大进展。Vaswani等研究人员在2017年发表的开创性论文《注意力是你所需要的一切》中介绍了Transformer架构，该架构不仅彻底改变了语音识别技术，也改变了许多其他领域。本文探讨了Transformer的演变，追溯其从最初设计到最先进模型的发展轨迹，并重点介绍这一过程中取得的重大进展。原始Transformer原始Transformer模型引入了几个突破性的概...人工智能Transformer模型架构多模态大模型的构成式思维链提示
原创摘要：强大的视觉主干与大型语言模型（LLM）推理的结合，导致大型多模态模型（LMM）成为当前广泛视觉语言（VL）任务的标准。然而，最近的研究显示，即使是最先进的LMM，在捕捉属性和对象之间关系等构成性视觉推理方面仍然存在困难。一种解决方案是利用场景图（SG）——对象及其关系和属性的形式化表达，它已广泛用作连接视觉和文本领域的桥梁。然而，场景图数据需要场景图注释，这在收集方面成本高昂，因此不易扩展。此外，...多模态大模型多模态大模型学会区分大模型——大模型的分类，让你更清晰的认识大模型
原创“乱花渐欲迷人眼，学会从根本上认识问题”现在市面上大模型如百花齐放，对很多人来说一堆大模型带来的不是简单方便，而是乱七八糟以及迷茫。因为不知道不同的大模型之间有什么区别，也不知道自己需要什么样的大模型；就拿huggingface来说，上面的模型有几十万，有几个人能弄明白它们都是干什么的？因此，我们首先需要学会的就是大模型的分类，对大模型分门别类之后就知道哪些大模型是做什么的，自己需要的是什么了。大模型的分...模型多模态Devin退位！这家公司宣布打造了世界上最强编程 Agents：Genie！能模拟人类工程师思考和行动
原创不久之前，初创公司Cognition凭借其产品Devin震撼了人们。这是第一个AI软件工程师，由OpenAI的GPT4大语言模型驱动。Devin能够在自然语言文本指令下自主编写和编辑代码。不过，Devin是在2024年3月推出的——五个月前——这在快速发展的生成式AI领域可以说是一个漫长的季节。现在，另一家以“C”命名的初创公司Cosine，通过著名的YCombinator初创加速器在旧金山成立，宣布推出了他们自己的全新自主AI工程师Genie。据称，Genie在第...GenieGPT-4数据最强AI程序员砸饭碗：84秒跑通代码，像人一样思考！团队仅5人
精华继Devin之后，又一个AI软件工程师被刷屏了——它叫Genie，号称目前地表最强，已经可以像人一样思考和行动了！那么这个“地表最强”，到底强到什么程度？先来看下评测分数。在权威榜单SWEBench中，Genie以解决了30.07%问题的成绩夺得榜首。（SWEBench是一个用来评估大模型解决现实中软件问题的基准。）而这个成绩可谓是遥遥领先第二名19.27%，解锁了提升SOTA的最大增幅——57%！至于Genie的实际效果，用团队的话来说就是：它可以...AI程序员开源AI视频工具，你只需要当导演，HuggingFace工程师打造
Sora一出，视频领域似乎已经进入了生成式AI时代。不过直到今天，我们仍然没有用上OpenAI的官方视频生成工具，等不及的人们已经开始寻找其他的方法。最近几周，一款开源的视频编辑工具Clapper引发了人们的关注。与很多科技公司提供的视频生成器不同，Clapper是一款开源AI故事可视化工具，于一年前推出原型。它的设计目的并非取代传统视频编辑器，或使用3D场景作为输入的现代AI编辑器。Clapper的理念是集合各类生成式AI技术，让任...AI视频2B多模态新SOTA！华科、华南理工发布Mini-Monkey，专治「切分增大分辨率」后遗症
最近，提升多模态大模型处理高分辨率图像的能力越来越引起这个领域的关注。绝大多数方法致力于通过对图像进行切分再融合的策略，来提升多模态大模型对图像细节的理解能力。然而，由于对图像的切分操作，不可避免会对目标、联通区域带来割裂，导致MLMMs对于微小或形状不规则的目标的辨识能力。这个现象在文档理解任务中，表现极为明显，由于文字端经常被中断。针对这一挑战，华中科技大学和华南理工大学最近联合发布一个多模态大...模型生成终于有人将机器学习中的重点做成了动画
原创[SVM]手书动画✍️除了SVM，传统机器学习中还有很多其它分类、回归和聚类算法，例如逻辑回归，决策树，随机森林等集成学习方法；这里统称为模型，这些模型基本上可以通过明确的数学公式定义输入数据与输出结果之间的关系。在深度学习兴起之前，支持向量机(SVM)在机器学习领域占据主导地位。这个动画比较了线性SVM和RBFSVM。[1]给定:xi:六个训练向量(蓝色行🟦)yi:标签使用xi和yi，我们学习得到ai和b(红色边框):ai:每个训练向量i...机器学习GPT-X 模型训练优化技术设计分析
原创GPTX模型作为当前自然语言处理领域的代表性模型之一，其训练效率和性能一直是研究的重点。本文将对GPTX模型训练优化的相关技术进行详细的讲解，包括模型架构、算法优化、模型训练策略、算子优化、并行计算和深度学习加速等方面的内容。一、模型架构GPTX的模型架构基于Transformer，这是一种注意力机制的网络架构，能够处理序列到序列的任务，如机器翻译、文本摘要等。Transformer的核心组件是自注意力机制，它能够捕捉序列中的...GPT-X模型关于人工智能(大模型)泡沫即将破裂言论分析
原创“风险，对某些人来说是风险，对某些人来说是机会”最近几天看到一些关于人工智能泡沫的言论，包括网上的一些信息还有本公众号一些文章下面的评论，都有说人工智能的泡沫即将破裂。原因是因为网上有说openAI核心团队成员基本全部离职，还有就是一些人觉得人工智能没有什么用，就像元宇宙一样仅仅只是一个噱头。但真的是这样的吗？今天我们就来分析一下人工智能泡沫的言论。关于人工智能泡沫分析既然说泡沫，那么先来基本了解一...人工智能大模型情侣合照逼真到恐怖，竟被代码识出破绽？沃顿教授预言AI 18个月封神！
最近Flux的爆火，简直把所有人的三观都撼动了。不懂就问：现在网上的东西，还有什么是真的？Flux震惊全网如今，开源文生图模型Flux，俨然已经在全网掀起了一股风暴。下面这些合影，竟然全是AI生成的？简直把这位博主震惊到怀疑人生。正面特写大光圈，脸部打光、肌肉纹理、毛发，看不出丝毫破绽。注意，即使是背景板人物们，也很自然，挑不出太大毛病。镜头远一点，光线暗一点呢？也很自然。两个人物在光线明暗处的对比...AI生成大型语言模型（LLM）的历史与未来
原创大型语言模型(LLM)是现代科技的奇迹。它们的功能复杂，规模庞大，并且具有开创性的进展。本文将探索LLM的历史和未来。一、LLM的起源：NLP和神经网络大型语言模型(LLM)的创建并非一蹴而就。语言模型的第一个概念始于被称为自然语言处理(NLP)的基于规则的系统。这些系统遵循预定义的规则，根据文本输入做出决策并推断结论。这些系统依靠ifelse语句处理关键字信息，并生成预定的输出。可以将其想象成一个决策树，如果输入包含X、...LLM人工智能大型语言模型阿里巴巴提出CODEXGRAPH：打破大模型与代码库的壁垒，引领软件工程新革命
精华在现代软件工程中，大型语言模型（LLMs）在处理独立的代码任务方面表现出色，例如HumanEval和MBPP，但在处理整个代码库时却遇到了困难。这一挑战促使研究人员探索在代码库规模上增强LLM与代码库的交互。目前的解决方案依赖于基于相似性的检索或手动工具和API，每种方法都有明显的缺点。基于相似性的检索在复杂任务中往往回忆率低，而手动工具和API通常是特定任务的，需要专家知识，降低了它们在多样化代码任务和现实世界应用中...阿里巴巴模型代码库看完MindSearch源码，这就是我想要的Agent Plan！
AISearch已经成为大模型落地应用比较热门的一个场景，OpenAI也推出了自家的AI搜索引擎产品SearchGPT，同时也有非常多AISearch项目开源：Felo、OpenPerPlex、AskHackers、OpenSearchGPT等等，应接不暇。其中上周才开源的MindSearch，据称基于LLM的Web搜索引擎Multiagent框架，类似Perplexity.aiPro和SearchGPT。看完代码发现主要是由WebPlanner与WebSearcher组成：WebPlanner负责任务的拆解和动态规划WebSearcher负责对子问题进...Agent源码MindSearch多智能体合作的新路径，PRD-MAPPO的设计与实现
精华多智能体强化学习（MARL）近年来在解决复杂的决策问题上取得了显著进展。MARL系统通过多个智能体的协作，能够在诸如DOTA2、星际争霸II和旗帜争夺等复杂任务中实现超人表现。然而，这些成就的背后是巨大的计算成本和环境交互需求，通常需要数百万甚至数十亿次的环境交互，这使得这些算法只能在高成本的计算集群上运行。在多智能体系统中，信用分配问题是一个关键挑战。随着智能体数量的增加，评估每个智能体对整体成功的贡献变得...多智能体PRDMAPPO探索GLM4-ALLTools：全能AI工具箱，释放开发者潜能
了解小智的粉丝相信对ZhipuAI都不陌生，在往期LangChain教程里，小智已经通过GLM4的超强能力搭建了众多的Agent智能体应用。最近AI又悄摸上线了GLM4AlltoolsAPI能力，今天我就带大家来盘一盘！GLM4更新了什么？老规矩，先放大纲，带大家看看GLM4AlltoolsAPI更新了哪些功能。如图所示，以下就是Alltools所有新增的能力。我将其分为了四块，一站式检索，一站式智能编程，企业私域增强，多模态四个部分。想要用上这些新的功能也十分...AI工具箱GLM-4一文汇总：时序预测中的多频率建模方法
频率是时间序列的一个重要信息。给定一个时间序列，可以通过按照不同频率的聚合，获得不同粒度的时间序列。比如，给定的原始时间序列是以小时为粒度的，那么通过将24个点加和成1个点，就可以形成以天为粒度的时间序列数据。不同的粒度，包含的信息也不同。粒度越细，越能体现时间序列的局部特征，同时噪声也更大；粒度越粗，序列更加平滑，反应了时间序列的全局特性，噪声较少，但是也损失了很多信息。由于粒度的粗粒，所有含的...时序预测建模Google提出以人为中心的AI产品设计原则
精华你有没有发现，现在大家除了关注生成式AI技术之外，越来越关注搭载这些技术的AI应用是否真正为我们的生活带来实质性改善，而不仅仅是炫技呢？今天带大家一起学习谷歌2024年提出的以用户为中心的AI设计原则的内容。1.把AI用对地方并非所有问题都需要AI来解决。在决定使用AI之前，先问问自己：它真的能为项目带来独特价值吗？🎯目标：利用AI提供无可替代的价值，如个性化推荐或创造全新体验。⚠️注意：不要为了赶时髦而使用AI。...GoogleAI产品比Stable Diffusion便宜118倍！1890美元训出11.6亿参数高质量文生图模型
训练一个扩散模型要多少钱？之前最便宜的方法（Wuerstchen）用了28400美元，而像StableDiffusion这样的模型还要再贵一个数量级。大模型时代，一般人根本玩不起。想要各种文生小姐姐，还得靠厂商们负重前行为了降低这庞大的开销，研究者们尝试了各种方案。比如，原始的扩散模型从噪声到图像大约需要1000步，目前已经被减少到20步左右，甚至更少。当扩散模型中的基础模块逐渐由Unet（CNN）替换为DiT（Transformer）之后，一些根据...模型训练OpenAI「草莓」提前曝光？ChatGPT版搜索引擎惊现神秘模型
精华过去的一周，OpenAI「草莓」项目被炒的热火朝天，把所有人情绪推向了兴奋最高点。在X上，爆料人iruletheworldmo每隔几小时发一次帖，次次几乎与「草莓」相关，甚至暗示这周二就是OpenAI实现第二级AGI的日子。他自称已获得内部消息，并表示全新的GPT4olarge模型将8月13日正式发布。OpenAI草莓项目真正露面还不知哪天，不过，劲敌PerplexityAI已展示了具备「草莓」能力的新模型。或者说，Q已经在PerplexityPro上实现了。今早，CEO...AI生成
