AI.x社区

重大新闻——Gemini1.5Flash、Pro和Advanced版本的结果出来了！🔥Gemini1.5ProAdvanced排名第二，正在逼近GPT4oGemini1.5Flash排名第九，性能超越了Llama370b，几乎达到了GPT40125Pro版本比4月份的版本有了显著的提升。Flash的成本、能力和无与伦比的上下文长度使其成为市场的变革者！​​​https:x.comlmsysorgstatus1795512202465845686​​更令人兴奋的是，在中文领域，Gemini1.5Pro和Advanced现在是世界上最好的排名第一的...

在自然语言处理（NLP）领域，Transformer是一种革命性的架构。Transformer模型因其卓越的语言理解和生成能力而成为了一个里程碑，它们在多种任务中展现出了前所未有的性能，从机器翻译到文本摘要，再到问答系统，Transformer模型已经成为了当今最先进的技术。尽管取得了巨大的成功，Transformer在执行复杂推理任务时仍面临挑战，特别是在需要多步逻辑推理的场景中。这些挑战主要表现在模型对于复杂问题的理解和解决能力上，尤其...

近一年多，依赖大模型技术，让人们燃起来对AI的新憧憬。关于大模型是否有意识，依靠大模型是否能够构建“世界模型”，一直有很大的争论。从信仰上来看，分为两大阵营。一种是大模型的反对派，他们认为大模型是鹦鹉学舌，根本不懂的自己在说什么，也没有人那样的创造力，想通过大模型通向AGI是误入歧途。这个阵营代表为YannLeCun、李飞飞。虽然LeCun作为MetaAI首席科学家，Meta也发布了Llama系列大模型，但他却在不同场合表达了...

编者按：当前大热的大语言模型和检索增强生成模型，虽然在语言理解和内容生成方面取得了突破性的进展，但仍然存在诸多限制。它们缺乏根据目标导引行为、持续学习和与环境交互的能力，难以应对复杂多变的现实场景需求。今天为大家带来的这篇文章，作者的观点是人工智能领域正朝着开发更智能、更自主的AIAgent系统迈进，这将彻底改变我们使用人工智能的方式。作者相信人工智能的未来必将呈现出更智能、更自主的AIAgent形态。这种...

日内瓦大学、微软研究院和爱丁堡大学的研究人员联合开源了，基于扩散模型的世界模型—DIAMOND。研究人员之所以选择扩散模型作为基础，是因为可以更好地捕捉视觉细节，同时具有建模复杂多模态分布的能力，以便在不同的环境下进行训练和细致的行为观察。DIAMOND主要用于智能体训练、世界建模、多模态分布建模等多种强化学习应用。为了评估其性能，研究人员在Atari100k上进行了综合测试。结果显示，DIAMOND不仅在视觉复杂度高的环...

5月29日，牛津大学、路透社新闻研究所联合发布了一份生成式AI（AIGC）调查报告。在今年3月28日—4月30日对美国、英国、法国、日本、丹麦和阿根廷的大约12,217人进行了调查，深度调研他们对生成式AI产品的应用情况。结果显示，ChatGPT超过谷歌的Gemini、Snapchat、微软的Copliot等成为知名度最高的生成式AI产品，但用户对其使用频率却不高，日本只有1%的人每天在使用它，法国和英国分别是2%，美国则是7%。其实，这份调查结果刚好...

论文链接：https:arxiv.orgpdf2405.14854项目链接：https:github.comLuckyLanceTerDiT最近在大规模预训练的文本到图像扩散模型方面的发展显著提高了高保真图像的生成能力，特别是基于transformer架构的扩散模型（DiTs）的出现。在这些扩散模型中，扩散transformer展示了卓越的图像生成能力，降低了FID分数并提高了可扩展性。然而，由于其庞大的参数数量，部署大规模的DiT模型可能会非常昂贵。尽管现有研究已经探索了扩散模型的...

开发生成式人工智能应用程序与开发传统的机器学习应用程序非常不同，以下是步骤详解。回到机器学习的“古老”时代，在您可以使用大型语言模型(LLM)作为调优模型的基础之前，您基本上必须在所有数据上训练每个可能的机器学习模型，以找到最佳(或最不糟糕)的拟合。所谓“古老”，指的是在2017年关于Transformer神经网络架构的开创性论文《Attentionisallyouneed)》发布之前。在那之后的几年里，我们大多数人继续盲目地训练每一个...

编辑伊风“现存的机器显然并不比人类更强大，马也比我们强壮得多，速度也比我们快。但没有人感受到马的威胁。但AI并不是这样。”“我们现在还缺乏对具有人类水平智能的AI系统的蓝图规划”。“我们要阻止科学向一个方向或另一个方向发展是不可行的”。“未来的AI系统必须是目标驱动且可控的。”这些强烈的观点，是图灵奖获得者杨立昆与其他三位AI界大佬，在瑞士达沃斯举行的世界经济论坛上的圆桌内容，围绕着“我们应不应该恐惧A...

嘉宾徐晓强采访张晓楠撰稿李美涵出品51CTO技术栈（微信号：blog51cto）自从生成式AI大火以后，AI好像“杠上了”程序员这个角色。几乎每隔一段时间，关于AI编程工具是否能取代程序员的话题就会被再次讨论。AI编程所激起的热议，令人感到困惑：这是否会掀起一场编程领域的生产力革命？还是，这又是一场过度炒作的噱头？大厂们是探索这个答案的先行者。因为AI编程，百度实现了10%的人效提升，今天工程师提交的新增代码中有27%由AI...

文本端到端识别是一项从图像或视频序列中提取文本信息的任务，虽然取得了一些进展，但跨领域文本端到端识别仍然是一个难题，面临着图像到图像和图像到视频泛化等跨域自适应的挑战。图1图(a)和图(b)是两种跨域文本端到端识别，包括图像到图像和图像到视频。TT表示TotalText，IC15代表ICDAR2015，IC13代表视频ICDAR2013。图像级跨域文本端到端识别面临样式、字体、背景等差异挑战，模型需要具备极强的泛化能力。不同数据集间的格...

3D生成也有自个儿的人工评测竞技场了～来自复旦大学和上海AIlab的研究人员搞了个3DGenArena，和大语言模型的ChatbotArena、GenAIArena等一脉相承，要让大伙儿对3D生成模型来一场公开、匿名的评测。3DGenArena同样是让两个模型进行比较，分文生3D、图生3D两个赛道。展示形式上考虑到3D生成的复杂性，3DGenArena同时提供3D资产的法线图、无纹理几何图和贴纹理RGB图的360°环绕视频。第一步点击“Sample”选择prompt（共有1000+条...

多模态大模型，也有自己的CoT思维链了！厦门大学&腾讯优图团队提出一种名为“领唱员（Cantor）”的决策感知多模态思维链架构，无需额外训练，性能大幅提升。在ScienceQA上，基于GPT3.5的Cantor准确率达到了82.39%，相比基于GPT3.5的思维链方法提升了4.08%。在更具挑战性的MathVista上，基于Gemini的Cantor准确率比原始Gemini提高了5.9%。目前Cantor论文已上传arXiv，代码也已经开源。（地址在文末领取）多模态专属思维链思想链...

北大兔展联合发起的Sora开源复现计划OpenSoraPlan，今起可以生成最长约21秒的视频了！生成的视频水平，如下展示。先看这个长一点的，9.2s：下面这段人形机器人种花要短一点，是2.7s：当然了，老规矩，这一次的所有数据、代码和模型，继续开源。目前，OpenSoraPlan在GitHub上有10.4k颗星星，大家可以选择去抱抱脸上激情试玩。该说不说，版本迭代速度还挺快——上个月，OpenSoraPlan就在开源社区上新过一波。当时能支持单镜头16秒...

人人都知大模型时代具身智能大有可为。但这座连接起大模型和现实物理世界的桥梁，究竟应该如何搭建？逐际动力联合创始人兼首席运营官张力，在中国AIGC产业峰会上给出思考：AI代替人去决策，人形机器人代替人去劳动。本质上，人形机器人应该代替人类，而不是代替工具。未来人形机器人会和iPhone一样，成为一个硬件载体，只要装上对应的APP，它就能替人干活。为了更完整体现张力的思考，在不改变原意的基础上，量子位对演讲内容进...

近日，网上流传一份ilya推荐给JohnCarmack的阅读清单，该清单包含了当今与AI相关27篇顶级文章，并称如果真的将它们读完，就能理解当下90%的AI技术。下面剩余的文章速览。12）DeepResidualLearningforImageRecognition（深度残差学习的图像识别）何凯明的大作，2016年CVPR最佳论文，深入浅出地描述了深度残差学习框架，大幅降低了训练更深层次神经网络的难度，也使准确率得到显著提升。训练更深层的神经网络通常会面临更多挑战。...

​包括完整流程数据代码处理：单步多步、单变量多变量预测数据集制作、数据加载、模型定义、参数设置、模型训练、模型测试、预测可视化、多步预测、模型评估模型整体介绍：1.时空卷积网络（TCN）：TCN是一种卷积神经网络结构，用于捕捉时序数据中的时序关系。它由一系列的1D卷积层组成，每个卷积层都具有相同的卷积核大小和步长。TCN中的残差连接（ResidualConnections）和空洞卷积（DilatedConvolutions）用于增加网络的感受野...

今天分享清华大学的一篇文章：NetMamba:EfficientNetworkTrafficClassificationviaPretrainingUnidirectionalMamba。网络流量分类是一个重要的研究领域，旨在提高服务质量、简化网络管理并保护网络安全。现有流量分类模型面临两方面挑战：（1）模型效率不佳：广泛使用的Transformer架构具有平方复杂度，在高速流量识别场景不可用；（2）流量表征不可靠：现有表征方案往往忽略重要字节信息或保留不必要的偏置。为了解决上述问题...

文章链接：https:arxiv.orgpdf2405.11190基于指令的图像编辑专注于使生成模型能够遵循人类书写的编辑图像指令。当前的方法通常能够理解明确且具体的指令。然而，它们往往在执行所需的主动推理能力上表现不足，无法很好地理解隐含或定义不足的指令。为了增强主动推理能力并赋予编辑模型智能性，本文引入了ReasonPix2Pix，一个综合性的推理注意指令编辑数据集。该数据集的特点是：包含推理指令来自细粒度类别的更真实的图像输入和...

在人工智能领域不断发展的今天，多模态大型语言模型（MLLMs）已经成为一种变革性的力量，它们能够跨越不同数据表现形式的鸿沟，实现数据的理解和整合。这些模型擅长从多种模态（如文本和图像）中整合信息，显著扩展了研究和实际应用的范围。在这一领域内，一个关键的研究方向是图形用户界面（GUI）的任务自动化。GUI任务的自动化为提高各种应用的效率和生产力提供了巨大的潜力。然而，现有的模型和基准主要集中在基于文本的任务...