AI.x社区

AIAgent的高效、能力强、自动化等技术特点在零售、金融、教育、新闻等业务中得到广泛应用。但是，没有专业编程能力的业务人员想构建复杂的智能体并不容易。例如，需要考虑使用哪一种大模型，智能体可用的工具，智能体可执行的行动步骤数以及任务终止条件判断等。所以，为了简化智能体构建流程，微软的研究人员在其开源的超过30000颗星AutoGen智能体之上，与低代码技术相结合构建了AutoGenStudio，通过可视化拖拽低代码的方式就...

在全球极端天气事件愈发频繁的当下，从暴雨洪涝引发的城市内涝，到飓风肆虐造成的巨大破坏，精准的气象预测成为了保障社会安全与经济稳定发展的关键环节，也是AI应用的重要领域之一。所以，英伟达的研究人员发布了最新天气预测模型CorrDiff，能将分辨率为25公里的大气数据细化至2公里，大幅提升了气象预测的精度，并且能预测输入数据中未包含的相关变量，例如，雷达反射率，这对于判断降雨位置和强度极为关键。此外，相比传统使...

今天凌晨4点，OpenAI进行了在线技术直播，发布了最新模型GPT4.5。GPT4.5与之前的模型相比，本次最大的亮点是加上了“情商”，这也是目前所有大模型最缺、最难的功能。此外，GPT4.5在SimpleQA上的测试数据显示，超过OpenAIo1、OpenAIo3mini并且幻觉非常低，是目前OpenAI最强大模型之一。OpenAI联合创始人兼首席执行官SamAltman特意发文对GPT4.5进行了详细解读。对我来说，GPT4.5是第一个让我感觉像是在和一个有思想的人对话的模...

苹果的研究人员开源了最新通用多模态视觉模型AIMv2，有300M、600M、1.2B和2.7B四种参数，整体能耗很低，可以适用于手机、PC等不同类型的设备。与传统视觉模型不同的是，AIMV2使用了一种创新的多模态自回归预训练方法，将视觉与文本信息深度融合，为视觉模型领域带来了新的技术突破。简单来说，就是AIMV2不再局限于仅处理视觉信息的传统模式，而是将图像和文本整合为统一的序列进行预训练。在这个过程中，图像被划分为一系列不重...

今早10点，DeepSeek开启了第四天技术分享，开源了三个优化并行策略。分别是DualPipe，一种用于V3R1训练中计算与通信重叠的双向流水线并行算法；EPLB，针对V3R1的专家并行负载平衡器；用于分析V3R1中的计算通信重叠。开源地址：https:github.comdeepseekaiDualPipe​​https:github.comdeepseekaieplb​​​​https:github.comdeepseekaiprofiledata​​DualPipe是一种创新的双向流水线并行算法，曾首次在V3版本中使用过。与传统...

DeepSeek开启了本周连续5天技术分享的第2天，开源了专为混合专家模型（MoE）训练和推理设计的开源EP通信库——DeepEP。值得一提的是，DeepSeek昨天开源的FlashMLA已经超过7000颗星，成为github霸榜项目。今天这个已经破1000颗星啦。开源地址：https:github.comdeepseekaiDeepEP通常在MoE模型中，不同的GPU节点往往需要分工合作处理数据，而AlltoAll通信是一种常见的模式，用来实现GPU之间数据的互相交换。DeepEP通过高效且优化...

今早9点，DeepSeek开启了本周连续5天技术分享的第3天，开源了专用于执行高效FP8精度矩阵乘法运算库——DeepGEMM。DeepGEMM的核心代码仅300行，但在GPU上可实现高达每秒1350+FP8万亿次浮点运算性能。在大多数矩阵规模下性能超过了专家调优的内核，同时支持密集布局和两种MoE布局，适配不同的运算场景。开源地址：https:github.comdeepseekaiDeepGEMM看到DeepSeek又发布高效训练方法，网友表示，英伟达股票又要下跌了。在澳大利亚...

今天凌晨2点，著名大模型平台Anthropic发布了首个双思维模型——Claude3.7Sonnet。Claude3.7提供了标准和扩展两种思考模式：标准思考是无需进行复杂的推理过程，就能立刻提供答案，例如，当用户询问“巴黎的埃菲尔铁塔有多高？”，会迅速给出324米。扩展思维则提供复杂的推理过程，会展示详细的推理思维链，用户可以清晰地看到模型是如何逐步分析问题、应用逻辑，非常适合数学、生物等科研领域，还能通过API精准控制模型的思考...

谷歌研究院发布一项新的研究Titans。通过引入全新的神经长期记忆模块，三头协同架构与硬件优化设计等模块，在算力仅增加1.8倍的情况下，将大模型的上下文窗口扩展至200万token。在语言建模、基因组分析、长时序预测等任务中全面超越现有Transformer及线性循环模型。目前，以Transformer为核心的预训练大模型面临一个悖论：依赖注意力机制精准建模依赖关系，但受限于二次方计算复杂度，上下文窗口难以突破数万token。即便是线性T...

在医疗领域，大模型的应用和影响力正在不断扩大。但当前对于大模型在医疗任务中的评估主要依赖于选择题基准测试，这种方式存在很多局限性，例如，高度受限、无法真实反映临床决策复杂性以及模型可能通过语义结构答题等问题。为了更全面真实地评估大模型在医学推理任务中的实际能力，哈佛医学院、马里兰大学医学院、剑桥健康联盟、斯坦福大学等通过OpenAI的o1preview模型，设计了一系列严谨的实验，包括鉴别诊断生成、推理展示、...

微软在官网发布了专用于游戏领域的创新大模型——Muse。虽然Muse基于Transformer架构，但创建游戏场景的方式却非常独特，并不依赖传统的文本提示，而是通过游戏画面和控制器操作的序列化数据作为输入提示，从而生成连贯的游戏场景和玩法，同时更符合游戏机制和物理规则的游戏内容。例如，仅通过一张游戏截图，Muse就能迅速生成多个可能的后续游戏画面，并通过Xbox手柄控制角色生成与开发者操作相匹配的后续游戏内容，游戏开发效...

全球历史最悠久、规模最大的投资银行之一高盛，在官网发布了一篇深度文章《China’sadvancescouldboostAI’simpactonglobalGDP》。高盛认为，DeepSeek等几家中国公司开发出成本低于现有产品的先进生成式AI大模型，这一进展将促使AI更快得到应用，有助于该技术对全球经济增长产生更大影响。高盛全球经济团队联合负责人约JosephBriggs指出，尽管目前尚不清楚中国研究人员是如何降低这些AI模型的成本，但较低的成本结构可能会加速A...

我们常见的AIAgent都是无法看到实体的，例如，RPA、智能按键精灵、AutoGPT等。虽然它们可以自动完成一些日常工作，但你是无法看到其真实身体。清华大学、中南大学的研究人员联合开源了一款可视化3D交互实体AIAgent模型LEGENT，使用户可以在3D虚拟空间中与实体AI代理进行互动。「AIGC开放社区」通过在线demo体验了一下这个代理，非常有趣就像是玩一款游戏一样。只需发送特定指令就可以让AI做一些日常动作，例如，把汽车玩具放在...

早上9点50，OpenAI联合创始人兼首席执行官SamAltman表示，对于OpenAI的下一个开源项目，做一个类似o3mini级别的模型会更有用吗？这种模型相当小，但仍需在GPU上运行；还是说，打造我们所能做到的最适合手机运行的模型更有用呢？根据投票显示，网友现实更喜欢适配手机移动端的大模型。网友一眼就看出来了，你这明显是在抢Gork3风头啊。来个适配手机的模型，若能解决符合《健康保险流通与责任法案》（HIPAA）相关合规问题，将彻底...

麻省理工学院、斯坦福大学、哥伦比亚大学、康奈尔大学的研究人员联合开源了创新3D交互视频模型——PhysDreamer（简称“PD”）。PD和OpenAI的Sora一样，是一个可以通过物理模拟的方式来生成视频。也就是说，PD的视频具备很多物理世界的特征。例如，用手去触摸一盆花后，花朵会左右摇摆直至缓慢停止。PD可以准确地捕捉到物体很多微妙的动态变化和复杂的交互细节，生成的视频也就更加精准、细腻。PD案例展示PD主要通过视频生成模型...

韩国首尔国立大学的研究人员推出了一个创新文生视频模型——FIFODiffusion。在传统的文生视频模型中，尤其是在基于扩散模型的产品中，生成长视频经常面临着质量和连贯性上的挑战。这是因为模型在训练时只能看到有限的帧数，而在实际应用中却需要生成远超过训练时长度的视频。FIFODiffusion模型使用了一种创新的“对角去噪”方法来克服生成长视频的难题，以队列的方式来处理视频帧的连续，该技术灵感来源于工厂的流水线作业。在...

高性能大模型在训练的过程中通常需要数千个GPU，耗费数月甚至更长时间才能完成一次训练。这种巨大的资源投入使得模型的每一层都必须高效训练，才能确保算力资源最大化利用。但大连理工、西湖大学、牛津大学等研究人员对DeepSeek、Qwen、Llama和Mistral研究发现，这些模型的深层在训练过程中表现并不好，甚至可以被完全剪枝而不会影响模型性能。例如，研究人员对DeepSeek7B模型进行了逐层剪枝，以评估每一层对模型整体性能的贡献...

早在去年11月25日，知名文生视频模型平台Runway首次展示了，全新文生图片模型Frames。Frames不仅能够保持风格的一致性和可控性，还允许用户进行广泛的创意探索，能生成复古、数码、杂志、动态、运动、拼图等不同类型风格的图片。但那个时候Frames仅向高级用户提供使用。现在，Runway已经向所有用户开放了Frames使用权，可以在其官网使用了。Runway联合创始人兼首席执行官CristóbalValenzuela表示，Frames专为创意领域打造，其...

前不久，国产大模型平台DeepSeek开源的v3模型，受到了AndrejKarpathy等业内大神的盛赞，在算法、数据等方面非常棒。现在，DeepSeek又重磅开源了R1模型。根据其公布测试数据显示，在美国AIME2024测试中R1拿下79.8分，超过了OpenAI的o1模型的79.2分；在MATH500，R1为97.3分，同样超过了o1的96.4分；在SWEbenchVerified，R1为49.2分再次超过了o1的48.9分。而在代码测试Codeforces中，R1仅比o1模型低0.3分；MMLU低1分；GPQA低4.2分...

今天凌晨，微软宣布其开源AIAgentAutoGen发布0.4版本，全面重新设计的库，在代码稳定性、鲁棒性、通用性和可扩展性方面更好，可以开发前沿高级AIAgent应用。开源地址：https:github.commicrosoftautogen自微软开源AutoGen以来在github已获得超37000颗星，成为AIAgent领域应用最多的框架之一。由于开发者的快速增长，也带来了API效率低下以及调试和干预功能有限等难题。同时开发者对AIAgent自动化行为的可观测性、控制能力、多层...