AI.x社区
- 登录/注册
默认
发布时间
热度
原创
精华
DeepSeek开源周，第三弹， DeepGEMM来袭！
今天开源了deepseekv3中提到的的FP8GEMM内核。300行代码的暴力cuda美学，看不太懂，但是每天都可以打个酱油支持普通的矩阵乘法以及MixofExperts分组矩阵乘法。使用CUDA编写，安装时无需编译，所有内核在运行时通过轻量级的即时编译（JIT）模块动态编译。DeepGEMM设计，避免了对CUTLASS和CuTe的过度依赖，采用了更简洁的设计，核心代码只有大约300行。整个库就是非常“轻量化”，但同时性能又很强大，甚至超过了专家调优的库。在...DeepSeekCUDA内核只需几步！用 vLLM 快速上手 DeepSeek 大模型部署
社区头条
热门内容榜 • 最近上榜大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeekR1DistillQwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。一、vLLM框架特性解析1、高效内存管理：vLLM的PagedAttention算法，通过动态分页管理显存，内存利用率提升24倍，显著降低硬件门槛。2、吞吐量提升：支持连续批处理和异步推理，在A100GP...vLLMDeepSeek模型全自动驾驶真的来了！花6万4才能用！马斯克急忙上线阉割版!AI提醒驾驶员别走神，网友实测翻车：秒变移动路
原创 社区头条千呼万唤，特斯拉FSD真的来了！特斯拉已开始在中国向车主分批次推送FSD的软件更新了，版本号2024.45.32.12，与北美版一致。不过，马斯克急急慌慌入华的FSD，槽点好像真的有点多。首先，这波国内FSD的推送需要配备HW4.0硬件的汽车，大概是去年买到国产ModelY和Model3的新车主可以尝鲜。至于其他车主，可能要继续等待一段时间（特斯拉表示会进行车型的扩展）……其次，不是有了车就能体验特斯拉的FSD，还需要再氪金才行！特斯拉所...自动驾驶马斯克AIDeepSeek开源DeepEP，公开大模型训练效率暴涨秘诀！
DeepSeek开启了本周连续5天技术分享的第2天，开源了专为混合专家模型（MoE）训练和推理设计的开源EP通信库——DeepEP。值得一提的是，DeepSeek昨天开源的FlashMLA已经超过7000颗星，成为github霸榜项目。今天这个已经破1000颗星啦。开源地址：https:github.comdeepseekaiDeepEP通常在MoE模型中，不同的GPU节点往往需要分工合作处理数据，而AlltoAll通信是一种常见的模式，用来实现GPU之间数据的互相交换。DeepEP通过高效且优化...AI模型训练GPU效率暴涨！DeepSeek开源DeepGEMM，仅300行代码
精华今早9点，DeepSeek开启了本周连续5天技术分享的第3天，开源了专用于执行高效FP8精度矩阵乘法运算库——DeepGEMM。DeepGEMM的核心代码仅300行，但在GPU上可实现高达每秒1350+FP8万亿次浮点运算性能。在大多数矩阵规模下性能超过了专家调优的内核，同时支持密集布局和两种MoE布局，适配不同的运算场景。开源地址：https:github.comdeepseekaiDeepGEMM看到DeepSeek又发布高效训练方法，网友表示，英伟达股票又要下跌了。在澳大利亚...DeepSeek开源代码何恺明开辟分形图像生成新范式！计算效率提高4000倍，首次实现高分辨率逐像素生成
何恺明再次开宗立派！开辟了生成模型的全新范式——分形生成模型FractalGenerativeModels，首次使逐像素生成高分辨率图像成为可能，论文名字依旧延续以往的大道至简风格。团队将生成模型本身抽象为可复用的“原子模块”。通过递归地在生成模型中调用这些原子生成模块，可以构建出一种自相似的分形架构。其灵感源于数学中的分形思想。它相当于一个粗糙或零碎的几何形状分成数个部分，每一部分都（至少近似地）是整体缩小后的形状...AI生成计算代理AI是AI发展的新前沿
原创 社区头条代理人工智能可以利用多个代理的集体智能，来自动化决策过程，彻底改变行业，并推动产业的转型。2022年11月30日，OpenAI通过发布ChatGPT，普及了生成式人工智能（GenAI），也引发了一场对于AI的追捧。最近，代理人工智能（AgenticAI）已悄然的兴起，它虽然没有遇到同样的炒作，但是很可能会彻底改变不同行业，并推动产业的转型。什么是代理AI？有人认为代理AI属于人工智能发展五层级中的第三层级，即：夹在作为第一层级...生成式人工智能GenAIAgentic AI首个混合推理模型Claude 3.7重磅发布 ，AI 边界在哪里？
今天，Anthropic搞出了个大动静，推出首个混合推理模型、堪称AI编程霸主的Claude3.7Sonnet，还连带发布智能编码命令行工具ClaudeCode。Claude3.7Sonnet作为混合推理模型，打破传统AI单一模式，有标准和扩展思维两种模式。标准模式下能秒回信息，扩展模式则擅长深度反思、分步思考，面对数学、编码等复杂任务不在话下，给用户更多使用场景选择。和上一代比，它数学、编码能力暴增10%以上，多项基准测试刷爆纪录，实力碾压同类。...Claude 3.7 Sonne混合推理模型算家云业界首个“混合AI推理模型”！快OpenAI一步Anthropic跳版本发布：Claude3.7 Sonnet可自行决定思考时长
原创 社区头条整理星璇出品51CTO技术栈（微信号：blog51cto）就在OpenAI还在吊胃口之际，最强竞对Anthropic深夜开大了！Anthropic直接把自家的“通用+推理”二合一的模型发布了，并把自家内部在用的AI编程工具也上线，直接可以终端执行任务的那种！这就带大家看看这家公司在大模型以及AI产品上的不同打法！用户不用再选择模型了，业界首个混合AI模型Anthropic正在发布一款名为Claude3.7Sonnet的新型前沿AI模型，该模型被设计为能够根据用户的...AIOpenAIAnthropicDeepSeek R1 全系列模型部署指南
社区头条 热门内容榜 • 最近上榜一、模型概述与架构分析DeepSeekR1是一款全新的大规模语言模型系列,支持复杂推理、多模态处理和技术文档生成。其核心特点包括:1.架构特性•支持多种精度训练和推理(FP8BF16INT8INT4)•采用MoE(MixtureofExperts)架构实现671B超大规模•支持混合精度训练和推理优化2.模型系列规格模型名称参数规模计算精度模型大小典型应用场景DeepSeekR1671BFP81,342GB超大规模科研计算DeepSeekR1DistillLlama70B70BBF1643GB大规模推理任务DeepS...DeepSeek模型部署推理模型+Multi-Agent，可能就是Deep Research的全貌！
继谷歌、OpenAI和Perplexity相继发布各自的DeepResearch后，牛津大学发布了一个“AgenticReasoning:ReasoningLLMswithToolsfortheDeepResearch”的工作，并且代码开源了，今天咱们来详细看看他们的deepresearch的玩法！这个框架，不仅在PhD级别的科学推理测试(GPQA)上超越了现有的RAG系统和闭源大模型，而且在金融、医疗和法律等领域的深度研究任务中，击败了谷歌的GeminiDeepResearch!为什么能做到这一点普通的推理模型只能依...MultiAgentGPQA从推理到编程，详细比较DeepSeek 32B、70B、R1实践性能
社区头条 热门内容榜 • 最近上榜引言前段时间，AI圈被国产黑马DeepSeekR1模型“霸屏”了！这匹开源领域的“潜力新星”，在推理能力上和OpenAI的o1不相上下，甚至在资源利用上更胜一筹，很“省资源”。它的横空出世，不仅打破了大众对国产AI的固有认知，更是让世界看到了中国AI厚积薄发的硬核实力，这波操作简直“杀疯了”！DeepSeek乘胜追击，基于R1模型又推出了更具针对性应用的DeepSeekR1DistillQwen32B和适合大规模数据处理的DeepSeekR1DistillLlama70B两款...DeepSeek推理编程秒开率从 18% 到 64%，我们对小程序模拟器做了什么？
原创小程序是一种运行在快手生态内，无需下载安装、即用即走的轻量级应用。其中，模拟器是快手开发者所使用的工具中最核心的模块之一，但因性能问题收到开发者反馈。为此，24年Q2快手启动了模拟器性能优化专项，从线上数据看：模拟器秒开率从18%提升至64%，FCPP90从4.4s提升至1.9s。本文详细介绍优化措施和成效。一、问题背景小程序是快手开放平台对外提供的开放能力之一，是一种运行在快手生态内，无需下载安装、即用即走的轻量级...小程序快手前端通用静态托管服务 KFX 演进历程：从崎岖土路到平坦高速
原创快手静态部署托管服务（KFX）历经四年发展，经历了三个阶段，一步步从勉强能行车的“崎岖土路”到现在多车道并行的“平坦高速”，这一转变极大地提升了资源利用率和效率，满足业务的实际需要。本文将带你了解其背后的演进历程。一、KFX前端通用静态托管服务KFX是什么：KFX是快手前端通用静态托管服务。为什么要有KFX？静态托管服务是前端工程化发展的必然结果。快手前端部署的发展大致经历了这三个阶段：1.直接在物理机上部署ng...前端推理增强生成ReAG，让RAG效果更上一层楼
在检索增强生成（RAG）技术崭露头角之际，业界对其赋予厚望，期待它能够推动AI迈向新的智能高度。然而，实践中RAG暴露出诸多缺陷，极大地限制了其应用效果与AI的发展进程。在此背景下，推理增强生成（ReAG）技术应运而生。ReAG凭借其独特的技术架构与运行逻辑，为解决RAG问题提供新思路和可行方案，在AI升级之路上潜力巨大。1.传统RAG的“槽点”传统RAG系统就好比记忆力差的图书管理员，看似在努力找资料，实则状况百出：语义搜...ReAGRAGAI下一个AI前沿与革命：KAN 上
1.KAN这种新型的网络架构的核心思想基于由柯尔莫哥洛夫阿诺德表示定理，它被寄予期望能够替代多层感知器。MLP在节点（“神经单元”）上具有固定的激活函数，而KAN在边上（“权重”）具有可学习的激活函数。KAN根本没有线性权重—每个权重参数都被参数化为一元的splinefunction。大白话的意思就是：KAN中的每个激活函数不是在每个节点，而是在每条边上。由一个一元函数（univariatefunction）组成，这些函数本身也是参数。意味着...AIKAN网络来了！Kimi开源Moonlight-16B-A3B的MoE模型！！
言简意赅，发现月之暗面开源MoE模型，总参数量15.29B，激活参数2.24B，使用Muon优化器，在5.7TTokens的训练数据下，拿到了很好的效果。Github：https:github.comMoonshotAIMoonlightHF：https:huggingface.comoonshotaiMoonlight16BA3BPaper：https:github.comMoonshotAIMoonlightblobmasterMoonlight.pdf效果如下：比较Muon和Adam的扩展定律实验，发现Muon的样本效率比Adam高2倍。Muon优化器原理如下：同时，Moonlight16BA3B的...Kimi开源MoE吴泳铭预告的旗舰推理模型更了！阿里重磅推出QwQ-Max预览版，Agent或成正式版王炸！
原创 社区头条编辑伊风出品51CTO技术栈（微信号：blog51cto）吴泳铭亲自预告过的，阿里旗舰推理模型，新消息来了。刚刚，它的预览版正式发布和上线体验——就是这个QwQMaxPreview！一眼看去，我愿称之为最萌的推理模型，看blog主页的名称，感觉思维链中的模型正在很努力的思考中……图片QwenChat中已经可以体验预览版模型：https:chat.qwen.ai点进模型的blog，发现这里有一个隐藏彩蛋，内容是由QwQMaxPreview自己写的，我们可以看到A...吴泳铭R1QwQ-Max刚刚，DeepSeek开源DeepEP通信库，千亿MoE训推颠覆级创新！FP8狂飙，带飞GPU
精华刚刚，DeepSeek放出了开源第二弹——DeepEP！它拥有高效优化的alltoall通信，并具有以下特点：内部节点和节点间均支持NVLink和RDMA高吞吐量内核用于训练和推理预填充低延迟推理解码内核本地FP8调度支持可灵活控制的GPU资源，用于计算通信重叠具体来说，DeepEP是一个专为混合专家系统（MoE）和专家并行（EP）设计的通信库。它提供高吞吐量和低延迟的GPU全互联内核，也被称为MoE的「调度」和「组合」操作。该库还支持低精度运算，...DeepSeek开源训练RAG 与 CAG：知识处理的新时代
原创01、概述在人工智能领域，知识检索与处理方法一直在不断进化。过去，基于检索增强生成（RAG，RetrievalAugmentedGeneration）的系统长期占据主流，但如今，基于缓存增强生成（CAG，CacheAugmentedGeneration）的方法正在显示出其颠覆传统的潜力，逐渐成为新一代知识处理的主力军。那么，RAG和CAG到底有什么区别？为什么CAG被认为是未来的方向？让我们深入探讨这两种方法，了解它们各自的优缺点，以及为什么CAG可能成为未来知识...RAGCAG
