DeepSeek-V3在Mac Studio上以每秒20个token的速度运行,这对OpenAI来说是一场噩梦

人工智能
这款名为DeepSeek-V3-0324的641GB模型出现在AI仓库Hugging Face上,几乎没有进行任何宣传,延续了该公司一贯低调却影响深远的产品发布风格。

DeepSeek悄然发布了一款新的大型语言模型,已在AI行业掀起波澜——不仅因为其能力出众,更因其部署方式独特。这款名为DeepSeek-V3-0324的641GB模型出现在AI仓库Hugging Face上,几乎没有进行任何宣传,延续了该公司一贯低调却影响深远的产品发布风格。

此次发布尤为引人注目的是该模型的MIT许可证——允许其免费用于商业用途——以及早期报告显示,它可以直接在消费级硬件上运行,特别是配置了M3 Ultra芯片的Apple Mac Studio。

AI研究员Awni Hannun在社交媒体上写道:“在512GB M3 Ultra和mlx-lm的配合下,4位DeepSeek-V3-0324的运行速度超过每秒20个token!”虽然售价9499美元的Mac Studio可能有些超出“消费级硬件”的定义,但能够在本地运行如此庞大的模型,与通常与最先进AI相关的数据中心要求大相径庭。

DeepSeek的低调发布策略颠覆了AI市场的预期

这款拥有6850亿参数的模型发布时,没有附带任何白皮书、博客文章或营销推广——只有一个空的README文件和模型权重本身。这一做法与西方AI公司精心策划的产品发布形成了鲜明对比,西方公司的产品发布往往在实际发布前几个月就大肆宣传。

早期测试者报告称,与之前的版本相比,新版本有了显著改善。AI研究员Xeophon在X.com上的一篇帖子中宣称:“在我的内部基准测试中测试了新款DeepSeek V3,它在所有测试的所有指标上都有巨大飞跃。它现在是最好的非推理模型,取代了Sonnet 3.5。”

如果这一说法得到更广泛测试的验证,那么DeepSeek的新模型将超越Anthropic的Claude Sonnet 3.5,后者是最受尊敬的商业AI系统之一。而且与需要订阅的Sonnet不同,DeepSeek-V3-0324的权重可供任何人免费下载和使用。

DeepSeek V3-0324如何通过突破性架构实现无与伦比的效率

DeepSeek-V3-0324采用了专家混合(MoE)架构,从根本上重新构想了大型语言模型的运作方式。传统模型在执行每个任务时都会激活其全部参数,但DeepSeek的方法是在特定任务期间仅激活其6850亿参数中的约370亿参数。

这种选择性激活代表了模型效率方面的范式转变。通过为每个特定任务仅激活最相关的“专家”参数,DeepSeek实现了与更大规模的全激活模型相当的性能,同时大大降低了计算需求。

该模型还融入了另外两项突破性技术:多头潜在注意力(MLA)和多令牌预测(MTP)。MLA增强了模型在长篇文本中保持上下文的能力,而MTP则每步生成多个令牌,而不是通常的一次一个。这两项创新结合在一起,使输出速度提高了近80%。

开发者工具创建者Simon Willison在一篇博客文章中指出,4位量化版本将存储占用空间减少到352GB,使其能够在像配备了M3 Ultra芯片的Mac Studio这样的高端消费级硬件上运行。

这可能标志着AI部署方面的重大转变。传统AI基础设施通常依赖于消耗数千瓦电力的多个Nvidia GPU,而Mac Studio在推理期间的耗电量低于200瓦。这种效率差距表明,AI行业可能需要重新思考对顶级模型性能所需基础设施的假设。

中国开源AI革命挑战硅谷的封闭花园模式

DeepSeek的发布策略体现了中国和西方公司在AI商业理念上的根本分歧。当美国领导者如OpenAI和Anthropic将其模型置于付费墙之后时,中国AI公司却越来越倾向于采用宽松的开源许可。

这种做法正在迅速改变中国的AI生态系统。尖端模型的开源可用性产生了乘数效应,使初创公司、研究人员和开发人员能够在不进行大规模资本支出的情况下构建复杂的AI技术。这加速了中国AI能力的发展,速度之快令西方观察者震惊。

这一策略背后的商业逻辑反映了中国市场的现实情况。在多个资金雄厚的竞争对手面前,当竞争对手免费提供类似功能时,维持专有方法变得越来越困难。开源通过生态系统领导力、API服务和在免费提供的基础模型之上构建的企业解决方案创造了替代价值途径。

甚至中国已建立的技术巨头也认识到了这一转变。百度宣布计划到6月将其Ernie 4.5模型系列开源,而阿里巴巴和腾讯也已发布了具有专业能力的开源AI模型。这一趋势与西方领导者采用的以API为中心的策略截然不同。

开源方法还解决了中国AI公司面临的独特挑战。由于无法获得尖端的Nvidia芯片,中国公司强调效率和优化,以便在有限的计算资源下实现竞争性能。这种由需求驱动的创新现在已成为潜在的竞争优势。

DeepSeek V3-0324:AI推理革命的基石

DeepSeek-V3-0324的发布时间和特点强烈表明,它将成为DeepSeek-R2的基石,后者是一款预计在未来两个月内推出的改进后的推理专用模型。这遵循了DeepSeek的一贯模式,即基础模型先于专业推理模型发布数周。

Reddit用户mxforest指出:“这与他们在圣诞节前后发布V3,几周后发布R1的情况一致。R2据传将于4月发布,所以这可能就是。”

一款先进的开源推理模型的影响不容小觑。当前推理模型如OpenAI的o1和DeepSeek的R1代表了AI能力的最前沿,在数学、编程等领域展示了前所未有的问题解决能力。将这种技术免费开放将使目前仅限于拥有巨额预算者使用的AI系统实现民主化。

这款潜在的R2模型的出现正值关于推理模型计算需求的重大启示之际。Nvidia首席执行官黄仁勋最近指出,DeepSeek的R1模型的“计算量是非推理AI的100倍”,这与早前业界关于效率的假设相悖。这揭示了DeepSeek模型背后的非凡成就,它们能够在比西方同行更严格的资源限制下提供具有竞争力的性能。

如果DeepSeek-R2沿袭R1的发展轨迹,它可能会对OpenAI即将在未来几个月内发布的下一代旗舰模型GPT-5构成直接挑战。OpenAI的封闭、资金雄厚的研发方式与DeepSeek的开放、资源高效的策略,代表了AI未来发展路径上的两种竞争愿景。

如何体验DeepSeek V3-0324:开发人员和用户完整指南

对于那些急于试用DeepSeek-V3-0324的用户来说,有多种途径可供选择,具体取决于技术需求和资源情况。模型的完整权重可从Hugging Face平台获取,但由于其641GB的庞大体积,直接下载对于大多数用户来说并不实际,仅适合那些具备大量存储和计算资源的用户。

对于大多数用户而言,基于云的选项提供了最便捷的体验入口。OpenRouter平台提供了对该模型的免费API访问,并配备了一个用户友好的聊天界面。用户只需选择DeepSeek V3 0324作为模型,即可开始体验。

DeepSeek自己的聊天界面chat.deepseek.com也可能已更新为新版本,尽管公司尚未明确确认这一点。早期用户报告称,可以通过该平台访问该模型,且性能相比之前的版本有所提升。

开发人员如果希望将该模型集成到应用程序中,可以通过各种推理服务提供商来实现。Hyperbolic Labs宣布立即成为“首个在Hugging Face上提供该模型推理服务的提供商”,而OpenRouter则提供了与OpenAI SDK兼容的API访问。

DeepSeek的新模型更注重技术准确性而非对话的温馨感

早期用户报告称,该模型的沟通风格发生了明显变化。虽然之前的DeepSeek模型因其对话式、人性化的语调而受到称赞,但“V3-0324”版本则呈现出更加正式、以技术为导向的特点。

Reddit用户nother_level问道:“只有我觉得这个版本感觉不那么人性化了吗?对我来说,之前的DeepSeek v3与其他模型的区别在于它感觉更像人类。它的语气、用词等都不像其他LLM(大型语言模型)那样机械,但现在这个版本却像其他LLM一样机械。”

另一位用户AppearanceHeavy6724补充道:“没错,它肯定失去了那种超然的魅力,感觉过于理智了。”

这种个性变化很可能反映了DeepSeek工程师的刻意设计选择。向更加精确、分析性的沟通风格转变,表明该模型在战略上进行了重新定位,更加侧重于专业和技术应用,而非休闲对话。这与更广泛的行业趋势相契合,因为AI开发人员越来越认识到,不同的用例受益于不同的交互风格。

对于构建专业应用的开发人员来说,这种更加精确的沟通风格实际上可能是一种优势,能够为他们提供更加清晰和一致的输出,以集成到专业工作流程中。然而,这可能会限制该模型在面向客户的应用中的吸引力,因为在这些场景中,温馨和亲和力更受欢迎。

DeepSeek的开源战略如何重塑全球AI格局

DeepSeek对AI的开发和分发方式不仅仅是一项技术成就,它体现了一种从根本上不同的愿景,即先进技术应该如何在社会中传播。通过以宽松的许可协议免费提供尖端AI,DeepSeek使得封闭式模型所固有的创新约束得以解除,从而实现了指数级的创新。

这一理念正在迅速缩小中国和美国在AI能力方面所感知到的差距。就在几个月前,大多数分析师估计中国的AI能力落后美国1-2年。如今,这一差距已大幅缩小至可能仅3-6个月,甚至在某些领域已达到持平或中国领先的状态。

这与Android对移动生态系统的影响颇为相似。谷歌决定将Android免费提供,创造了一个最终占据全球主导地位市场份额的平台。同样地,开源AI模型可能会通过其无处不在和数千名贡献者的集体创新来超越封闭系统。

这一影响不仅仅局限于市场竞争,还延伸到技术获取的基本问题上。西方AI领导者越来越因将先进技术集中在资源丰富的企业和个人手中而受到批评。而DeepSeek的做法则将这些能力更广泛地分布开来,可能会加速全球AI的普及。

随着DeepSeek-V3-0324在全球范围内的研究实验室和开发人员工作站中得到应用,竞争已不再仅仅局限于构建最强大的AI,而是关于如何让最多的人能够利用AI进行构建。在这场竞赛中,DeepSeek的低调发布无声地揭示了AI的未来走向。那个最自由地分享其技术的公司,最终可能会在对AI如何重塑我们的世界方面拥有最大的影响力。

责任编辑:姜华 来源: 企业网D1Net
相关推荐

2025-02-19 10:49:30

2025-02-12 08:30:18

2025-01-03 09:27:14

2022-06-28 18:20:07

Web3

2020-02-19 14:51:15

程序系统工程师

2020-06-08 14:44:56

SIM卡攻击交换攻击

2025-03-25 10:07:00

2023-09-01 13:26:03

2019-02-24 17:57:58

2009-04-04 09:36:11

Windows 7微软操作系统

2018-08-06 04:03:00

2009-04-03 15:17:43

LinuxWindows 7机会

2021-01-26 12:14:40

Windows 10Windows微软

2025-01-03 19:38:33

2015-08-13 17:49:33

七牛大数据

2017-03-20 19:40:29

AndroidSwipeRefres下拉刷新

2017-08-29 14:32:59

企业安全云计算

2013-01-24 11:03:30

2025-03-03 09:00:00

DeepSeekAI人工智能

2019-01-10 10:02:32

机器学习数据人工智能
点赞
收藏

51CTO技术栈公众号