上周,马斯克发布了其号称「地表最强」的Grok 3模型。
一经发布便引爆全网,经过网友实测,发现其性能果然强悍!
物理学家Luis Batalha在x上表示,2025年的普特南竞赛上,即使是前500名的顶尖选手,也无人能完整攻克下面这道难题。而Grok 3(Think)仅用了约8分钟就找到了答案。
不只是解数学题,计算机博士Alvaro Cintas称Grok 3是一款令人难以置信的AI编码助手。
他在只用了几个小时,就用Grok 3写了超过1000行代码,做出了一个功能齐全的2D垂直跳跃游戏。
该游戏拥有不同的英雄、怪物、平台、难度和生命。以下是他的提示和游戏画面,可以看出游戏制作得非常精美!
的确,由于Grok 3性能过于强悍,大量用户正在抛弃ChatGPT并转投Grok 3。
网友调侃说,他妻子嫉妒Grok 3,因为他跟Grok 3说的话比跟他妻子还多。
23号,知名AI投资人The AI Investor在x上预测,几天后,马斯克会发布一些关于Grok 3使用量的统计数据。
由于用户的疯狂涌入,马斯克很可能得出结论,现在的20万个GPU集群远远不能满足需求。
也许xAI的百万级GPU集群正在形成中。
在发布Grok 3时,马斯克阐述了xAI在将其大规模GPU集群(包含20万个英伟达GPU)进行扩容时所遇到的工程难题。并表示他们计划将该集群扩容至100万个GPU的规模。
对此消息,网友纷纷表示「利好英伟达」。
甚至有网友认为,xAI的数据中心规模将会大于Stargate项目所宣称的。
超越「星际之门计划」?
就在上个月,特朗普刚刚正式官宣「星际之门计划」,号称要在未来4年内砸5000亿美金,重塑美国在AI界领导地位。
这项计划将由OpenAI、软银、甲骨文牵头,首期先部署1000亿美元。纽约时报称,首批10座数据中心目前已在得克萨斯州开建,未来将扩展到其他州。
此前,奥特曼提到的「已经在建设中」的星际之门计划园区,即为Oracle/Crusoe阿比林园区。
该园区将容纳供OpenAI使用的10万台GB200算力集群。这个开发项目以及计划在第二季度和第三季度交付的GB200服务器,将部署在Oracle/Crusoe的数据中心内。
下面是2024年12月29日,拍摄的园区高清照片。
4个约11,150平方米的「模块」组成了一栋44,600平方米的建筑,目前仅有两栋建筑在建,关键IT负载容量约为180兆瓦。为了让大家理解这一规模,整个由20栋建筑组成的园区将包含80个这样的「模块」!
除了正在部署的10万台GB200算力集群外,分析师估计,他们还将在整个园区部署另外20万台GB300和约40万台VR200(英伟达计划在2026年推出的超算,分别对应Vera CPU和Rubin GPU)。
他们根据园区1,000亿美元总拥有成本(TCO)投资,以及人工智能TCO模型中的单位成本,计算出了Vera Rubin处理器的隐含数量。
约70万台GPU的总IT功率为1.8GW,这与Oracle/Crusoe阿比林园区1,800兆瓦的容量相符。
OpenAI研究员称「星际之门」将是有史以来最大的基础设施投资之一,将为AGI创造计算和能源。其规模已经可以与阿波罗计划和曼哈顿计划相媲美。
不过在这项目标远大的规划中,并没有看到马斯克的xAI参与其中。
也许老马有他自己的小算盘。当人们还在热议xAI孟菲斯数据中心的「全球最大」称号时,马斯克已经在亚特兰大悄然布下另一颗棋子。
马斯克低调开建xAI第二个超算中心
在亚特兰大,xAI一直在悄悄地建立数据中心(与X共同运营),将其业务版图扩展到其在孟菲斯的大型数据中心之外。
根据与亚特兰大经济发展机构之一Develop Fulton签署的协议中列出的设备清单,两家公司将共同部署约12,000个英伟达GPU,其中大部分将被用于AI计算。
对此,Develop Fulton制定了一个市政债券融资方案,为这个单一设施中价值7亿美元的芯片、线缆和其他设备提供融资。
其中,4.42亿美元分配给X,2.58亿美元给xAI。
内部详情
知情的数据中心解决方案架构师和AI硬件专家表示,亚特兰大数据中心拥有相当可观的计算能力。其规模可与谷歌或亚马逊等超大规模科技企业建立的数据中心相媲美。
X的代表将其描述为一个能够计算「万亿参数AI」的百亿亿次级(exascale)数据中心。
但与xAI绰号为Colossus(巨人)的「世界最大超算」相比,这个设施的容量就显得小了很多。
根据文件显示,佐治亚州设施将安装约12,448个英伟达GPU。其中绝大多数是Hopper架构的H100 GPU,每个服务器机架(含8枚芯片)的价格在27.7万至50万美元之间。
约3%的芯片是英伟达性能较低的A100 GPU,同样配置的8枚芯片价格为14.7万美元。其中,X提供了所有的A100,以及11,000个H100。
这两种芯片设计都不需要液冷系统,而液冷一直是马斯克公司在孟菲斯面临的一个棘手问题。当全负载运行时,Colossus项目预计将成为该市最大的用水消费者之一。
除了H100芯片外,xAI还提供了同样购自英伟达的Mellanox交换机和光学器件——这些高带宽网络设备可以提升芯片间的协同运算速度。
据估计,亚特兰大设施将需要20兆瓦的总功率,这一用电量可以从现有电网获得。
X和xAI的合作
亚特兰大设施是马斯克整合资源打造X和xAI的典型案例。其中,X为该数据中心贡献了90%的硬件,而xAI贡献了10%。
根据文件显示,这些设备将用于训练X平台的大语言模型和语义搜索产品。LinkedIn资料显示,X在该地区拥有约16名员工。
根据公司内部组织架构图,xAI在佐治亚州设施配备了1名员工,另有2名员工被列为「X Corp合作伙伴」。
与Develop Fulton达成的协议显示,该设施将保持现有的24个工作岗位,暂不增加新岗位。
马斯克正努力将xAI打造成能够与OpenAI和谷歌等科技巨头抗衡的主要竞争者,甚至从特斯拉挖来了一些人才。
据此前报道,在过去一年中,公司已招募了数百名数据标注人员来训练其聊天机器人,并计划在未来几个月内将招聘规模扩大到数千人。