Meta人工智能开发失误,不及时用GPU导致落后对手

人工智能
据公司披露,此次改组使Meta的资本支出每季度增加了约40亿美元,几乎是2021年的两倍,并导致其暂停或取消了在四个地点建立数据中心的计划。

一份内部备忘录显示,2022年夏末,Meta首席执行官马克·扎克伯格(Mark Zuckerberg)召集公司高管团队,分析公司计算能力长达五个小时,特别是处理尖端人工智能的能力。

备忘录指出,尽管Meta在人工智能研究方面进行了高调的投资、并且公司越来越依赖人工智能来支持其增长,但在主要业务采用昂贵的人工智能优化软硬件系统上,这家社交媒体巨头的速度比较缓慢,这妨碍了其在规模扩张中跟上创新步伐的能力。如果要支持人工智能工作,Meta需要“从根本上改变我们的物理基础设施设计、软件系统以及提供稳定平台的方法”。

据公司披露,此次改组使Meta的资本支出每季度增加了约40亿美元,几乎是2021年的两倍,并导致其暂停或取消了在四个地点建立数据中心的计划。

而Meta正面临着严峻财务困境,自去年11月以来,该公司一直在进行规模空前的裁员。

与此同时,去年11月ChatGPT横空出世,引发了科技巨头之间的竞争,它们纷纷发布生成式AI产品。而五位消息人士称,生成式AI需要大量的计算能力,这加剧了Meta扩容的紧迫性。

消息人士透露,Meta在人工智能上应用GPU较为缓慢,是主要问题之一。GPU芯片非常适合人工智能处理,因为它们可以同时执行大量任务,缩短了处理数十亿条数据所需的时间。然而,GPU芯片价格较高,芯片制造商Nvidia控制着80%的市场,并在相应的软件方面保持领先地位,消息人士称。

直到去年,Meta主要使用大量普通CPU来运行AI工作负载。CPU是计算机世界的主力芯片,虽然已经称霸数据中心几十年,但其在人工智能工作方面表现不佳。

这导致竞争对手在AI领域的发展超过了Meta。他们使用GPU芯片并拥有更好的AI软件,因此能够更快地开发新的AI产品和服务。

据两位消息人士透露,Meta公司还开始使用自己内部设计的定制芯片来训练AI。但到了2021年,这种双管齐下的方法被证明比以GPU为核心构建的方法更慢、效率更低效。GPU芯片在运行不同类型的模型方面也比Meta的芯片更加灵活,这两位消息人士说。

后来,随着扎克伯格将公司转向元宇宙,算力不足使得公司无法应对威胁,包括TikTok的崛起和苹果主导的广告隐私变化。

这些问题引起了前Meta董事会成员彼得·蒂尔(Peter Thiel)的关注。2022年初,他辞去了职务,没有解释原因。据两位知情人士透露,在他离任前的一次董事会会议上,蒂尔指出扎克伯格和他的高管们过于专注于元宇宙的发展,而忽视了Meta的核心社交媒体业务,这让公司容易受到TikTok等竞争对手的挑战。

Meta曾计划在2022年推出定制芯片,但后来放弃,转而在同年订购了数十亿美元的Nvidia GPU芯片。此时Meta已经落后于谷歌等同行,后者在2015年开始部署自己定制的GPU版本,称为TPU。

Meta接下来开始重组人工智能部门,任命了两位新的工程师领导。在这段时间内,数十位高管离开了Meta公司,几乎全部更换了人工智能基础设施领导层。

接下来,Meta公司开始改造其数据中心,以适应引进的GPU,这些芯片需要更多的功率和产生更多的热量,必须紧密地聚集在一起,并在它们之间进行专门的网络连接。这项工作需要大量的网络容量和新的液冷系统来管理集群的热量,因此需要对它们进行“完全重新设计”。

随着工作的推进,Meta开始内部计划开发一款更为雄心勃勃的新型芯片,类似于GPU,既能训练人工智能模型,又能进行推理。两位消息人士透露,该项目将于2025年左右完成。

Meta的发言人Jon Carvill拒绝就芯片项目发表评论。

虽然Meta正在扩大GPU规模,但微软和谷歌等公司正在推广商业生成式人工智能产品,而Meta在这方面没有太多实质性进展。

Meta首席财务官在二月份承认,公司目前没有将大部分计算能力用于生成式工作。她说:“基本上我们所有的人工智能能力都用于广告、动态消息和Reels。”Reels是Meta公司类似于TikTok的短视频格式,广受年轻用户欢迎。

据四位消息人士透露,Meta公司直到ChatGPT在去年11月份推出后,才开始优先考虑开发生成式人工智能产品。虽然公司的AI研究部门自2021年底以来一直在发布技术原型,但没有专注于将其转化为产品。然而,随着投资者的兴趣不断高涨,扎克伯格在今年2月份宣布成立了一支新的高层次生成式人工智能团队,他说这个团队将“加速”该公司在这一领域的工作。

首席技术官安德鲁·博斯沃思也在本月表示,生成式人工智能是他和扎克伯格花费最多时间的领域,并预测Meta公司将在今年推出新产品。

两位熟悉新团队的人士表示,该团队的工作处于早期阶段,主要是构建基础模型,这是一种核心程序,以后可以进行微调和适应不同的产品。

Meta公司发言人Carvill表示,该公司已经在不同的团队上开发生成式人工智能产品超过一年了。他确认,在ChatGPT推出后的几个月里,这项工作加速了。

责任编辑:姜华 来源: 网易科技
相关推荐

2020-07-03 09:42:13

人工智能机器学习技术

2018-09-12 14:01:46

人工智能开发者大会

2023-04-19 15:19:23

微软人工智能芯片

2017-04-07 11:30:04

人工智能开发编程语言

2021-08-14 23:19:43

人工智能语言开发

2022-03-23 14:09:11

人工智能技术元宇宙

2023-09-28 20:57:23

Meta人工智能聊天机器人

2018-12-28 18:04:27

人工智能AI开发者

2017-12-29 09:25:03

2023-12-07 07:59:44

人工智能芯片

2024-08-07 12:41:59

2019-03-25 20:52:32

5G人工智能杀人

2019-11-22 23:52:15

谷歌人工智能开源

2020-11-30 11:04:10

人工智能数字化

2020-03-13 09:06:45

人工智能AI机器学习

2018-01-19 18:18:33

大数据

2021-06-15 08:00:00

人工智能机器学习应用

2021-09-26 11:09:57

人工智能AI深度学习

2021-08-19 10:28:28

人工智能商业智能AI

2023-06-14 07:53:33

点赞
收藏

51CTO技术栈公众号