GPT Next年底来袭!有效计算量百倍GPT-4,OpenAI耗资数百亿打造基建

人工智能 新闻
OpenAI的下一代前沿模型GPT Next,或许真的有着落了。KDD 2024峰会上,发言人再次称,虽然GPT-3和GPT-4的能力相对接近,但GPT Next预计将取得实质性地性能跃升。

KDD上的一张PPT,再次掀起AI圈的风暴。

GPT Next今年准是跑不了了,而且有效计算量是GPT-4的100倍,预示着OpenAI未来模型的能力进一步提升。

图片

这是OpenAI日本首席执行长Tadao Nagasaki,在KDD 2024峰会上,透露的关于下一代模型最新信息。

见过这张图的人,一眼便认出,它的出现已经不下3次了....

图片

GPT Next今年发布,疯狂暗示

5月,在巴黎举行的Viva科技节上,OpenAI研究人员也将2024年,发布的模型称为GPT Next,性能远高于GPT-4。

图片

Nagasaki曾担任AWS日本总裁,直到今年4月,正式加盟OpenAI成为日本地区的负责人。

图片

他称,与传统软件相比,AI技术正在呈指数级发展。

他进一步表示,虽然GPT-3和GPT-4的能力相对接近,但GPT Next预计将取得实质性地性能跃升。

这恰恰呼应了微软Build开发者大会上,首席技术官Kevin Scott曾说的话,并暗示着截止今年年底,我们将拥有一个功能更强大的OpenAI模型。

图片

会上,公布的关于猎户座(Orion)和草莓项目更多信息包括:

图片

今年发布的GPT-4 Next,预计将使用迷你版草莓进行训练,其计算资源与GPT-4大致相同,有效计算量是GPT-4的100倍。

这款全新AI模型将在过去基础上,进化近百倍。

这100倍的增长,可能不是指计算资源的规模,而是有效计算量+ 2个OOM,包括对体系结构和学习效率的改进。

图片

最近曝出的Orion,与GPT-4相比,相当于在10k H100上用时几个月完成训练,增加了10倍的计算资源规模,相当于+3 OOM,预计明年发布。

此前,Information也爆料称,OpenAI正在开发两个AI新系统:

一个是草莓,在数学和编程等领域,有着更高能力的人工智能模型。另一个是猎户座,可能成为GPT-4的继任者,或者就是GPT Next。

猎户座可能会用草莓生成高质量数据进行训练,而且会大幅提升逻辑推理能力。

另外,Nagasaki还表示,OpenAI在全球拥有不到2000名员工,其中一半从事人工智能开发。

图片

另一张,网上流传的图称,不要以GPT-4o的进展,来预测Scaling Law。

大模型相当于需要1.5-2年的时间,才能真正进化出下一代。

图片

而且,一名三星的高管称,GPT-5可能有3-5万亿个参数,而GPT-4仅有1.7万亿。

图片

图片

这背后原因,不言而喻。

先机大模型的诞生,需要有强大算力基座。

耗资数百亿美元,打造新基建

知情人士称,Sam Altman正计算大规模建设AI所需的机器和系统。

而且,这一计划将分散在美国各州展开,预计将耗资数百亿美金。

图片

今年2月,彭博曾报道,奥特曼一直在寻求美政府对该项目的批准。

这一项目希望,形成一个全球投资者联盟,进而为AI发展所需的基础设施提供资金支持。

而最新的细节是,目前正讨论的项目类型包括,建设数据中心,增加能源容量,利用涡轮机、发电机传输电力,并扩大半导体制造。

图片

据称,支持者可能包括加拿大、韩国、日本、阿联酋的投资者。

最近几周,包括奥特曼在内的OpenAI高管,一直在与投资者会面,推进这笔交易。OpenAI首席战略官Jason Kuan还前往日本韩国,与投资者谈论这项计划。

OpenAI还设想微软,能够参与这一项目。

恰在谈判之际,OpenAI即将开启新一轮数十亿美元的融资,将由Thrive Capital牵头,微软、苹果、英伟达也参与其中。

这轮融资结束后,OpenAI估值将超过1000亿美元。

OpenAI又要截胡谷歌?

一位网友听到一些传闻,OpenAI可能于10月17日周四发布新的东西。

具体是什么,不太确定,有可能是GPT-4o模型更新,也有可能是SearchGPT公开推出。


但有一点可以肯定的是,那就是,它一定不会是全新的前沿模型。

谷歌DeepMind的首席科学家对此表示,「以一种奇怪的方式得知,我的公司将在10月18日宣布一些事情」。

图片

这样的情况也确实屡见不鲜,从年初谷歌Gemini 1.5 Vs OpenAI Sora,再到5月谷歌支持200万token Gemini 1.5 Pro和OpenAI GPT-4o,一直打到了现在。

而且,几乎每次重大发布,OpenAI都要给谷歌来上重重一击。

责任编辑:张燕妮 来源: 新智元
相关推荐

2023-04-14 07:09:04

2024-03-08 12:35:27

AI模型

2023-04-11 14:13:23

阿里AI

2023-06-19 08:19:50

2023-08-06 08:06:30

OpenAIChatGPTGPT-4

2023-12-09 13:24:40

OpenAIChatGPT人工智能

2023-04-09 16:17:05

ChatGPT人工智能

2023-07-07 09:32:57

GPT-4OpenAI

2023-12-17 22:04:04

微软GPT-4

2023-03-16 17:28:59

技术AI

2024-05-24 13:32:59

2024-05-28 14:40:00

2024-01-26 08:36:07

OpenAIGPT-4​人工智能

2023-10-11 13:09:09

OpenAI模型GPT-4

2024-06-28 13:40:03

2023-03-16 08:13:56

人工智能​OpenAI

2023-05-31 07:24:48

2024-05-21 12:23:17

2023-09-04 10:05:01

GPT-4AI模型

2024-01-19 12:34:39

点赞
收藏

51CTO技术栈公众号