在生成式AI领域,推出了ChatGPT的OpenAI是处于领先地位的,他们的GPT-4已经是万亿参数级别,还在训练更先进的GPT-5,届时又会在技术水平上甩开国内的追赶者。
OpenAI能够领先,先进AI显卡用到的GPU是功不可没的,背靠微软这棵大树,他们在算力资源上不会受到限制,GPT-4的训练就使用了2万张NVIDIA的AI显卡训练。
但是万张显卡级别的算力还不是终点,今年也投身AI创业的前搜狗CEO王小川日前在采访中透露了OpenAI的动向,提到后者正在做更先进的训练方法,设计能够将1000万张GPU连在一起的计算模型。
1000万张GPU是什么概念?目前NVIDIA每年的产量也就是100万块GPU(应该主要是指AI方面的GPU),OpenAI的规模相当于10倍于NVIDIA年产能的水平。
王小川称OpenAI的1000万张GPU算力的目标是登月级别的计划,显然认为它很伟大。
不说这些GPU显卡能不能生产出来,购买花费多少,光是1000万张显卡互联的难度都是不可想象的,OpenAI要是做到了就真的无敌于天下了。
不过这也非常让人怀疑OpenAI是否表达错了,还是王小川听来的投行报告写错了,从几万张GPU到1000万张GPU的互联难度可不是一个级别的。