全球最大开源大模型!马斯克正式开源Grok AI

人工智能 开源
现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok——模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出——以及其他相关文档,并将模型的副本用于任何他们想要的东西,包括商业应用。

马斯克此前曾宣布,开源Grok的举措将于本周实施。现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok——模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出——以及其他相关文档,并将模型的副本用于任何他们想要的东西,包括商业应用。

该公司在一篇博客文章中宣布:“我们正在发布我们的大型语言模型Grok-1的基本模型和网络架构,Grok-1是xAI从头开始训练的3140亿参数混合专家模型。”

感兴趣的人可以在Github的页面上或通过链接下载Grok的代码。

Grok的开源意味着什么

参数是指支配模型的权重和偏差——通常参数越多,模型就越先进、越复杂、越好用。Grok拥有3140亿个参数,远远领先于开源竞争对手,如Meta的Llama 2(700亿个参数)和Mistral 8x7B(120亿个参数)。

Grok是在Apache许可2.0下开源的,该许可允许商业使用、修改和分发,尽管它不能被注册为商标,用户也不会获得任何责任或保证,此外,他们必须复制原始许可证和版权声明,并说明他们所做的更改。

Grok的体系结构于2023年10月使用JAX和Rust上的定制训练堆栈开发,结合了神经网络设计的创新方法,对于给定的令牌,该模型使用25%的权重,这一策略提高了其效率和效果。

Grok最初是在2023年11月发布的,当时它是一款专有或封闭源代码的机型,到目前为止,它只能在马斯克独立但相关的社交网络X(前身为Twitter)上使用,特别是通过X Premium+付费订阅服务,费用为每月16美元或每年168美元。

然而,Grok的发布并不包括其训练数据的完整语料库,这对于使用模型并不重要,因为它已经经过了训练,但它不允许用户看到它从X上学到了什么——大概是X上的用户文本帖子(xAI博客文章含糊地说它是“基于大量文本数据训练的基础模型,没有针对任何特定任务进行微调”)。

它也不包括任何与X上可用的实时信息的挂钩,马斯克最初将其吹捧为Grok相对于其他LLM的主要属性,为此,用户仍需要在X上订阅付费版本。

不仅仅是一项技术举措 还是一项商业和公关战略

为了与OpenAI的ChatGPT竞争,马斯克于2018年脱离OpenAI并创建了自己的大模型Grok。马斯克将Grok定位为ChatGPT和其他领先的大语言模型的更幽默、更未经审查的版本,鉴于人们对人工智能审查的抱怨,以及谷歌Gemini令人尴尬的混乱图像和可疑的意识形态立场(Gemini在至少一个例子中暗示,马斯克的推文对社会的影响可能与纳粹领导人Adolf Hitler一样糟糕),这一立场在更广泛的用户中重新变得有吸引力。当然,Gemini受到了马斯克和其他有影响力的科技领袖的强烈批评,其中包括16z的联合创始人和网络先驱马克·安德森。

Grok的开源显然也是马斯克在诉讼和对OpenAI的普遍批评中有益的意识形态立场,他最近起诉了OpenAI,指责他的前公司放弃了《创始协议》,转而以非营利性组织的形式运营。OpenAI在舆论法庭上发布了为自己辩护的电子邮件,至少表明马斯克知道并可能支持其转向专有的营利性技术。

X上的人工智能社区已经对这一发布充满了好奇和兴奋,值得注意的是,技术界指出了该模型在前馈层中使用GeGLU,以及它的归一化方法,就连OpenAI的员工也发帖表达了他们对该模型的兴趣。

因此,Grok的发布可能会给所有其他大语言模型提供商,特别是其他竞争对手开源提供商带来压力,让他们向用户证明他们是多么的优越。

责任编辑:庞桂玉 来源: 企业网D1Net
相关推荐

2024-03-18 13:21:13

2024-03-18 15:00:48

Grok现已开源Grok-1混合专家模型

2023-12-13 08:46:33

人工智能ChatGPT机器人

2024-03-12 13:14:40

2024-03-18 08:47:34

马斯克GrokOpenAI

2024-03-19 14:00:59

2023-12-08 12:58:26

2024-03-18 10:17:00

开源AI

2023-12-12 17:53:27

马斯克AIChatGPT

2023-11-06 13:44:34

2024-03-29 12:48:00

数据训练

2024-07-23 20:37:06

2024-05-29 14:11:00

2024-03-29 14:04:00

模型训练

2024-04-07 11:25:54

2023-08-26 19:14:21

开源算法Linux

2023-04-18 15:03:24

模型数据

2023-11-06 12:34:14

模型训练

2018-02-08 09:25:08

开源AI项目

2024-10-29 14:30:00

AI模型
点赞
收藏

51CTO技术栈公众号