作者丨Vandana Nair
编译丨诺亚
苹果在AI上的推进向来谨慎得近乎保守。不过近来一些消息表明,苹果也在悄悄干大事。
两个月前,当苹果公司研发生成式人工智能工具和聊天机器人的消息传出时,积极的市场情绪将苹果公司的股价推至198.23美元的创纪录高点,涨幅为2.3%。然而,除了苹果公司在其LLM中使用Ajax以及员工内部将其命名为AppleGPT之外,没有公布关于该模型的其他细节。
根据The Information最近的报告,苹果正在训练Ajax GPT,训练参数超过2000亿,传闻中比GPT-3.5更强大。更令人惊奇的是,苹果做了一件以前从未做过的事情——在GitHub上开源它的代码!
1、史无前例的举动
今年7月,苹果在GitHub上谨慎地上传了AXLearn的代码,让公众可以使用它来训练他们自己的大语言模型,而无需从头开始。
AXLearn是苹果公司在过去一年中为训练Ajax GPT而开发的内部软件,是一个机器学习框架。它可以作为快速训练机器学习模型的预构建工具。Ajax是由Google研究人员创建的开源框架JAX衍生而来的,AXLearn的一些组件是专门为优化Google TPU而设计的。
虽然苹果可能在创新解决方案方面遥遥领先,但它也有把公司的优先事项放在其他任何事情之前的糟糕一面。苹果一直以培养封闭源代码环境而臭名昭著。他们的技术和代码都没有向公众开放。
当大型科技公司发布优秀的开源模型,如Meta的lama-2、Anthropic的Claude-2、Falcon、Vicuna等时,苹果总是坚持他们传统的保密路线,OpenAI也在遵循这一路线。苹果的封闭源代码做法受到科技界的批评,称该公司受益于大型科技公司发布的研究成果,但从不给予任何回报。
苹果决定将其培训软件AXLearn开源,这是跨出其保密策略的重要一步。此举可以促进人工智能研究界的合作和创新,并反映出人工智能发展的更广泛的开放趋势。
虽然苹果决定在GitHub上发布代码的确切动机尚未披露,但很明显,该公司每天在人工智能开发上投入数百万美元的巨额投资,反映了它在人工智能竞赛中积极参与竞争的决心。
有趣的是,上个月该公司在中国香港申请了“AXLearn”商标。
2、向谷歌文化看齐
苹果的人工智能负责人John Giannandrea和对话式AI Foundational Model团队的负责人庞若鸣都曾在谷歌任职,他们都带来了丰富的经验。
Giannandrea带来了他的愿景,即让苹果变得像谷歌一样,让员工有更多的自由进行各种研究、发表论文和探索创新想法。苹果之前在这些领域的限制阻碍了人才的增长和招聘。
据报道,苹果还从谷歌和Meta的人工智能平台团队中挖了不少人才过来。在过去的两年里,在GitHub上AXLearn的18位贡献者中,至少有7位曾在谷歌或Meta工作过。苹果可能已经调整了通过研究社区培养人才的方法,这使得开源成为正确的前进道路。
3、破译线索
综合现有信息来看,苹果似乎已经组建了两个新的团队,来研究语言和图像模型。苹果最近的人工智能研究报告暗示,将开发能够生成图像、视频和3D场景的软件,同时这也意味着其正在研究可以处理文本、图像和视频的多模态人工智能。
然而,将LLM整合到苹果产品中仍然存在不确定性。苹果一直倾向于将其新软件安装在其设备上,但将一个需要更多存储空间和计算能力的2000亿参数LLM集成到iPhone上是不合理的。该公司可能会开发用于手机集成的较小型号,或者该型号将用于其他用途,其细节仍难以捉摸。
原文链接:
https://analyticsindiamag.com/apple-springs-a-surprise-embraces-open-source-training-method/