7 月 10 日消息,Databricks 日前发布大数据分析平台 Spark 所用的 AI 模型 SDK,开发者写代码时,可用英文下指令,编译器就会将英文指令转换为 PySpark 或 SQL 语言代码,以提升开发者效率。
▲ 图源 Databricks 网站
据悉,Spark 是一款开源大数据分析工具,每年超过 10 亿次下载、在全球 208 个国家和地区使用。
▲ 图源 Databricks 网站
Databricks 表示,微软的 AI 代码助手 GitHubCopilot 固然强大,但使用门槛也相当高,Databricks 的 SDK 相对更具普适性,更易于上手。
Databricks 声称,他们发现大型语言模型非常了解 Spark,Spark 社区在过去 10 年贡献大量的开放、高质量文本以供 AI 学习发展。Databricks 团队也正是凭借 Spark 社区提供的一系列学习数据进行训练,用 LLM 开发一套英文版 SDK。开发者利用这套 SDK,即可直接用英文下指令,并得到相对应结果,提升开发效率。
▲ 图源 Databricks 网站
IT之家发现,Databricks 同时声称,当下这款英文版 SDK 还在早期开发阶段,他们欢迎更多使用者加入使用,来提升这款 SDK。