PaddlePaddle 与 Kubernetes强强联合助力深度学习模型高效运转

新闻
Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

   美国时间2月8日,Kubernetes社区宣布由百度原创开发的开源深度学习框架PaddlePaddle将兼容集群管理系统Kubernetes,使PaddlePaddle成为迄今为止唯一正式支持 Kubernetes的深度学习框架。

  此次兼容将使开发者能够便捷地在全球主要云服务以及私有集群 (on-premise clusters) 上做大规模深度学习训练。该项目由百度和CoreOS联合开发,同时CoreOS也是Kubernetes的主要贡献者之一。

  开发者通常会将AI项目与Web服务、日志收集、和数据处理等多种作业部署在同一个通用集群(general-purpose cluster)之上,从而实现高效数据通道。为管理通用集群,需要使用Kubernetes等成熟的通用集群管理系统。使PaddlePaddle兼容Kubernetes,开发者便可以开发搭载高效深度学习的应用。

  百度科学家及PaddlePaddle研发项目带头人王益表示:“Kubernetes可以有效简化分布式作业,包括分布式机器学习作业的部署和运维工作,提升研究员和开发者的工作效率。“Kubernetes将需要GPU的PaddlePaddle任务与需要大内存或大磁盘I/O吞吐量(disk I/O throughput)等其他不同资源的任务部署在同一个物理计算机之上,从而发挥集群硬件的***效用。同时Kubernetes还能在活跃用户较多的白天自动启动更多的Web服务进程,而在夜间释放Web服务使用的部分资源来启动更多的PaddlePaddle进程。

  PaddlePaddle为百度原创的一款易于使用的深度学习框架。最近四年里应用于百度旗下的多款互联网产品中。该框架尤其适合训练循环神经网络(recurrent neural networks),从而能高效执行自然语言理解、语音识别、和计算视觉等应用。自2016年百度世界大会上,宣布开放百度深度学习平台以来,PaddlePaddle已成为发展最快的深度学习平台之一。

责任编辑:张诚 来源: 51CTO
相关推荐

2009-09-08 11:05:00

JRuby入门Ruby

2010-08-12 09:49:26

FlexBuilderEclipse3.4

2010-01-12 11:31:46

博科资讯物流振兴

2015-09-22 09:58:31

易云

2024-01-23 12:57:00

模型数据

2018-04-02 10:45:11

深度学习PaddlePaddl手写数字识别

2018-04-04 10:19:32

深度学习

2013-10-22 11:37:37

UCloud商派网络云软件

2017-08-16 10:57:52

深度学习TensorFlowNLP

2018-03-26 20:07:25

深度学习

2021-02-01 17:32:33

云计算行业科技

2018-03-09 22:56:52

PaddlePaddl

2018-02-07 16:13:00

深度学习

2020-11-23 14:35:31

美的华为HarmonyOS

2021-09-02 08:02:50

深度学习Kubernetes集群管理

2018-03-26 21:26:50

深度学习
点赞
收藏

51CTO技术栈公众号