新时代开源数据调度在1000+企业的进化之路

原创
开源 大数据
代立东:创业九死一生,做数据调度也一样

近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。

可想而知,提升数据处理能力、使任调度任务效率最大化、保持工具高可用是目前各企业的共同诉求,同时也是大数据发展所要面对的核心技术难点。

在这样的背景下,大数据领域也涌现了很多优秀的开源项目。

其中大数据任务调度以 Apache DolphinScheduler 项目为代表:基于  Apache 开源社区理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 领域开源项目,拥有超过350人的贡献者群体。作为一个分布式去中心化,易扩展的可视化工作流任务调度平台,Apache DolphinScheduler 已累计在 1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等众多领域。

自2021年4月9日从 ASF 孵化器毕业成为 Apache 顶级项目后,Apache DolphinScheduler 一直保持着强劲的发展势头。在数年的演进历程中始终保持快速的版本更新与持续的架构迭代。且值得关注的是,Apache Dolphin Scheduler 已于近日迎来了其3.0.0-beta-1 版本的正式发布。

6月23日的【T·Talk】技术分享活动中,我们特别邀请到了白鲸开源联合创始人、Apache DolphinScheduler PMC Chair 代立冬老师为大家分享 Apache DolphinScheduler 的进化之路。届时,代立冬老师将详细介绍 Apache DolphinScheduler 架构迭代中的经验与教训,并分享对云原生时代调度架构的思考与前瞻。

无论你是热衷于钻研开源技术的开发者,还是“大数据调度”的开源资深爱好者,都能从这些前沿的案例中获得全新的灵感。

欢迎大家参与6月23日,晚上20:00【T·TALK】第12期技术分享活动

扫海报下方二维码预约观看

图片

嘉宾介绍:

代立冬,白鲸开源联合创始人、Apache DolphinScheduler PMC Chair、Apache Member、Apache SeaTunnel PPMC、Apache 孵化器导师、ApacheCon Asia Bigdata Track co-Chair(2021)、COSCon 大数据论坛出品人,组织过万人的大数据技术社区。

责任编辑:徐杰承 来源: 51CTO
相关推荐

2013-10-17 16:46:00

DevOps

2015-06-05 12:14:57

DevOps云应用开发Docker

2017-03-21 13:00:05

网络融合光网络通信网络

2024-09-13 14:31:54

2018-01-02 10:03:00

2018-01-16 11:28:13

2017-01-19 15:39:47

华为大数据

2009-05-05 08:15:59

2017-07-24 12:31:41

Linux命令

2009-06-22 11:48:08

Spring.NET

2023-05-14 23:42:58

ChatGPTOpenAI自然语言

2016-11-09 15:57:50

2023-11-14 10:44:17

云技术云计算

2020-08-07 11:46:47

JavaScript开发代码

2018-05-18 20:13:10

数据分析数字化转型Teradata

2021-10-08 09:00:00

大数据DataOps工具

2017-11-16 18:19:50

英方灾备

2020-12-14 09:22:55

AI 数据人工智能

2020-03-23 14:55:47

数据分析诸葛io

2022-05-09 11:29:42

架构数据
点赞
收藏

51CTO技术栈公众号