大数据统一的批处理和流处理标准 Apache Beam

大数据
Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中***增添的成员,是 Google 在2016年2月份贡献给 Apache 基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为***,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

 

责任编辑:武晓燕 来源: 网络大数据
相关推荐

2016-11-14 18:17:42

Apache Beam大数据

2024-08-14 08:11:41

2019-07-05 12:16:26

大数据IT互联网

2017-08-09 13:30:21

大数据Apache Kafk实时处理

2024-05-06 08:41:05

Spring应用大数据

2023-08-22 08:01:42

SpringBatch事务管理

2016-11-15 09:34:14

Apache Kyli流处理引擎

2017-04-11 09:17:07

Apache Beam剖析Flink

2023-11-28 14:32:04

2017-01-12 14:50:15

大数据Spring Batc框架

2010-07-16 10:42:14

telnet批处理

2018-02-27 14:22:38

ETLKakfa数据集

2019-06-18 13:51:08

大数据流处理新兴市场

2010-11-19 15:25:48

关闭Oracle服务

2022-03-01 18:23:17

架构大数据系统

2019-02-21 15:34:08

数据分析师大数据可视化

2017-02-28 10:54:40

Pandas

2017-01-11 08:37:07

Apache SparStreamingDataFrames

2023-11-29 13:56:00

数据技巧

2017-09-06 17:05:54

大数据处理流程处理框架
点赞
收藏

51CTO技术栈公众号