Flink on Zeppelin 流计算处理最佳实践

网络
本文通过对大数据的介绍来详细的讲解了Flink on Zeppelin。

内容框架:

大数据概览
Flink 学习框架
EMR Studio 上的流计算最佳实践
演示

一、大数据概览

大数据处理 ETL (Data → Data)
大数据分析 BI (Data → Dashboard)
机器学习 AI (Data → Model)

二、Flink 学习框架

Flink 要点

Stateful
Time
Flink Architecture
Flink API
Flink Configuration
Flink Log

Stateful:

Why

流计算的及时性

流计算的 unbounded

When

Window

Join

Pattern

How

statebackend

Time

Event time
Processing time
Watermark

Flink Architecture

Flink API

Flink Configuration

Cluster Configuration
Job Configuration
Statebackend
Resource Manager
SQL/Python
参考文档:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/

Flink Log

三、EMR Studio 上的流计算最佳实践

EMR Studio 特性:

兼容开源组件

EMR Studio 在开源软件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。


支持连接多个集群
适配多个计算引擎
交互式开发 + 作业调度无缝衔接
适用多种大数据应用场景
计算存储分离

Flink Clients

Flink on Zeppelin (Phase 1) - Interactive Flink Client

Flink on Zeppelin (Phase 2) - Interactive JobManager

Flinkon Zeppelin 主要 Feature

原文链接:http://click.aliyun.com/m/1000286010/

责任编辑:梁菲 来源: 阿里云云栖号
相关推荐

2021-07-20 15:37:37

数据开发大数据Spark

2021-12-09 06:59:24

FlinkSQL 开发

2022-02-09 15:23:41

大数据流计算Spark

2018-02-06 09:05:25

Java异常处理代码

2015-04-28 09:12:10

云计算软件无序

2022-08-21 07:25:09

Flink云原生K8S

2013-04-01 09:39:06

JavaJava异常

2023-07-21 01:12:30

Reactfalse​变量

2011-08-18 11:05:21

jQuery

2014-07-29 09:25:39

加密密钥管理云加密

2015-03-16 16:16:15

JavaJava异常处理Java最佳实践

2017-02-16 08:36:24

API威胁机器学习

2017-11-20 13:54:55

FlinkStorm框架

2017-11-21 15:50:09

FlinkStorm性能

2020-12-30 17:51:07

曙光

2013-03-19 09:56:36

云计算迁移

2012-04-13 14:03:19

SOA

2015-02-09 09:21:21

2023-09-11 08:50:03

Maven工具关系管理

2015-09-23 09:08:38

java反射
点赞
收藏

51CTO技术栈公众号