运行在YARN上的计算框架

开发 前端
随着YARN的成熟和稳定(2013年8月25日已经发布beta版),必将形成一个以YARN为核心的生态系统,在该生态系统中,所有计算相关的框架可 运行在一个YARN集群中(由于YARN本身设计上的一些问题,目前还难以运行通用的服务,比如Web Server、HBase等,未来趋势肯定是各类系统或者服务可运行在一个集群中,进行统一资源管理和调度)。

随着YARN的成熟和稳定(2013年8月25日已经发布beta版),必将形成一个以YARN为核心的生态系统,在该生态系统中,所有计算相关的框架可 运行在一个YARN集群中(由于YARN本身设计上的一些问题,目前还难以运行通用的服务,比如Web Server、HBase等,未来趋势肯定是各类系统或者服务可运行在一个集群中,进行统一资源管理和调度)。为了关注该方向的技术动态和发展趋势,本博 客开辟一个“运行在YARN上的框架”(framework-on-yarn)专栏,欢迎各位关注。作为这个专栏***篇文章,将介绍一下这种模式的好处以 及当前运行在YARN上相对而言较为成熟的计算框架。

1. 将框架运行在YARN上带来的好处

随着YARN的的成熟和稳定,各类应用程序可以运行在一个YARN集群中进行统一资源管理和调度,这样带来的变化如下:

(1)应用程序部署变得更加简单

管理员只需部署YARN服务即可,各类应用程序框架不再自带服务,无需实现部署,它们已经变成了客户端编程库(library),由YARN提供的分布式缓存机制分发到各个节点上;

(2)服务部署变得简单

用户可以通过运行一个应用程序的方式部署一套服务,比如Storm服务,至于jar包拷贝等工作,完全由YARN自动完成,部署完成后,用户像使用普通的Storm集群那样使用Storm-On-YARN

(3)多版本共享集群资源(简单的隔离)

由于YARN只负责资源管理和调度,至于其上运行什么应用或者服务,完全由用户自己决定,这使得用户可在YARN上运行多个同类服务实例,比如运行 多个Storm实例供不同类型的应用,YARN本身可以为这些实例提供隔离机制(Cgroups)。有了YARN之后,用户开发新的框架或者应用程序时, 可不必在考虑资源隔离问题。

(4)资源弹性管理

由于多类应用运行在一个YARN集群中,比如离线计算、实时计算、DAG计算等,YARN可根据不同类型的应用程序压力情况,调整对应的资源使用量,实现资源弹性管理。

2. 目前可运行在YARN上的计算框架

运行在YARN上的框架,包括MapReduce-On-YARN, Spark-On-YARN, Storm-On-YARN和Tez-On-YARN。

(1)MapReduce-On-YARN:YARN上的离线计算,YARN发行版中自带该实现,随着YARN的稳定,MRv1运行方式会被淘汰;

(2)Spark-On-YARN:YARN上的内存计算;

(3)Storm-On-YARN:YARN上的实时/流式计算;

(4)Tez-On-YARN:YARN上的DAG计算

3. 其他相关文章阅读

我之前写过一些类似的文章,有兴趣的读者可阅读以下几篇:

(1)Storm On YARN:http://dongxicheng.org/mapreduce-nextgen/storm-on-yarn/

(2)Tez On YARN:http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/

(3)利用下一代Hadoop YARN构建弹性计算平台:http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/

(4)从问题域触发理解Hadoop生态系统:http://dongxicheng.org/mapreduce-nextgen/rethinking-hadoop-from-problems-solved/

(5)解析Google资源管理系统Omega:http://dongxicheng.org/mapreduce-nextgen/google-omega/

(6)浅谈Omega/Torca/Mesos/YARN一类系统:http://dongxicheng.org/mapreduce-nextgen/borg-yarn-mesos-torca-corona/

(7)多集群下资源共享方案介绍:http://dongxicheng.org/mapreduce-nextgen/multi-clusters-sharing-resources/

原文链接:http://dongxicheng.org/framework-on-yarn/distributed-computing-framework-on-yarn/

责任编辑:陈四芳 来源: dongxicheng.org
相关推荐

2009-06-19 21:02:11

2011-08-30 13:10:14

Python

2012-05-24 09:47:26

ibmdw

2021-07-15 09:40:57

MinikubeKubernetes集群

2012-05-28 16:20:44

Linux

2011-08-31 09:40:25

VMwareWindows

2012-07-20 12:49:52

Office 2013Windows Vis

2014-08-15 10:23:51

ubuntuCinnamon

2010-05-27 10:05:08

EhcacheJava云计算

2009-02-25 08:27:00

Windows 3.1N95Symbian

2015-09-29 09:34:53

LinuxCPU内核

2015-10-28 13:26:25

Hyper-VFreeBSDLinux

2016-11-24 08:59:10

LinuxTOP500计算机

2017-09-20 16:29:19

2011-10-20 09:31:35

Dart

2018-12-16 16:21:08

HadoopKubernetes容器

2011-05-17 09:51:46

Citrix ReceWindows应用程序Chrome OS

2014-09-24 09:29:11

2013-04-19 09:51:21

HadoopOpenStackSavanna

2010-03-11 14:32:34

Ubuntu Twea
点赞
收藏

51CTO技术栈公众号