Jeff Markham:Hadoop YARN的高可用性

原创
数据库 Hadoop
2013 Hadoop中国技术峰会上,51CTO记者有幸采访到Hortonworks CTO,Jeff Markham先生。Jeff是曾经与VMware,Red Hat,IBM等公司一起构建不同架构的应用,用以处理非结构化数据。

【51CTO独家特稿】在2013 China Hadoop Summit峰会上,来自Hortonworks的CTO,Jeff先生为我们分享了YARN在大数据方面的应用。

Jeff首先谈到了YARN对比MESOS的一些优势。比如架构更加简单,用户可以不用过于复杂的设计工程。在可扩展性方面,YARN也有自己的优势。Yarn 框架相对于老的 MapReduce 框架什么优势呢?我们可以看到:

这个设计大大减小了 JobTracker(也就是现在的 ResourceManager)的资源消耗,并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了,更安全、更优美。在新的 Yarn 中,ApplicationMaster 是一个可变更的部分,用户可以对不同的编程模型写自己的 AppMst,让更多类型的编程模型能够跑在 Hadoop 集群中,可以参考 hadoop Yarn 官方配置模板中的 mapred-site.xml 配置。

对于资源的表示以内存为单位 ( 在目前版本的 Yarn 中,没有考虑 cpu 的占用 ),比之前以剩余 slot 数目更合理。 老的框架中,JobTracker 一个很大的负担就是监控 job 下的 tasks 的运行状况,现在,这个部分就扔给 ApplicationMaster 做了,而 ResourceManager 中有一个模块叫做 ApplicationsMasters( 注意不是 ApplicationMaster),它是监测 ApplicationMaster 的运行状况,如果出问题,会将其在其他机器上重启。

Container 是 Yarn 为了将来作资源隔离而提出的一个框架。这一点应该借鉴了 Mesos 的工作,目前是一个框架,仅仅提供 java 虚拟机内存的隔离 ,hadoop 团队的设计思路应该后续能支持更多的资源调度和控制 , 既然资源表示成内存量,那就没有了之前的 map slot/reduce slot 分开造成集群资源闲置的尴尬情况。

责任编辑:彭凡 来源: 51CTO
相关推荐

2024-02-27 09:48:25

Redis集群数据库

2012-07-04 11:21:07

OpenStack

2012-09-04 13:43:31

SQL Server

2013-08-28 10:30:39

vSphere

2010-12-31 14:36:15

ExchangeSer

2011-08-25 15:42:49

2024-08-13 15:42:19

2010-04-19 14:49:56

Oracle高可用性

2011-04-14 13:13:28

SQL serverSQL Mirror

2011-11-25 13:24:56

2017-03-15 15:14:03

MySQL数据库高可用性

2009-02-26 16:59:36

VMware虚拟化虚拟机

2018-06-21 08:23:35

云存储高可用应用

2012-02-22 10:13:43

虚拟化桌面虚拟化VMware View

2011-12-02 10:10:34

RedisFailover

2011-11-30 22:05:03

ibmdw云计算

2010-06-03 15:23:48

2013-03-21 11:09:48

网络管理高可用性集群系统网络虚拟化基础架构

2020-07-29 08:30:48

微服务架构数据

2019-03-25 09:49:27

Nginx负载均衡高可用性
点赞
收藏

51CTO技术栈公众号