Hadoop集群系列2:机器信息分布表

开发 架构 大数据 Hadoop
本文为Hadoop集群系列第二篇,讲述如何采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

1、分布式环境搭建

采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

图1 集群的架构

 

  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。

2、集群机器详细信息

2.1 Master服务器

名称

详细信息

机器名称

Master.Hadoop

机器IP地址

192.168.1.2

***用户名称(Name

root

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

2.2 Slave1服务器

名称

详细信息

机器名称

Slave1.Hadoop

机器IP地址

192.168.1.3

***用户名称(Name

root

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

2.3 Slave2服务器

名称

详细信息

机器名称

Slave2.Hadoop

机器IP地址

192.168.1.4

***用户名称(Name

root

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

2.4 Slave3服务器

名称

详细信息

机器名称

Slave3.Hadoop

机器IP地址

192.168.1.5

***用户名称(Name

root

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

  备注:

  添加新用户命令:useradd;修改新用户密码:passwd 用户名

  退出当前用户:exit; 登录root用户:su –

3、集群机器实际布局

  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

3.1 Hadoop工作集群

  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

 

图3.1-1 Hadoop工作集群部署图(1)

图3.1-2 Hadoop工作集群部署图(2)

  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的Dell,而三台Slave机器则是实验室淘汰的Lenovo,用一个小路由器他们组成了一个局域网。

图3.1-3 路由器特写

3.2 Hadoop实验集群

  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

 

图3.2-1 Hadoop实验集群部署

 

  上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。

原文链接:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html

【编辑推荐】

  1. Hadoop集群系列1:CentOS安装配置
  2. 实现Hadoop集群性能优化,Hadoop机架感知如何配置?
  3. 专家指导 如何实现Hadoop集群搭建
  4. Hadoop文件系统如何快速安装?
  5. Hadoop集群搭建过程中相关环境配置详解
  6. Hadoop完全分布模式安装实现详解
责任编辑:彭凡 来源: 博客园
相关推荐

2012-06-20 09:19:19

Hadoop集群

2012-06-25 10:30:06

Hadoop集群

2012-07-05 10:51:57

Hadoop集群

2012-06-29 10:58:27

Hadoop集群

2012-07-03 08:37:24

Hadoop集群

2012-06-13 09:56:53

2012-06-19 15:51:22

集群系列2

2019-09-26 15:43:52

Hadoop集群防火墙

2017-08-10 10:17:32

Hadoop分布式搭建

2012-08-22 15:25:43

Linux集群

2018-07-16 08:29:54

redis集群限流

2010-04-22 14:19:21

LVS负载均衡集群

2012-09-06 14:54:58

Linux集群

2010-09-29 10:16:02

Linux集群虚拟化

2009-06-29 12:37:21

linux

2011-01-14 15:32:17

2009-05-05 13:56:59

五舟intel四核

2010-05-07 14:15:06

集群系统负载均衡

2011-01-14 15:37:39

Linux集群系统

2010-06-03 14:42:47

Hadoop分布式集群
点赞
收藏

51CTO技术栈公众号