学习笔记 Hadoop0.20.0部署与测试

开发 架构 Hadoop
Hadoop相信大家应该有所了解,这里向大家介绍一下Hadoop0.20.0部署与测试方面的内容,相信通过本文的介绍大家对Hadoop0.20.0部署与测试有新的认识。

本节和大家一起学习一下Hadoop0.20.0部署与测试方面的知识,主要包括下载Hadoop软件和启动Hadoop集群前的准备工作等内容,希望通过本节的介绍大家能够掌握Hadoop0.20.0部署与测试的方法。

Hadoop0.20.0部署与测试

--最近对Hadoop的部署小有收获,本文总结部署的主要过程以及遇到的问题,其中很多地方也是借鉴网络上其他高手的经验(资料大部分是0.19乃至更早的,0.20在配置上已有部分调整)。
Hadoop官方(强烈建议仔细阅读官方原文文档)
整个部署过程主要分为以下几部分(以***0.20.0版本为例):
系统环境为ubuntu.04、JDK1.6

1.下载

从Apache的任意镜像站点上下载Hadoop***版本
压缩包中的docs下有使用手册,docs/cn下是中文手册(0.19)

2.启动hadoop集群前的准备工作

2.1安装JDK如果机器为多核建议安装JDK1.6,可以提高程序运行效率。

在/home/[$hadoop_home]/conf目录下的hadoop_env.sh中设置Hadoop需要的环境变量,其中JAVA_HOME是必须设定的变量。
exportJAVA_HOME=/usr/lib/jvm/java-6-sun
exportJAVA_HOME=/usr/lib/jvm/java-6-sun

2.2配置SSH(for配置集群)

安装SSH
以UbuntuLinux为例:
$sudoapt-getinstallssh
$sudoapt-getinstallssh

生成密钥对
$ssh-keygen-trsa-P''
$ssh-keygen-trsa-P''

询问其保存路径时直接回车采用默认路径
生成的密钥对id_rsa,id_rsa.pub,默认存储在/home/[$user]/.ssh目录下。
然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/[$user]/.ssh/authorized_keys文件中。
如果机器上已经有authorized_keys这个文件了,就在文件末尾加上id_rsa.pub中的内容。
如果没有authorized_keys这个文件,直接cp或者scp就好了。

没有authorized_keys时
$cpid_rsa.pubauthorized_keys
$cpid_rsa.pubauthorized_keys

或使用追加命令
$catid_rsa.pub>>authorized_keys
$catid_rsa.pub>>authorized_keys

Hadoop0.20.0部署中下面这步必须操作否则SSH无法正常运行,修改authorized_keys文件权限为当前用户可读写,其他用户只读。
$chmod600authorized_keys
$chmod600authorized_keys
为了进一步加强安全,可以修改本机文件/etc/ssh/sshd_config,这样设定之后SSH就只能通过密钥认证登录。

#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys
#去除密码认证
PasswordAuthenticationno
AuthorizedKeyFile.ssh/authorized_keys。请关注下节关于Hadoop0.20.0部署与测试介绍。
 

【编辑推荐】

  1. hadoop-0.20.1部署手册新手必备
  2. 如何进行Hadoop安装部署?
  3. Hadoop文件系统如何快速安装?
  4. Hadoop集群搭建过程中相关环境配置详解
  5. Hadoop完全分布模式安装实现详解

 

 

责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-07 16:45:49

Hadoop0.20.

2010-06-07 11:12:52

Hadoop-0.20

2010-06-07 15:21:00

hadoop-0.20

2014-07-17 14:09:31

Spark

2009-09-11 08:12:36

Windows 7企业部署网络部署

2009-09-18 08:40:56

Windows 7企业部署VHD

2009-11-25 14:53:58

VS2003部署项目

2010-05-28 12:33:11

IPv6部署

2016-12-26 09:19:38

CentOS 7RabbitMQ服务

2009-08-04 09:32:27

部署Silverlig

2024-04-17 08:00:00

2010-02-24 08:11:59

Windows 7企业部署

2011-01-12 11:56:36

Visual Stud

2010-06-13 10:48:33

微软虚拟化SCVMM2008

2022-07-14 10:37:15

Jenkins持续集成

2020-10-24 17:35:19

Web应用程序开发

2010-03-23 08:45:00

Windows 7企业部署安全性

2010-01-13 08:52:21

Windows 7系统部署

2009-09-15 08:30:36

Windows 7系统部署系统迁移

2009-07-20 16:03:14

ASP.NET 2.0
点赞
收藏

51CTO技术栈公众号