Cloudera实现Hadoop过程中Hadoop设置揭秘

开发 架构 Hadoop
Hadoop这个名词相信大家应该有所了解,那么关于Hadoop的实现你是否熟悉,这里就向大家介绍一下利用Cloudera 实现Hadoop方面的内容,欢迎大家一起来学习。

本节接着上节介绍Cloudera 实现Hadoop 的方法,本节主要介绍一下对Hadoop的相关设置,相信通过本节的介绍大家对Cloudera 实现Hadoop 方法有一定的了解。

设置主节点的Hadoop

设置JAVA_HOME

Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中设置,具体设置如下:
sudo vi /etc/conf/hadoop-env.shexport JAVA_HOME="/usr/lib/jvm/java-6-sun"

Hadoop的核心配置

Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml,具体配置如下:
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>fs.default.name</name><!--<value>hdfs://localhost:8020</value>--><value>hdfs://hadoop-01:8020</value></property><property><name>hadoop.tmp.dir</name><value>/var/lib/hadoop-0.20/cache/${user.name}</value></property></configuration>

设置Hadoop的分布式存储环境

Cloudera 实现Hadoop 过程中Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的,具体配置如下:
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><!--<value>1</value>--><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property><property><!-- specify this so that running 'hadoop namenode -format' formats the right dir --><name>dfs.name.dir</name><value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value></property></configuration>

设置Hapoop的分布式计算环境

Cloudera 实现Hadoop 过程中Hadoop的分布式计算是采用了Map/Reduce算法,该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的,具体配置如下:
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapred.job.tracker</name><!--<value>localhost:8021</value>--><value>hadoop-01:8021</value></property></configuration>

设置Hadoop的主从节点

首先设置主节点,编辑/etc/hadoop/conf/masters文件,如下所示:
hadoop-01然后是设置从节点,编辑/etc/hadoop/conf/slaves文件,如下所示:
hadoop-02hadoop-03hadoop-04firehare-303

设置从节点上的Hadoop

从节点上的Hadoop设置很简单,只需要将主节点上的Hadoop设置,复制一份到从节点上即可。
scp -r /etc/hadoop/conf hadoop-02:/etc/hadoopscp -r /etc/hadoop/conf hadoop-03:/etc/hadoopscp -r /etc/hadoop/conf hadoop-04:/etc/hadoopscp -r /etc/hadoop/conf firehare-303:/etc/hadoop。Cloudera 实现Hadoop过程中对Hadoop配置完以后需要启动Hadoop服务。

启动Hadoop

格式化分布式文件系统
在启动Hadoop之前还要做***一个准备工作,那就是格式化分布式文件系统,这个只需要在主节点做就行了,具体如下:
/usr/lib/hadoop-0.20/bin/hadoop namenode -format

启动Hadoop服务

启动Hadoop可以通过以下命令来实现:
/usr/lib/hadoop-0.20/bin/start-all.sh注意:该命令是没有加sudo的,如果加了sudo就会提示出错信息的,因为root用户并没有做无验证ssh设置。以下是输出信息,注意hadoop-03是故意没接的,所以出现No route to host信息。 这样Hadoop就正常启动了!

测试Hadoop

Hadoop架设好了,接下来就是要对其进行测试,看看它是否能正常工作,如果测试已经成功,这说明Hadoop部署成功,能够在上面进行Map/Reduce分布性计算了。 本节关于Cloudera 实现Hadoop的相关内容到这里就结束了,谢谢关注。

【编辑推荐】

  1. Cloudera实现Hadoop步骤详解
  2. Cloudera下实现Hadoop方案规划
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇
责任编辑:佚名 来源: csdn.net
相关推荐

2010-06-04 16:47:49

实现Hadoop

2010-06-04 16:31:14

实现Hadoop

2014-04-09 10:55:55

Cloudera\Sp

2010-06-04 17:43:12

Hadoop集群搭建

2018-04-08 15:32:47

Hadoop大数据Gartner

2013-07-19 09:43:16

2016-12-30 11:10:32

Hadoop开发JVM

2016-02-01 15:32:03

HadoopCloudera

2011-10-19 09:35:36

Hadoop数据集群

2012-10-29 09:55:52

HadoopImpalaDremel

2010-07-01 14:05:43

SNMPMIB

2014-10-28 09:56:56

Hadoop

2015-02-05 10:01:11

ClouderaHadoop

2010-06-07 10:16:56

Hadoop

2012-11-01 10:01:56

HadoopClouderaImpala

2021-06-02 00:22:04

ClouderaHadoop私有化

2013-05-27 14:19:39

Hadoop

2010-06-03 15:25:31

Hadoop Hdfs

2009-03-24 14:18:34

LinuxClouderaHadoop

2018-10-12 14:01:14

点赞
收藏

51CTO技术栈公众号