Hadoop配置和启动Hadoop方法详解

开发 架构 Hadoop
Hadoop相信大家应该有所了解,那么如何进行Hadoop配置,如何启动Hadoop呢,本文会给你一一解答,欢迎大家一起来学习。

本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识,相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识,希望本节的介绍对你的学习有所帮助。

Hadoop配置与启动Hadoop

Hadoop三种模式:

StandaloneOperation:只有一个Java虚拟机在跑,完全没有分布式的成分。
Pseudo-DistributedOperation:在同一台机器上启动独立数个JVM进程,进行“分布式”操作。
Fully-DistributedOperation:真正的可以运行于多台机器上的分布式模式。(我们按这种方式进行配置)

环境:

***台:win7+cygwin
第二台:虚拟机CentOS.5.3

实现目标:

cygwin作为master,部署上NameNode+JobTracker,IP:192.168.220.1
CentOS作为slaver,部署上DataNode+TaskTracker,IP:192.168.14.128

Hadoop配置准备工作:

1.免密码SSH登录,cygwin=》CentOS,见:http://efeil.blog.163.com/blog/static/1189022972010210544494/
2.两个系统Hosts配置相同,为:192.168.220.1hadoop-master
192.168.14.128hadoophadoop-slave01

3.Hadoop配置中conf/core-site.xml配置
<configuration>
<!---globalproperties-->
<property>
<name>hadoop.tmp.dir</name>
<!--这是Cygwin下配置,CentOS下为/tmp/hdfs-gaoyanfei-->
<value>e:/tmp/hdfs-gaoyanfei</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<!--filesystemproperties-->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>


4.Hadoop配置中conf/hdfs-site.xml配置:
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


5.Hadoop配置中conf/mapred-site.xml配置:
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>


6.masters配置内容:hadoop-master
7.slaves配置内容:hadoop-slave01

8.在Cygwin下启动:
1.bin/hadoopnamenode-format
2.bin/start-all.sh。本节关于Hadoop配置与启动Hadoop介绍到这里

【编辑推荐】

  1. 轻松实现Hadoop Hdfs配置
  2. 专家指导 如何进行Hadoop分布式集群配置
  3. Hadoop配置指导手册
  4. HadoopHBase实现配置简单的单机环境
  5. 深入剖析Hadoop HBase

 

 

责任编辑:佚名 来源: it168.com
相关推荐

2010-06-03 19:16:23

Hadoop

2010-06-03 17:38:03

Hadoop命令

2014-08-06 09:57:15

hadoop ShelShell命令

2010-06-04 09:43:47

hadoop应用

2010-06-03 14:55:59

Hadoop配置

2010-06-03 11:12:55

Hadoop

2010-06-04 16:47:49

实现Hadoop

2012-06-25 10:30:06

Hadoop集群

2010-06-07 15:07:24

nutch+hadoo

2010-06-04 17:43:12

Hadoop集群搭建

2013-05-30 09:07:29

Hadoop 2.0

2017-03-22 20:21:16

Hadoop框架分布式

2010-06-03 17:08:28

Hadoop Shel

2021-06-09 17:51:12

Hadoop数据迁移

2013-01-21 13:22:56

IBMdW

2010-06-03 10:51:09

Hadoop安装部署

2015-07-29 10:36:05

hadoop数据挖掘

2010-06-04 11:00:27

hadoop性能优化

2010-06-03 15:13:34

Hadoop Hdfs

2013-11-28 09:44:00

点赞
收藏

51CTO技术栈公众号