Hadoop本地模式安装如何实现?

开发 架构 Hadoop
Hadoop这个名词大家应该听说过,那么你知道Hadoop是如何安装的吗,这里就向大家介绍一下Hadoop本地模式安装如何实现,欢迎大家一起来学习。

本节向大家介绍一下Hadoop本地安装是如何实现的,相信通过本文的介绍大家能够很快掌握Hadoop本地安装的方法,让我们一起来看一下如何进行Hadoop本地安装。为了便于大家理解,在没有介绍之前先看一下Hadoop的概念。

Hadoop本地模式安装

Hadoop概念
   Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。  
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。当前最新版本是hadoop0.20.1。下面就hadoop0.20.1为蓝本,介绍在UbuntuLinux9.10下hadoop本地安装的方法。

支持的平台:
  Linux,可作为开发和产品部署的平台;
  Windows,可作为开发平台。

事先需要的软件:
  1.JavaTM1.6.x,必须安装,建议选择Sun公司发行的Java版本;
  2.ssh必须安装,并保证sshd运行,hadoop将以ssh进行通讯;
  3.如果是windows,则需要装Cygwin,用以支持shell命令。

Hadoop安装可用的模式:
  1.本地模式;
  2.伪分布模式;
  3.全分布模式。

本地模式安装步骤:
  1.将hadoop安装包解压缩到某目录下;
  2.修改conf/hadoop-env.sh文件,exportJAVA_HOME=那行设置正确的JAVA_HOME位置,当然如果事先在操作系统已经set完JAVA_HOME,可以忽略此步骤;
  Hadoop本地模式安装完了,就这么简单!

测试一下运行效果:
  $mkdirinput
  $cpconf/*.xmlinput
  $bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'
  $catoutput/*
这个示例程序是hadoop自带的,用于把conf下的xml文件拷贝到input目录下,并且找到并显示所有与最后一个参数的正则表达式相匹配的行,output是输出文件夹。本节关于Hadoop本地安装介绍到这里,希望你有所收获。

【编辑推荐】

  1. Hadoop安装手册新手必备
  2. Hadoop安装与使用如何进行?
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop应用之Hadoop安装篇
责任编辑:佚名 来源: csdn.nt
相关推荐

2010-06-04 15:44:06

Hadoop伪分布

2010-06-04 15:59:45

Hadoop完全分布模

2010-06-04 18:29:02

Hadoop单机模式

2010-06-03 11:01:32

Hadoop安装部署

2021-09-01 07:21:41

LinuxHadoop存储

2010-06-04 16:17:02

2010-06-03 10:04:26

Hadoop安装

2010-06-04 19:12:38

Hadoop文件系统

2017-08-15 11:58:15

LinuxCentOSApache Hado

2010-06-07 09:14:55

Hadoop集群

2010-06-04 10:48:15

Hadoop性能

2010-06-04 18:06:22

Hadoop集群搭建

2013-03-06 13:27:03

HadoopLinux

2010-06-04 10:01:26

Hadoop安装

2010-06-03 16:18:07

Hadoop MapR

2017-05-08 18:10:54

2023-01-01 23:42:22

React框架暗黑模式

2010-06-04 09:43:47

hadoop应用

2010-06-03 09:32:01

Hadoop

2021-07-12 10:24:36

Go装饰器代码
点赞
收藏

51CTO技术栈公众号