Hadoop应用介绍之Hadoop安装环境配置

开发 架构 Hadoop
Hadoop相信大家应该有所了解,这里就向大家介绍一下Hadoop应用问题,即Hadoop是如何安装的,希望通过本文的介绍大家对Hadoop有新的认识。

本节向大家介绍一下Hadoop应用中Hadoop的安装方法,主要介绍介绍一下Hadoop概念的介绍以及安装前的环境配置,欢迎大家一起来学习有关Hadoop应用方面的知识。首先看一下Hadoop的概念介绍。

hadoop应用之安装篇
hadoop分布式文件系统安装——ForFreeBSD7

Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
  简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
  Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。

一,概述

1,安装软件版本
freebsd:7rc3[新装系统请采用freebsd7正式发行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9

2,服务器硬件环境2台x86计算机(作为安装测试1-2台机器已经足够,如果作为性能测试考虑设备的硬件性能)

3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系统)和MapReduce一种集约编程模型
以HDFS视角来看节点分为Namenode和Datanode,其中Namenode是唯一的,Datanode可以是多个,Namenode可以兼Datanode;
以MapReduce视角来看又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是多个同样Jobtracker可以兼Tasktracker。更多请参考官网介绍
本测试中namenode和jobtracker部署在freebsd7test1.rhinux.com上,datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop应用介绍Hadoop的安装时要进行环境配置。

二,os及环境配置

1,安装jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下载好对应的包,如果找不到旧版本的依赖包请现updataports后再下载***安装包
#portsnapfetchupdate
#portsnapextract

2,安装rsync,bash,ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默认已经安装好bash所以可以省略这一步
#makeinstallclean
c,freebsd7默认OpenSSH_4.5p1

3,系统配置
a,本次配置使用2台服务器分别为
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次测试只有2台机器所以兼datanode,但实际生产环境中不推荐兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服务器的hosts文件使namenode能够通过域名(freebsd7test2和freebsd7test2.rhinux.com)访问到所有的datanode(如果namenode兼datanode也需要通过域名访问到自己),
所有的datanode也能通过域名访问到namenode
c,示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82(namenode&datanode)=======================

4,OS配置按原标准安装,测试阶段/services目录分区文件系统使用ZFS(文件系统请选择自己喜欢的目前测试下来Freebsd7的ZFS并不稳定),本节关于Hadoop应用中Hadoop安装环境配置介绍完毕,请继续关注下节Hadoop应用介绍。

【编辑推荐】

  1. Hadoop Hdfs配置过程全程报道
  2. Hadoop命令手册使用指南
  3. 专家讲解 Hadoop:HBASE松散数据存储设计
  4. 两种模式运行Hadoop分布式并行程序
  5. Hadoop概念及其用法专家讲解
责任编辑:佚名 来源: chinaunix.net
相关推荐

2010-06-04 10:01:26

Hadoop安装

2012-06-25 10:30:06

Hadoop集群

2013-11-28 09:44:00

2015-08-26 10:18:40

hbase

2013-06-08 14:34:42

Hadoop 2.0

2010-11-25 16:48:20

HadoopHbase

2017-10-19 15:34:52

Hadoop技术机制学习

2011-08-30 16:26:34

Hadoop

2010-06-03 15:39:47

Hadoop配置

2010-06-07 15:07:24

nutch+hadoo

2010-06-04 14:28:01

Hadoop开发环境

2017-08-22 09:34:38

hadoop存储系统

2013-03-06 13:27:03

HadoopLinux

2011-04-21 10:05:35

Hadoop集群lzo

2010-06-03 14:55:59

Hadoop配置

2012-09-13 13:26:40

Hadoop集群

2014-09-04 09:35:17

2010-06-04 17:43:12

Hadoop集群搭建

2012-06-19 15:51:22

集群系列2

2012-06-13 09:56:53

点赞
收藏

51CTO技术栈公众号