本节向大家介绍一下Hadoop应用中Hadoop的安装方法,主要介绍介绍一下Hadoop概念的介绍以及安装前的环境配置,欢迎大家一起来学习有关Hadoop应用方面的知识。首先看一下Hadoop的概念介绍。
hadoop应用之安装篇
hadoop分布式文件系统安装——ForFreeBSD7
Hadoop一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。
简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。
Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。
一,概述
1,安装软件版本
freebsd:7rc3[新装系统请采用freebsd7正式发行版]
hadoop:0.16.0
jdk:1.5.0
OpenSSH:4.5p1
rsync:2.6.9
2,服务器硬件环境2台x86计算机(作为安装测试1-2台机器已经足够,如果作为性能测试考虑设备的硬件性能)
3,hadoop描述
Hadoop包括HDFS(HadoopDistributedFileSystem--Hadoop分布式文件系统)和MapReduce一种集约编程模型
以HDFS视角来看节点分为Namenode和Datanode,其中Namenode是唯一的,Datanode可以是多个,Namenode可以兼Datanode;
以MapReduce视角来看又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是多个同样Jobtracker可以兼Tasktracker。更多请参考官网介绍
本测试中namenode和jobtracker部署在freebsd7test1.rhinux.com上,datanode和tasktracker部署在freebsd7test1.rhinux.com和freebsd7test2.rhinux.com。Hadoop应用介绍Hadoop的安装时要进行环境配置。
二,os及环境配置
1,安装jdk1.5
#cd/usr/ports/java/jdk15
#makeinstallclean
按照要求和提示下载好对应的包,如果找不到旧版本的依赖包请现updataports后再下载***安装包
#portsnapfetchupdate
#portsnapextract
2,安装rsync,bash,ssh
a,#cd/usr/ports/net/rsync
#makeinstallclean
b,#cd/usr/ports/shells/bash//一般Linux默认已经安装好bash所以可以省略这一步
#makeinstallclean
c,freebsd7默认OpenSSH_4.5p1
3,系统配置
a,本次配置使用2台服务器分别为
freebsd7test1.rhinux.com172.16.27.81(用在namenode由于本次测试只有2台机器所以兼datanode,但实际生产环境中不推荐兼datanode)
freebsd7test2.rhinux.com172.16.27.82(用在datanode)
b,配置服务器的hosts文件使namenode能够通过域名(freebsd7test2和freebsd7test2.rhinux.com)访问到所有的datanode(如果namenode兼datanode也需要通过域名访问到自己),
所有的datanode也能通过域名访问到namenode
c,示例
==========================/etc/hosts===========================================
::1localhostlocalhost.rhinux.com
127.0.0.1localhostlocalhost.rhinux.com
172.16.27.82freebsd7test2.rhinux.comfreebsd7test2
172.16.27.81freebsd7test1.rhinux.comfreebsd7test1
======================172.16.27.82(namenode&datanode)=======================
4,OS配置按原标准安装,测试阶段/services目录分区文件系统使用ZFS(文件系统请选择自己喜欢的目前测试下来Freebsd7的ZFS并不稳定),本节关于Hadoop应用中Hadoop安装环境配置介绍完毕,请继续关注下节Hadoop应用介绍。
【编辑推荐】