centOS下hadoop完全分布式安装hadoop261版亲测自己总结文档格式.docx

centOS下hadoop完全分布式安装hadoop261版亲测自己总结文档格式.docx

《centOS下hadoop完全分布式安装hadoop261版亲测自己总结文档格式.docx》由会员分享，可在线阅读，更多相关《centOS下hadoop完全分布式安装hadoop261版亲测自己总结文档格式.docx（35页珍藏版）》请在冰点文库上搜索。

8、Hostname填写格式“英文名.姓”

9、网络设置安装图示顺序点击就可以了

这里可以不设置在安装完毕后可以通过Linux命令进行设置

10、时区可以在地图上点击，选择“shanghai”并取消SystemclockusesUTC前面的对勾

11、设置root的密码（重要必须牢记密码）

12、硬盘分区，一定要按照图示点选

如果想安装双系统这里不能这么选，请查找资料进行选择

13、调整分区，必须要有/home这个分区，如果没有这个分区，安装部分软件会出现不能安装的问题

14、询问是否格式化分区

15、将更改写入到硬盘

16、引导程序安装位置

17、最重要的一步，也是本教程最关机的一步，也是其他教程没有提及的一步，按图示顺序点击

18、取消以下内容的所有选项

根据自己的需要进行选择这些都是系统提供的一些工具可以选择安装这些工具

Applications

BaseSystem

Servers

并对Desktops进行如下设置

即取消如下选项：

DesktopDebuggingandPerformanceTools

DesktopPlatform

RemoteDesktopClients

InputMethods中仅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消

19、选中Languages，并选中右侧的ChineseSupport然后点击红色区域

20、调整完成后如下图所示

21、至此，一个最精简的桌面环境就设置完成了，

22、安装完成，重启

23、重启之后，的LicenseInformation

24、CreateUser

Username：

填写您的英文名（不带.姓）

FullName：

填写您的英文名.姓（首字母大写）

25、"

DateandTime"

选中“Synchronizedataandtimeoverthenetwork”

Finsh之后系统将重启

26、第一次登录，登录前不要做任何更改，这个很重要！

！

登录之后紧接着退出

第二次登录，选择语言，在红色区域选择下拉小三角，选other，选中“汉语（中国）”

27、登录之后，请一定按照如下顺序点击！

至此，CentOS安装完成，如有其他问题，请随时与我联系！

二、安装hadoop

1.新建运行hadoop专属用户名cast503，修改主节点为master，从节点名称为slave*

这里使用三台主机进行搭建，分别为

Master10.0.4.70

Slave110.0.4.71

Slave210.0.4.72

以下设置均在root权限下进行设置

2.将所有的主机进行组网

1修改所有的主机文件/etc/hosts添加主机名称和对应的IP，形式如下所示

127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4

:

1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6

10.0.4.70Master

10.0.4.71Slave1

10.0.4.72Slave2

2修改/etc/sysconfig/network-script/ifcgf-eth0文件，定义网卡的IPDNS工作组IP地址类型（动态或者静态）广播地址等信息

注意当一台主机有多张网卡时/etc/sysconfig/netrok-script/文件中包含多个ifcgf-文件，修改接入网络的那张网卡的对应文件，文件内容的正确与否直接关系到时否能正确组网

文件内容包括

DEVICE=eth0#网卡名称

BOOTPROTO=static#静态/动态IP

IPADDR=10.0.4.70#网卡的IP地址

NETMASK=255.255.255.0#子网掩码

GATEWAY=192.168.0.1#默认网关

TYPE=Ethernet

3关闭防火墙（如果对防火墙有很好的认识可以对防火墙规则进行配置，在满足Hadoop需要的同时增强系统的安全性，这里只介绍完全关闭防火墙）

关闭所有机器上的防火墙，不然会导致datanode起不来

临时关闭：

serviceiptablesstop

永久关闭：

chkconfigiptablesoff

经过上面步骤后，计算机组网已经完成，我们可以通过pingIP地址/主机名如ping10.0.4.71或者pingslave1的方式来验证网络是否联通

3.安装JDK

注意：

各主机JDK安装版本和安装位置必须相同

JDK可以去Oracl官网进行下载，可以根据自己电脑安装的是Linux系统来选择是64位还是32位JDKforLinux

这里以jdk-7u45-linux-x64.gz为例下载JDK存放在/home/cast503/目录下

JDK安装在/usr/java录下（需要新建文件mkdir/usr/java

1进入/usr/java文件cd/usr/java

2解压软件包jdk-7u45-linux-x64.gzgunzip/home/cast503/jdk-7u45-linux-x64.gz

3解压后会在/usr/java/目录下生成jdk1.8.0_60文件夹

4配置Java系统环境变量，在root权限下打开/etc/profile文件vim/etc/profile

5在文件的末尾添加上如下内容（包含hadoop环境变量）

exportJAVA_HOME=/usr/java/jdk1.8.0_60

exportHADOOP_HOME=/home/cast503/hadoop-2.6.1

exportCLASSPATH=.:

$JAVA_HOME/lib:

$JRE_HOME/lib:

$CLASSPATH

exportPATH=$JAVA_HOME/bin:

$JRE_HOME/bin:

$PATH:

$HADOOP_HOME/sbin

exportJRE_HOME=$JAVA_HOME/jre

6由于Linux系统默认安装openJDK所以这里要修改默认JDK为我们安装的JDK

在cast503账户下输入下列命令

sudoupdate-alternatives--install/usr/bin/javajava/user/java/jdk1.7.0_45/bin/java300

sudoupdate-alternatives--install/usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac300

（注意红色部分是设置的JAVA_HOME的文件路径，也就是Java的安装路径）

Sudoupdate-alternatives--configjava

会出现Linux中所有可用的JDK我们选择自己安装的JDK安回车键即可

7查看Linux是否是我们安装的JDK输入命令

Java-version

如果出现如下图所示即为安装成功

4配置SSH免密码登录

如果出现agentadmittedfailuretosignusingthekey解决方式为使用ssh-add指令将私钥加进来

ssh-add/home/cast503/.ssh/id_rsa

.ssh目录的权限为700chmod700/home/cast503/.ssh

authorized_keys文件的权限为600chmod600/home/cast503/.ssh/authorized_keys

5.配置hadoop

4.1.1配置hadoop-env.sh

#cd/usr/lib/hadoop

#vimetc/hadoop/hadoop-env.sh（注意，此处不是系统的etc目录）

将JAVA_HOME修改为刚才配置的位置

4.1.2配置core-site.xml

#vimetc/hadoop/core-site.xml

添加以下内容：

<

configuration>

property>

name>

fs.defaultFS<

/name>

value>

hdfs:

//h1m1:

9000<

/value>

/property>

hadoop.tmp.dir<

/usr/lib/hadoop/tmp<

io.file.buffer.size<

4096<

/configuration>

4.1.3配置hdfs-site.xml

#vimetc/hadoop/hdfs-site.xml

dfs.replication<

2<

dfs.namenode.name.dir<

file:

///usr/lib/hadoop/dfs/name<

dfs.datanode.data.dir<

///usr/lib/hadoop/dfs/data<

dfs.nameservices<

h1<

dfs.namenode.secondary.http-address<

h1m1:

50090<

dfs.webhdfs.enabled<

true<

4.1.4配置mapred-site.xml

#cpmapred-site.xml.templatemapred-site.xml

#vimetc/hadoop/mapred-site.xml

mapreduce.framework.name<

yarn<

final>

/final>

mapreduce.jobtracker.http.address<

50030<

mapreduce.jobhistory.address<

10020<

mapreduce.jobhistory.webapp.address<

19888<

mapred.job.tracker<

http:

9001<

4.1.5配置yarn-site.xml

#vimetc/hadoop/yarn-site.xml

!

--SitespecificYARNconfigurationproperties-->

yarn.resourcemanager.hostname<

h1m1<

yarn.nodemanager.aux-services<

mapreduce_shuffle<

yarn.resourcemanager.address<

8032<

yarn.resourcemanager.scheduler.address<

8030<

yarn.resourcemanager.resource-tracker.address<

8031<

yarn.resourcemanager.admin.address<

8033<

yarn.resourcemanager.webapp.address<

8088<

4.2将hadoop添加到环境变量

#vim/etc/profile

exportHADOOP_HOME=/usr/lib/hadoop

exportPATH=$PATH:

$JAVA_HOME/bin:

$HADOOP_HOME/bin:

#source/etc/profile

6.启动Hadoop

1.将master结点上配置好的hadoop文件夹拷贝到所有的slave结点上

以slave1为例：

命令如下：

scp-r 

~/hadoop-2.6.1 

hadoop@slave1:

~/

安装完成后，我们要格式化HDFS然后启动集群所有节点。

2.格式化HDFS文件系统的namenode

（这里要进入hadoop-2.6.1目录来格式化好些）：

cdhadoop-2.6.1 

//进入hadoop-2.6.1目录

bin/hdfsnamenode-format 

//格式化

3.启动Hadoop集群

启动hdrs命令如下：

sbin/start-dfs.sh//开启进程

成功的话输入jps会出现如下界面：

如果不能启动，需要把hadoop目录下tmp、dfs目录删除，重新格式化NN再启动