Hadoop环境搭建.docx
《Hadoop环境搭建.docx》由会员分享，可在线阅读，更多相关《Hadoop环境搭建.docx（12页珍藏版）》请在冰点文库上搜索。
Hadoop环境搭建
1.虚拟机的创建
1.1安装虚拟机
1.2
1.3
1.4
2.安装CentOS，把CentOSmini版本放到光驱中
在”CD/DVD…”选中第一项
3.配置网络信息
修改网络地址：
1、设置网卡为NAT模式
2、确保windows下的服务是否启动（dhcp，NAT服务）
3、编辑文件
vi/etc/sysconfig/network-scripts/ifcfg-eth0
id=identifier
4、ONBOOT=yes
5、设置IP
static：
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.116.30
NATMASK=255.255.255.0
GATEWAY=192.168.116.2
6、重启网络：
servicenetworkrestart
7、检查：
ping网关（两个）
8、ping
9、设置dns服务
vi/etc/resolv.conf
nameserver114.114.114.114
克隆
1、克隆之后的操作系统需要重新分配物理地址
a、删除/etc/sysconfig/network-scripts/ifcfg-eth0文件中的物理地址
删除两行：
UUID和物理地址
b、删除文件/etc/udev/rules.d/70-persistent-net.rules
rm-rf/etc/udev/rules.d/70-persistent-net.rules
2、修改主机名
/etc/sysconfig/network文件
3、重启启动linux:
init6
4、修改hosts
/etc/hosts文件。
在文件最后增加一行：
IP地址主机名
192.168.239.6node8
192.168.239.7node7
4.安装XShell
5.ssh
1.A电脑：
ssh-keygen -t rsa -P ''
2.scp .ssh/id_rsa.pub root@192.168.1.181:
~
3.B电脑：
cat id_rsa.pub >> .ssh/authorized_keys
***需要注意在A、B上都需要执行第三步
注意要关闭防火墙
6、关闭防火墙
1）重启后生效
关闭：
chkconfigiptablesoff
2）即时生效，重启后失效
关闭：
serviceiptablesstop
7、安装JDK（配置JAVA_HOME）
1.所有节点的时间必须一致
2.所有节点必须要有java以及配置环境变量
Rpm–ivhjdk-7u79-linux-x64.rpmwhereisjava
3.配置JAVA_HOME
4.加入path路径
8、上传Hadoop2.5.x（配置HADOOP_HOME）
1.解压缩hadoop压缩包
tar-zxvfhadoop…gz
2.取得hadoop路径（HADOOP_HOME）
3.配置hadoop的bin和sbin到环境变量中（.bash_profile）
在配置文件（~.bash_profile）中加入HADOOP_HOME/bin;sbin
9、修改/etc/hadoop/hadoop-env.sh
UnixPath：
opt/software/hadoop-2.5.1/etc/hadoop/
修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。
否则启动时报Error:
JAVA_HOMEisnotsetandcouldnotbefound.
10、配置hdfs
参考：
http:
//hadoop.apache.org/官方文档
/opt/software/hadoop-2.5.1/etc/hadoop
1.core-site.xml
fs.defaultFS
hdfs:
//gzunode60:
9000---namenode
hadoop.tmp.dircore-default.xml
/opt/hadoop-2.5.1
1.hdfs-site.xml--hdfs-default.xml，snn
dfs.namenode.secondary.http-address
node82:
50090
dfs.namenode.secondary.https-address
node82:
50091
11、配置masters&slaves文件
与core-site同级目录下面（/opt/software/hadoop-2.5.1/etc/hadoop）
--source.bash_profile
12、copy以下文件到另外的节点
1.~.bash_profile
2.配置完后的hadoop目录
3./etc/hosts
13、格式化
在namenode节点执行以下代码：
hdfsnamenode-format
start-dfs.sh
namenodeport50070
hdfsdfs-chmod-R777/
上传文件：
hdfsdfs-putjdk-7u79-linux-x64.rpm/
==========================================
14、Hostkeyverificationfailed.（各个节点之间需要做SSH）
a）在192.168.116.51节点做ssh
20、HA的配置（配置Zookeeper）
Zookeeper配置
1./opt/software/zookeeper-3.4.6/conf/zoo.cfg
tickTime=2000
dataDir=/opt/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:
2888:
3888
server.2=zoo2:
2888:
3888
server.3=zoo3:
2888:
3888
2.在每台机器的/opt/zookeeper下面分别创建myid，并且分别写入1,2,3
3.环境变量中加入：
ZOOKEEPER_HOME=/opt/software/zookeeper-3.4.6
Source~/.bash_profile
zkServer.shstart
在哪里启动哪里有日志，注意以下结构与步骤与下相同
127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
:
:
1localhostlocalhost.localdomainlocalhost6localhost6.localdomain6
192.168.116.51node51
192.168.116.53node53
192.168.116.81gznode1
192.168.116.82gznode2
21、相关配置文件（HA）
删除所有的/opt/hadoop2.5的所有文件（data目录中的VERSION不一致）
1.mapred-site.xml（MR）
mapreduce.framework.name
yarn
2.Core-site.xml
fs.defaultFS
hdfs:
//gzu
hadoop.tmp.dir
/opt/hadoop-2.5
ha.zookeeper.quorum
gzunode60,gzunode61,gzunode62
3.Hdfs-site.xml
dfs.nameservices
wen
dfs.ha.namenodes.wen
nn1,nn2
dfs.namenode.rpc-address.wen.nn1
node51:
8020
dfs.namenode.rpc-address.wen.nn2
node52:
8020
dfs.namenode.http-address.wen.nn1
node51:
50070
dfs.namenode.http-address.wen.nn2
node52:
50070
dfs.namenode.shared.edits.dir
qjournal:
//node51:
8485;node52:
8485;node53:
8485/wen
>
dfs.client.failover.proxy.provider.wen
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_dsa
dfs.journalnode.edits.dir
/opt/hadoop/data
dfs.ha.automatic-failover.enabled
true
4.Yarn-site.xml（MR）
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
wen
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node1
yarn.resourcemanager.hostname.rm2
node2
yarn.resourcemanager.zk-address
node1,node2,node3
yarn.log-aggregation-enable
true
yarn.log.server.url
http:
//node3:
19888/jobhistory/logs
22、把node51生成的的hadoop配置文件（包括VERSION）拷贝到node52,node53下面
23.启动journalnode
分别在node52，node53，node54启动
hadoop-daemon.shstartjournalnode
24.格式化namenode
Hdfsnamenode–format
把/opt/hadoop-2.5拷贝到另外一个namenode目录下
26、格式化ZK
gzunode61,gzunode62（注意”,”前后没有空格）
Hdfszkfc–formatZK
27.start-dfs.sh
28.node51,node52作SSH.
Stop-dfs.sh
把node52的ssh放到node51上，当node51作为namenode关闭时，node52可以接管
Start-dfs.sh
29.YARN:
stop-all.sh
Start-all.sh
31.yarn-daemon.shstartresourcemanager
32、启动日志服务
mr-jobhistory-daemon.shstarthistoryserver
log4j.logger.org.apache.hadoop.yarn.server.nodemanager.NodeManager=DEBUG
升级会员 