大数据平台hadoop安装准备单机安装集群安装集群启动高可用安装zookeeper安装参考手册.docx

大数据平台hadoop安装准备单机安装集群安装集群启动高可用安装zookeeper安装参考手册.docx

《大数据平台hadoop安装准备单机安装集群安装集群启动高可用安装zookeeper安装参考手册.docx》由会员分享，可在线阅读，更多相关《大数据平台hadoop安装准备单机安装集群安装集群启动高可用安装zookeeper安装参考手册.docx（31页珍藏版）》请在冰点文库上搜索。

大数据平台hadoop安装准备单机安装集群安装集群启动高可用安装zookeeper安装参考手册

hadoop-cdh5.4.8安装手册

作者：

xxx

版本：

V0.1

创建时间：

2019年06月

时间

动作

修改人

具体内容

2019.06

创建

孟庆波

创建cdh5.4.8安装文档，包括安装步骤、程序清单、简单命令。

1.安装环境

1.1.硬件环境

ip

配置

用途

备注

172.16.20.37

~172.16.20.40

内存:

96g

Cpu:

8核

1.2.软件环境

ip

安装项目

进程名

备注

192.168.10.101

Namenode

Jobtracker

NameNode

JobTracker

DFSZKFailoverController

192.168.10.102

Namenode

NameNode

DFSZKFailoverController

192.168.10.103

Datanode

Tasktracker

Zookeeper

JournalNode

DataNode

TaskTracker

QuorumPeerMain

JournalNode

192.168.10.104

Datanode

Tasktracker

Zookeeper

JournalNode

DataNode

TaskTracker

QuorumPeerMain

JournalNode

192.168.10.105

Datanode

Tasktracker

Zookeeper

JournalNode

DataNode

TaskTracker

QuorumPeerMain

JournalNode

172.16.20.37

Namenode

Jobtracker

NameNode

JobTracker

DFSZKFailoverController

172.16.20.38

Namenode

NameNode

DFSZKFailoverController

DataNode

TaskTracker

QuorumPeerMain

JournalNode

172.16.20.39

Datanode

Tasktracker

Zookeeper

JournalNode

DataNode

TaskTracker

QuorumPeerMain

JournalNode

172.16.20.40

Datanode

Tasktracker

Zookeeper

JournalNode

DataNode

TaskTracker

QuorumPeerMain

JournalNode

JobTracker：

JobTracker是整个MapReduce计算框架中的主服务，相当于集群的“管理者”，负责整个集群的作业控制和资源管理。

本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析

DFSZKFailoverController：

2.前期准备

分别在172.16.20.37---172.16.20.40上执行以下操作

2.1.修改host名字

2.1.1.修改host

vi/etc/sysconfig/network

HOSTNAME=hadoop01

2.1.2.host立即生效

hostname hadoop01

2.2.设置打开文件数和进程数的限制

2.2.1.修改文件数限制

vi/etc/security/limits.conf

 *softnofile131072

 *hardnofile131072

 *softnproc131072

 *hardnproc131072

（*表示所有用户，单个用户可以表示为ftpsoftnofile65535）

2.2.2.修改进程数限制

vi/etc/security/limits.d/90-nproc.conf

*soft   nproc    131072

 root      soft   nproc    unlimited

2.3.编辑host和ip对应关系

vi/etc/hosts

172.16.20.37hadoop01

172.16.20.38hadoop02

172.16.20.39hadoop03

172.16.20.40hadoop04

2.4.关闭防火墙

2.4.1.关闭防火墙

serviceiptablesstatus#查看状态

serviceiptablesstop;

chkconfigiptablesoff;

2.4.2.关闭selinux

getenforce#查看状态

setenforce0#临时关闭

vi/etc/selinux/config#永久关闭

将SELINUX=enforcing改为SELINUX=disabled

2.4.3.重启sshd（貌似不需要）

vi/etc/ssh/sshd_config

PubkeyAuthenticationno  #要修改为PubkeyAuthenticationyes

servicesshdrestart#然后重新启动一下sshd服务

2.5.免密码登录

2.5.1.主节点生成密钥

在hadoop01即namenode主节点上生成密钥

ssh-keygen-trsa

cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys; 

chmod700~/.ssh;

chmod600~/.ssh/authorized_keys;

2.5.2.从节点生成密钥

在cqdbname02--cqdbdata03上面分别执行

ssh-keygen-trsa

（这步一定要有，这步可以产生/root/.ssh/目录，并且正确设置目录的权限）

2.5.3.分发公钥

在cqdbname01执行

scp~/.ssh/id_rsa.pubroot@cqdbname02:

/root/.ssh/id_rsa_101.pub

scp~/.ssh/id_rsa.pubroot@cqdbdata01:

/root/.ssh/id_rsa_101.pub

scp~/.ssh/id_rsa.pubroot@cqdbdata02:

/root/.ssh/id_rsa_101.pub

scp~/.ssh/id_rsa.pubroot@cqdbdata03:

/root/.ssh/id_rsa_101.pub

2.5.4.从节点设置主节点的免密码登录

在cqdbname02--cqdbdata03上面分别执行

cat~/.ssh/id_rsa_101.pub>>~/.ssh/authorized_keys;

chmod600~/.ssh/authorized_keys;

3.安装HadoopCDH-5.4.8

3.1.安装rsync命令

cqdbname01--cqdbdata03上

yuminstallrsync

3.1.1.生成需要分发的机器列表文件

vislave_ips.txt

cqdbname02

cqdbdata01

cqdbdata02

cqdbdata03

3.1.2.分发文件

whilereadslave_host

do

/usr/bin/rsync-Pav/root/cloudera-cdh-4-0.x86_64.rpm$slave_host:

/root/

done

注意：

以下凡是涉及到分发文件，如未提供命令的，均参考该命令

3.2.安装hadoop组件

创建组

groupaddhadoop

创建用户

useraddhadoop–ghadoop

passwdhadoop输入密码1qaz2wsx

选择合适的机器安装如下服务

yumcleanall（重要）

在安装namenode的服务器上执行

sudoyum-yinstallhadoop-hdfs-namenode

在安装resourcemanage的服务器上执行

sudoyum-yinstallhadoop-yarn-resourcemanager

sudoyum-yinstallhadoop-mapreduce-historyserver

在其他的机器上执行

sudoyuminstall-yhadoop-yarn-nodemanagerhadoop-mapreduce

sudoyuminstall-yhadoop-hdfs-datanode

3.3.修改配置文件，重要

3.3.1.上传配置文件

拷贝程序包中conf下的所有文件到/etc/hadoop/conf下

3.3.2.修改core-site.xml

vicore-site.xml

这里的cqdbname01根据实际环境配置下

hadoop.tmp.dir

--/data1/app/hadooptmp-->

/opt/shareb/hadooptmp

Abaseforothertemporarydirectories.

fs.defaultFS

hdfs:

//CqdbCluster

fs.trash.interval

1440

Numberofminutesbetweentrashcheckpoints.

Ifzero,thetrashfeatureisdisabled.

---loggingproperties-->

hadoop.logfile.size

256000000

Themaxsizeofeachlogfile

hadoop.logfile.count

30

Themaxnumberoflogfiles

pression.codecs

press.GzipCodec,press.DefaultCodec,press.BZip2Codec

hadoop.native.lib

true

Shouldnativehadooplibraries,ifpresent,beused.

fs.hdfs.impl

org.apache.hadoop.hdfs.DistributedFileSystem

TheFileSystemforhdfs:

uris.

hadoop.security.authentication

simple

hadoop.security.authorization

false

false

hadoop.rpc.protection

privacy

hadoop.proxyuser.httpfs.hosts

*

hadoop.proxyuser.httpfs.groups

*

hadoop.security.auth_to_local

DEFAULT

hadoop.proxyuser.hdfs.hosts

*

hadoop.proxyuser.hdfs.groups

*

hadoop.proxyuser.mapred.groups

*

hadoop.proxyuser.mapred.hosts

*

hadoop.proxyuser.yarn.groups

*

hadoop.proxyuser.yarn.hosts

*

ha.zookeeper.quorum

--cqdbdata01:

2181,cqdbdata02:

2181,cqdbdata03:

2181-->

hadoop02:

2181,hadoop03:

2181,hadoop04:

2181

3.3.3.修改hdfs-site.xml

vihdfs-site.xml

dfs.webhdfs.enabled

true

dfs.replication

3

dfs.name.dir

--file:

/data1/hadoop/yuan/hadoop_namenode-->

file:

/opt/shareb/yuan/hadoop_namenode

dfs.data.dir

--file:

/data1/hadoop/yuan/hadoop_data-->

file:

/opt/shareb/yuan/hadoop_data

dfs.datanode.max.xcievers

8196

dfs.block.size

134217728

dfs.hosts

/etc/hadoop/conf/dfs.hosts

dfs.hosts.exclude

/etc/hadoop/conf/dfs.hosts.exclude

dfs.balance.bandwidthPerSec

104857600

dfs.datanode.balance.max.concurrent.moves

50

dfs.block.access.token.enable

true

dfs.https.enable

true

dfs.http.policy

HTTP_ONLY

dfs.datanode.data.dir.perm

700

dfs.datanode.address

0.0.0.0:

10012

dfs.datanode.http.address

0.0.0.0:

10016

dfs.datanode.https.address

0.0.0.0:

50475

dfs.encrypt.data.transfer

true

dfs.encrypt.data.transfer.algorithm

3des

dfs.data.transfer.protection

privacy

dfs.nameservices

CqdbCluster

dfs.ha.namenodes.CqdbCluster

nn1,nn2

dfs.namenode.rpc-address.CqdbCluster.nn1

--cqdbname01:

8020-->

hadoop01:

8020

dfs.namenode.rpc-address.CqdbCluster.nn2

--cqdbname02:

8020-->

hadoop02:

8020

dfs.namenode.http-address.CqdbCluster.nn1

--cqdbname01:

50070-->

hadoop01:

50070

dfs.namenode.http-address.CqdbCluster.nn2

--cqdbname02:

50070-->

hadoop02:

50070

dfs.namenode.https-address.CqdbCluster.nn1

hadoop01:

50470

--cqdbname01:

50470-->

dfs.namenode.https-address.CqdbCluster.nn2

--cqdbname02:

50470-->