Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx》由会员分享，可在线阅读，更多相关《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx（22页珍藏版）》请在冰点文库上搜索。

Cloudera大数据平台环境搭建CDH5131傻瓜式说明书

Cloudera大数据平台环境搭建

（版）

版本

作者

郭维忠

发布日期

2018-03-10

1.基础环境

1.1.软件环境

本文将介绍离线安装CDH和ClouderaManager过程，软件版本如下：

NO.

软件名称

版本

1.

操作系统

64位

2.

JDK

jdk-8u151-linux-x64

3.

ClouderManager

4.

5.

数据库

Mysql

6.

JDBC

1.2.配置规划

本次安装共5台服务器，服务器配置及用途如下：

NO.

机器名称

内网IP

配置

用途

1.

node168

8C/32Gb/1TB

主，CM，MysqlDB

2.

node169

8C/32Gb/1TB

从

3.

node170

8C/32Gb/1TB

从

4.

node171

8C/32Gb/1TB

从

5.

node172

8C/32Gb/1TB

从

1.3.所需要的软件资源

1）JDK环境：

JDK版本：

2）下载地址：

包：

CM版本：

3）下载地址：

包

CDH版本：

，

；

；

下载地址：

4）连接jar包：

jar包版本：

，

下载地址：

1.4.修改机器名（所有节点）

1）修改机器名称

#hostnamectlset-hostnamexxx

2）

sh/root@node169:

~

sh下，如果没有可以新建）：

#cat>>~/.ssh/authorized_keys

如果提示下面信息，则需要创建./ssh目录：

-bash:

/root/.ssh/authorized_keys:

Nosuchfileordirectory

sh目录,再追加公钥内容

#mkdir~/.ssh

#cat>>~/.ssh/authorized_keys

并设置authorized_keys的访问权限：

#chmod600~/.ssh/authorized_keys

测试：

在node168点上执行sshnode169，正常情况下，不需要密码就能直接登陆进去了。

在node168节点出现下面表示成功登录node169节点：

以同样的方式将公钥拷贝至其他节点服务器上。

1.5.关闭SELINUX（所有节点）

关闭linuxSELINUX安全内核

#setenforce0（临时生效）

修改/etc/selinux/config下的SELINUX=disabled（重启后永久生效）

#vi/etc/selinux/config

内容增加：

SELINUX=disabled

重启后生效：

#reboot

查看SELINUX是否关闭：

#sestatus

（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

1.6.修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

1）设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为10：

1）

2）

3）

4）

5）

6）

7）

1）

2）

3）

4）

toroot@localhostidentifiedby'root'withgrantoption;

grantallon*.*toroot@"%"Identifiedby"root";

flushprivileges;

exit;

此问题原因：

有些网上说是由文件句柄数限制引起，所以按照网上说明进行了修改：

在主节点上，修改/opt/文件：

//查看文件句柄数，显示1024，显然太小

#ulimit-n

1024

//修改限制

#vi/etc/security/

//在文件后加入下面内容：

*softnofile100000

*hardnofile100000

此步骤需要重启机器生效，可以设置完后再重启。

注：

按照上面过程操作，但问题依然存在，后来通过用节中“主机运行状态不良”故障问题解决办法，问题得到解决。