Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

1、Cloudera大数据平台环境搭建CDH5131傻瓜式说明书Cloudera大数据平台环境搭建（版）版本作者郭维忠发布日期2018-03-101.基础环境1.1.软件环境本文将介绍 离线安装CDH和Cloudera Manager过程，软件版本如下：NO.软件名称版本1.操作系统 64 位2.JDKjdk-8u151-linux-x643.Clouder Manager4.5.数据库Mysql 6.JDBC1.2.配置规划本次安装共5台服务器，服务器配置及用途如下：NO.机器名称内网IP配置用途1.node1688C/32Gb/1TB主，CM，MysqlDB2.node1698C/32Gb/1

2、TB从3.node1708C/32Gb/1TB从4.node1718C/32Gb/1TB从5.node1728C/32Gb/1TB从1.3.所需要的软件资源1)JDK环境：JDK版本： 2)下载地址：包：CM版本： 3)下载地址：包CDH版本：，； ； 下载地址：4)连接jar包：jar包版本：， 下载地址： 1.4.修改机器名（所有节点）1)修改机器名称# hostnamectl set-hostname xxx 2)sh/ rootnode169: sh下，如果没有可以新建）：# cat /.ssh/authorized_keys如果提示下面信息，则需要创建./ssh目录：-bash: /

3、root/.ssh/authorized_keys: No such file or directorysh目录,再追加公钥内容# mkdir /.ssh# cat /.ssh/authorized_keys并设置authorized_keys的访问权限：# chmod 600 /.ssh/authorized_keys测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。在node168节点出现下面表示成功登录node169节点：以同样的方式将公钥拷贝至其他节点服务器上。 1.5.关闭SELINUX（所有节点）关闭linux SELINUX安全内核#

4、 setenforce 0 （临时生效）修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）# vi /etc/selinux/config内容增加：SELINUX=disabled 重启后生效：# reboot查看SELINUX 是否关闭：#sestatus （在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）1.6.修改Linux内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux内核参数。1)设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness

5、设置为 10：1)2)3)4)5)6)7)1)2)3)4) to rootlocalhost identified by root with grant option;grant all on *.* to root% Identified by root;flush privileges;exit;此问题原因：有些网上说是由文件句柄数限制引起，所以按照网上说明进行了修改：在主节点上，修改/opt/文件：/查看文件句柄数，显示1024，显然太小# ulimit -n 1024/修改限制#vi /etc/security/ /在文件后加入下面内容：* soft nofile 100000* hard nofile 100000此步骤需要重启机器生效，可以设置完后再重启。 注：按照上面过程操作，但问题依然存在，后来通过用节中 “主机运行状态不良”故障问题解决办法，问题得到解决。