Hadoop伪分布安装详解二操作.docx
《Hadoop伪分布安装详解二操作.docx》由会员分享，可在线阅读，更多相关《Hadoop伪分布安装详解二操作.docx（14页珍藏版）》请在冰点文库上搜索。
Hadoop伪分布安装详解二操作
1、修改主机名和用户名
第一步：
改本地为neusoft-master， 修改主机名
第二步：
为了使Hadoop节点之间能互相访问，改默认为192.168.191.130neusoft-master
第三步：
centos修改主机名执行useraddhadoop添加以Hadoop为用户名的用户，执行passwdhadoop修改用户的密码
2、配置静态IP地址
第四步：
vi/etc/sysconfig/network-scripts/ifcfg-eth0
或图形界面配置：
点击设置
[root@neusoft-master~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.191.130
NETMASK=255.255.255.0
GATEWAY=192.168.191.2
PREFIX=24
DNS1=8.8.8.8
HWADDR=00:
50:
56:
2C:
72:
E9
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
LAST_CONNECT=1482851817
3、配置SSH无密码连接
目录：
1.修改主机名和用户名
2.配置静态IP地址
3.配置SSH无密码连接
4.安装JDK1.7
5.配置Hadoop
6.安装Mysql
7.安装Hive
8.安装Hbase
9.安装Sqoop
********************
1.修改主机名和用户名
∙ 修改主机名：
Centos中通过vi/etc/sysconfig/network修改HOSTNAME=
∙ 为了使Hadoop节点之间能互相访问，需要修改hosts文件，root用户执行并且所有节点均需执行
vi/etc/hosts
∙ centos修改主机名执行useraddhadoop添加以Hadoop为用户名的用户，执行passwdhadoop修改用户的密码
2. 配置静态IP地址
[root@neusoft-master~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.191.130
NETMASK=255.255.255.0
GATEWAY=192.168.191.2
PREFIX=24
DNS1=8.8.8.8
HWADDR=00:
50:
56:
2C:
72:
E9
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Systemeth0"
LAST_CONNECT=1482851817
注意：
如果多台虚拟机复制会有问题，我罗列了遇到的问题，如果没有图形界面网络配置更简单，如果沒有問題請跳过
方法1：
利用图形界面解决
（1）图形界面找见图标，编辑
（2）删除所有网络
（3）根据虚拟机配置ip，网管等
解决Error:
Nosuitabledevicefound:
nodevicefoundforconnection"Systemeth0"
注意：
VM的虚拟网卡VMnet8一定需要在windows操作系统的网络中开启，同时在虚拟机中配置正确的子网掩码及网关
存在的问题点1：
windows上的网络配置
存在的问题点2：
VM软件配置
方法2：
问题复述：
复制好的虚拟机，启动登陆进去（用户名和密码跟之前那台是一样的），修改好IPADDR，然后网卡重启出现问题？
#servicenetworkrestart
出现问题：
Error:
Nosuitabledevicefound:
nodevicefoundforconnection"Systemeth0"如图所示：
#ifupeth0
出现:
eth0:
unknowninterface:
Nosuchdevice这样的问题，网卡都启动不了，出现问题.
解决：
（1）我们在界面点击NetworkAdapterRemove删除网卡，如图所示:
（2）添加一个新的网卡，就是点击add，这时跟前面一台的MACAddress就不一样，如图所示：
（3）复制地址
（4）重新启动虚拟机，然后进入到/etc/udev/rules.d/目录
#cat70-persistent-net.rules
里面的信息跟我们NetworkAdapter的MACAddress地址一样，如图所示：
（5） 进入/etc/sysconfig/network-scripts/目录
#viifcfg-eth0
把HWADDR修改成NetworkAdapter的MACAddress地址一样，如图所示：
（6）重启网卡，这时就能正常启动，如图所示：
3.配置SSH无密码连接
在Centos中首先关闭防火墙serviceiptablesstop 查看防火墙：
chkconfigiptablesoff
（1）检查ssh是否安装
yuminstall ssh
yuminstall rsync #远程同步数据的工具
（2）启动SSH服务命令
service sshd restart
检查SSH是否已经安装成功
rpm -qa |grep openssh rpm -qa |grep rsync出现相应信息即可
（3）生成SSH公钥
对于伪分布式环境只需要本机链接本机即可：
主节点执行：
ssh-keygen-trsa 一路回车即可，最后显示的图形是公钥的指纹加密。
生成公钥后需要将公钥发到本机的authorized_keys的列表，执行：
ssh-copy-id -i ~/.ssh/id_rsa.pubroot@neusoft-master 或ssh-copy-id -i ~/.ssh/id_rsa.pubneusoft-master（主机名）
也可以使用cat命令复制公钥到authorized_keys中，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
如果是多机器需要需要通过scp命令赋值到主节点中，在分发至子节点。
（4）检查是否可以无密码ping通：
使用”ssh主机名”的方式验证
这里使用的是sshneusoft-master无密码输入的提示，则安装成功。
如果执行上述步骤仍然不成功，有可能是~/.ssh文件夹权限问题。
执行如下程序
chmod 700 ~/.ssh
chmod 644 ~/.ssh/authorized_keys
3.安装JDK
（1）通过java主页下载jdk1.7.x版本，使用SecureCRT上传到Centos中
（2）卸载原来的openjdk
rpm-qa |grep jdk 如果出现openjdk就需要卸载
使用yum-y remove xxx，其中xxx为刚才rpm-qa |grep jdk的结果
（3）方法1利用tar包安装JDK
∙ 解压tar文件
tar-zxvf jdk-7u80-linux-x64.tar.gz
∙ 配置环境变量 vi /etc/profile
exportJAVA_HOME=/opt/jdk1.7.0_80或/usr/java/default#根據书记情况改写
exportPATH=$PATH:
$JAVA_HOME/bin
∙立马生效
source/etc/profile
∙ 验证安装，如下java-version
（4）方法2利用rpm包安装JDK
∙如果是rpm文件只需要执行以下命令：
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm （使用该文件方便）
cd /usr/java/
ls
ln-sjdk1.7.0-clouderalastest
ln-s/usr/java/lastest default
ls-l #环境变量配置参考如下
配置环境变量 vi /etc/profile修改如下：
exportJAVA_HOME=/opt/jdk1.7.0_80或/usr/java/default#根據书记情况改写
exportPATH=$PATH:
$JAVA_HOME/bin
如下图所示：
∙立马生效
source/etc/profile
∙ 验证安装，如下java-version
升级会员 