虚拟机Ubuntu+Hadoop+hive安装教程Word文档下载推荐.docx
《虚拟机Ubuntu+Hadoop+hive安装教程Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《虚拟机Ubuntu+Hadoop+hive安装教程Word文档下载推荐.docx（28页珍藏版）》请在冰点文库上搜索。
最后点击【完成】，完成前期的配置：
2.Ubuntu安装
进入VMware首页，可以看到刚才新增的虚拟机“Ubuntu”点击【开启此虚拟机】：
Ubuntu开始安装，若鼠标在虚拟机中返回主机，按ctrl+alt：
这里选择【English】+【installubuntu】：
选择【continue】
选择eraserdiskandinstallubuntu：
确认完成后，进入下一阶段，地点选择【shanghai】
键盘布局都选择默认的English（US），【continue】：
设置主机用户名密码，【continue】，系统就自动安装了，静静地等待其完成：
完成安装：
3.安装VMwaretools
VMwaretools可以方便主机与宿机之间的文件交换，安装过程如下，点击【安装VMwaretools】：
在VMwareTools文件夹中可以看到相应的文件，
将VMwareTools-9.6.0-1294478.tar.gz
复制到/tmp文件夹中，$cpVMwareTools-9.6.0-1294478.tar.gz/tmp,如果报权限错误就给VMwareTools-9.6.0-1294478.tar.gz增加相应区县，解压$tarxvfVMwareTools-9.6.0-1294478.tar.gz,解压后生成文件夹：
vmware-tools-distrib
执行该文件夹中的vmware-install.pl
然后一路ENTER完成安装。
安装完成以后测试一下，复制成功：
二、Hadoop的安装
如果你安装Ubuntu的时候不是用的hadoop用户，那么需要增加一个名为hadoop的用户，并将密码设置为hadoop。
1.创建用户：
sudouseraddhadoop
设置hadoop密码：
$sudopasswdhadoop
创建hadopo用户主目录：
$sudomkdir/home/hadoop
赋权给hadoop用户：
$sudochownhadoop/home/hadoop
给hadoop用户赋权：
$sudouseraddhadoopsudo
2.JDK安装
下载安装jdk1.8，我提前下好的直接拷贝到虚拟机中：
新建目录usr/lib/java,把jdk拷贝到该目录中解压即可：
新建目录：
$sudomkdir/usr/lib/java
拷贝文件：
$sudocpjdk-8u60-linux-x64.tar.gz/usr/lib/java/
解压文件：
$sudotarxvfjdk-8u60-linux-x64.tar.gz
3.设置java环境变量
修改profile文件：
$sudovi/etc/profile
增加以下设置：
exportJAVA_HOME=/usr/lib/java/jdk1.8.0_60
exportPATH=$JAVA_HOME/bin:
$JAVA_HOME/jre/bin:
$PATH
exportCLASSPATH=$CLASSPATH:
.:
$JAVA_HOME/lib:
$JAVA_HOME/jre/lib
使修改的profile生效：
source/etc/profile
使安装的jdk成为系统默认的jdk：
$sudoupdate-alternatives--install"
/usr/bin/java"
"
java"
/usr/lib/java/jdk1.8.0_60/bin/java"
300
/usr/bin/javac"
javac"
/usr/lib/java/jdk1.8.0_60/bin//javac"
$sudoupdate-alternatives--configjava
$sudoupdate-alternatives--configjavac
检查：
echo$JAVA_HOME
java–version
jps
看到这个结果说明已经成功。
4.ssh无密码登录设置
输入命令：
$sudoapt-getinstallssh，等待ssh安装。
输入$sshlocalhost,这时提示输入密码，登录后如下：
为了达到ssh无密码输入，我们需要输入以下命令：
$cd~/.ssh#如果没有该目录，先执行一次sshlocalhost
$ssh-keygen-trsa#一直按回车就可以
$cpid_rsa.pubauthorized_keys
还有一种方式（没有测试过）：
$ssh-keygen-tdsa-P'
'
-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>
>
~/.ssh/authorized_keys
$exportHADOOP\_PREFIX=/usr/local/hadoop
最后sshlocalhost时不需要输入密码，切换成功：
5.安装镜像备份工具rsync
执行命令：
$sudoapt-getinstallrsync,完成安装
6.修改网络配置
注释掉127.0.1.1ubuntu
添加新的映射10.0.0.81ubuntu
7.安装Hadoop
下载***hadoop-*.*.*.tar.gz文件，解压到hadoop目录下；
进入~/hadoop-2.7.0/etc/hadoop，修改配置文件：
etc/hadoop/hadoop-env.sh，添加JAVA_HOME、HADOOP_COMMON_HOME：
exportJAVA_HOME=/usr/lib/java/jdk1.8.0_60
exportHADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.1
配置环境变量：
sudonano/etc/environment
增加hadoop配置，将下面添加到变量PATH中
/home/hadoop/hadoop-2.7.1/bin:
/home/hadoop/hadoop-2.7.1/sbin:
nano编辑器的使用快捷键：
Ctrl+X
退出编辑器
Ctrl+K
剪切行
Ctrl+V
粘贴
Ctrl+/
替换
Ctrl+W
查找
Ctrl+Y
上一屏幕
下一屏幕
Ctrl+P
向上移动一行
Ctrl+N
向下移动一行
Ctrl+F
向前移动光标一格
Ctrl+B
向后移动光标一格
Ctrl+G
调用帮助菜单
三、Hadoop的模式验证
1.本地模式验证
所谓的本地模式：
在运行程序的时候，比如wordcount是在本地磁盘运行的
上面已经配置完毕，我们对其测试，例子将Hadoop的配置文件作为输入文件，统计符合正则表达式dfs[a-z.]+的单词的出现次数。
$cd/home/hadoop/hadoop-2.7.1
$mkdirinput
$cpetc/Hadoop/*.xmlinput
$bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jargrepinputoutput'
dfs[a-z.]+'
执行过程：
$catoutput/*
再次运行会提示出错，需要将./output删除。
2.伪分布模式验证
修改文件/home/hadoop/hadoop-2.7.1/etc/hadoop/core-site.xml,添加如下内容：
<
configuration>
property>
name>
hadoop.tmp.dir<
/name>
value>
file:
/usr/local/hadoop/tmp<
/value>
description>
Abaseforothertemporarydirectories.<
/description>
/property>
fs.defaultFS<
hdfs:
//localhost:
9000<
/configuration>
用于接收Client连接的RPC端口，用于获取文件系统metadata信息。
修改etc/hadoop/hdfs-site.xml，添加以下内容用于设置备份份数，这里设置为1份：
dfs.replication<
1<
dfs.namenode.name.dir<
/usr/local/hadoop/tmp/dfs/name<
dfs.datanode.data.dir<
/usr/local/hadoop/tmp/dfs/data<
配置完成后，首先初始化文件系统HDFS:
bin/hdfsnamenode–format
若成功则会提示Exitingwithstatus0
Exittingwithstatus1:
则是出错。
若出错，可试着加上sudo,既
sudobin/hdfsnamenode-format
试试看。
开启NameNode和DataNode的守护进程：
sbin/start-dfs.sh
启动过程中遇到ssh的验证提示，直接输入yes通过：
启动成功后通过jps命令查看相应节点情况：
登录Web界面http:
50070来查看Hadoop的信息
升级会员 