Hadoop详细安装配置过程Word下载.docx
《Hadoop详细安装配置过程Word下载.docx》由会员分享，可在线阅读，更多相关《Hadoop详细安装配置过程Word下载.docx（15页珍藏版）》请在冰点文库上搜索。
$JAVA_HOME/lib/:
$JAVA_HOME/lib/
exportPATH=$JAVA_HOME/bin:
$PATH
配置完成后，保存退出。
●不重启，更新命令
#source/etc/profile
●测试是否安装成功
#Java–version
其他问题：
出现unabletoresolvehost解决方法
参考?
开机时停在Startingsendmail不动了的解决方案
安装软件时出现E:
Unabletolocatepackagevsftpd
vi/vim使用方法讲解
分类:
Hadoop
--------------------------------------------
克隆master虚拟机至node1、node2
分别修改master的主机名为master、node1的主机名为node1、node2的主机名为node2
（启动node1、node2系统默认分配递增ip，无需手动修改）
分别修改/etc/hosts中的ip和主机名（包含其他节点ip和主机名）
---------
配置ssh免密码连入
hadoop@node1:
~$ssh-keygen-tdsa-P'
'
-f~/.ssh/id_dsa
Generatingpublic/privatedsakeypair.
Createddirectory'
/home/hadoop/.ssh'
.
Youridentificationhasbeensavedin/home/hadoop/.ssh/id_dsa.
Yourpublickeyhasbeensavedin/home/hadoop/.ssh/.
Thekeyfingerprintis:
SHA256:
B8vBju/uc3kl/v9lrMqtltttttCcXgRkQPbVoUhadoop@node1
Thekey'
srandomartimageis:
+---[DSA1024]----+
|....|
|o+.E.|
|.oo+|
|..++|
|o+.oooo+|
|=o..o.ooo.o.|
|*o....+=o.+++.+|
+----[SHA256]-----+
~$cd.ssh
~/.ssh$ll
总用量16
drwx------2hadoophadoop4096Jul2420:
31./
drwxr-xr-x18hadoophadoop4096Jul2420:
31../
-rw-------1hadoophadoop668Jul2420:
31id_dsa
-rw-r--r--1hadoophadoop602Jul2420:
31
~/.ssh$cat>
>
authorized_keys
总用量20
32./
-rw-rw-r--1hadoophadoop602Jul2420:
32authorized_keys
单机回环ssh免密码登录测试
~/.ssh$sshlocalhost
Theauthenticityofhost'
localhost（）'
can'
tbeestablished.
ECDSAkeyfingerprintisSHA256:
daO0dssyqt12tt9yGUauImOh6tt6A1SgxzSfSmpQqJVEiQTxas.
Areyousureyouwanttocontinueconnecting（yes/no）yes
Warning:
Permanentlyadded'
localhost'
（ECDSA）tothelistofknownhosts.
WelcometoUbuntu（GNU/Linuxx86_64）
*Documentation:
packagescanbeupdated.
178updatesaresecurityupdates.
Newrelease'
LTS'
available.
Run'
do-release-upgrade'
toupgradetoit.
Lastlogin:
SunJul2420:
21:
392016from
~$exit
注销
Connectiontolocalhostclosed.
~/.ssh$
出现以上信息说明操作成功,其他两个节点同样操作
让主结点（master）能通过SSH免密码登录两个子结点（slave）
~/.ssh$scphadoop@master:
~/.ssh/./
master（）'
daO0dssyqtt9yGUuImOh646A1SgxzSfatSmpQqJVEiQTxas.
master,'
hadoop@master'
spassword:
100%603s00:
00
如上过程显示了node1结点通过scp命令远程登录master结点，并复制master的公钥文件到当前的目录下，
这一过程需要密码验证。
接着，将master结点的公钥文件追加至authorized_keys文件中，通过这步操作，
如果不出问题，master结点就可以通过ssh远程免密码连接node1结点了。
在master结点中操作如下：
hadoop@master:
~/.ssh$sshnode1
node1（）'
daO0dssyqt9yGUuImOh3466A1SttgxzSfSmpQqJVEiQTxas.
node1,'
39:
302016from
Connectiontonode1closed.
~/.ssh$
由上图可以看出，node1结点首次连接时需要，“YES”确认连接，
这意味着master结点连接node1结点时需要人工询问，无法自动连接，
输入yes后成功接入，紧接着注销退出至master结点。
要实现ssh免密码连接至其它结点，
还差一步，只需要再执行一遍sshnode1，如果没有要求你输入”yes”，就算成功了，过程如下：
47:
202016from
如上图所示，master已经可以通过ssh免密码登录至node1结点了。
对node2结点也可以用上面同样的方法进行
表面上看，这两个结点的ssh免密码登录已经配置成功，但是我们还需要对主结点master也要进行上面的同样工作，
这一步有点让人困惑，但是这是有原因的，具体原因现在也说不太好，据说是真实物理结点时需要做这项工作，
因为jobtracker有可能会分布在其它结点上，jobtracker有不存在master结点上的可能性。
对master自身进行ssh免密码登录测试工作：
daO0dssttqt9yGUuImOahtt166AgxttzSfSmpQqJVEiQTxas.
master'
authorized_key
~/.ssh$sshmaster
242016from
Connectiontomasterclosed.
至此，SSH免密码登录已经配置成功。
-------------------------
解压hadoop
然后更新环境变量
vi/etc/profile
exportJAVA_HOME=/opt/CLASSPATH=.:
exportHADOOP_HOME=/opt/hadoop
exportPATH=$PATH:
$JAVA_HOME/bin:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin
exportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
exportHADOOP_OPTS="
"
aliasviprofile='
vi/etc/profile'
aliassourceprofile='
source/etc/profile'
aliascatprofile='
cat/etc/profile'
aliascdhadoop='
cd/opt/hadoop/'
aliasstartdfs='
$HADOOP_HOME/sbin/'
aliasstartyarn='
aliasstopdfs='
aliasstopyarn='
------------------
步骤六：
修改配置
一共有7个文件要修改：
$HADOOP_HOME/etc/hadoop/
$HADOOP_HOME/etc/hadoop/slaves
其中$HADOOP_HOME表示hadoop根目录
a）、
这二个文件主要是修改JAVA_HOME后的目录，改成实际本机jdk所在目录位置
vietc/hadoop/（及vietc/hadoop/）
找到下面这行的位置，改成（jdk目录位置，大家根据实际情况修改）
exportJAVA_HOME=/opt/另外中,建议加上这句:
exportHADOOP_PREFIX=/opt/hadoop
b）参考下面的内容修改：
<
xmlversion="
encoding="
UTF-8"
xml-stylesheettype="
text/xsl"
href="
configuration>
<
property>
name>
/name>
value>
/property>
/opt/hadoop/tmp<
/value>
/configuration>
注：
/opt/hadoop/tmp目录如不存在，则先mkdir手动创建
的完整参数请参考
:
50020<
50075<
2<
注:
表示数据副本数，一般不大于datanode的节点数。
的完整参数请参考
yarn<
version="
mapreduce_shuffle<
另外,hadoop与相比,中的很多参数已经被标识为过时,具体可参考
最后一个文件slaves暂时不管（可以先用mvslaves将它改名），上述配置弄好后，就可以在master上启用NameNode测试了，方法：
$HADOOP_HOME/bin/hdfsnamenode–format先格式化
16/07/25。
。
16/07/2520:
34:
42INFO:
AllocatednewBlockPoolId:
BP-
Storagedirectory/opt/hadoop/tmp/dfs/namehasbeensuccessfullyformatted.
43INFO:
Goingtoretain1imageswithtxid>
=0
Exitingwithstatus0
SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG:
ShuttingdownNameNodeatmaster/
************************************************************/
等看到这个时，表示格式化ok
$HADOOP_HOME/sbin/
启动完成后，输入jps（ps-ef|grep...）查看进程，如果看到以下二个进程：
5161SecondaryNameNode
4989NameNode
表示master节点基本ok了
再输入$HADOOP_HOME/sbin/，完成后，再输入jps查看进程
5320ResourceManager
如果看到这3个进程，表示yarn也ok了
f）修改/opt/hadoop/etc/hadoop/slaves
如果刚才用mvslaves对该文件重命名过，先运行mvslaves把名字改回来，再
vislaves编辑该文件，输入
node1
node2
保存退出，最后运行
停掉刚才启动的服务
步骤七：
将master上的hadoop目录复制到node1,node2
仍然保持在master机器上
cd先进入主目录cd/opt
zip-rhadoop
scp-rhadoop@node1:
/opt/
scp-rhadoop@node2:
unzip
node1、node2上的hadoop临时目录（tmp）及数据目录（data），仍然要先手动创建。
-----
步骤八：
验证
master节点上，重新启动
$HADOOP_HOME/sbin/
------
/opt/hadoop/sbin$
Startingnamenodeson[master]
master:
startingnamenode,loggingto/opt/hadoop/logs/
node1:
startingdatanode,loggingto/opt/hadoop/logs/
node2:
Startingsecondarynamenodes[]
startingsecondarynamenode,loggingto/opt/hadoop/logs/
startingyarndaemons
startingresourcemanager,loggingto/opt/hadoop/logs/
startingnodemanager,loggingto/opt/hadoop/logs/
顺利的话，master节点上有几下3个进程：
ps-ef|grepResourceManager
ps-ef|grepSecondaryNameNode
ps-ef|grepNameNode
7482ResourceManager
7335SecondaryNameNode
7159NameNode
slave01、slave02上有几下2个进程：
ps-ef|grepDataNode
ps-ef|grepNodeManager
2296DataNode
2398NodeManager
同时可浏览：
bin/hdfsdfsadmin-report查看hdfs的状态报
升级会员 