虚拟机环境下Hadoop伪分布式平台搭建详细过程资料下载.pdf

虚拟机环境下Hadoop伪分布式平台搭建详细过程资料下载.pdf

《虚拟机环境下Hadoop伪分布式平台搭建详细过程资料下载.pdf》由会员分享，可在线阅读，更多相关《虚拟机环境下Hadoop伪分布式平台搭建详细过程资料下载.pdf（11页珍藏版）》请在冰点文库上搜索。

图1.14Windows网络适配器窗口检验：

主机（Windows）ping客户机（linux）IP图1.15ping检验窗口（3）修改hostname由于设置好了主机和客户机之间的网络连接，我们可以使用工具PieTTY在Windows环境下就可以快捷登录虚拟机，对其配置进行修改，如下面来修改虚拟机的hostname为hadoop：

图1.16修改hostname指令（4）执行vi/etc/hosts,在打开的文件中添加ip和主机名，绑定Linux虚拟机的主机名和ip图1.17绑定ip指令（5）设置SSH自动登录执行命令ssh-keygentrsa产生秘钥,位于/.ssh文件夹下面图1.18产生加密的秘钥执行命令cp/.ssh/id_rsa.pub/.ssh/authorized_keys图1.19复制到authorized_keys文件下验证，输入sshlocalhost图1.20验证免密登录结果（6）安装JDK拷贝（借助winSCP软件实现主机和虚拟机之间文件共享）安装文件至虚拟机/usr/local目录下，并解压（命令：

./jdk-6u24-linux-i586.bin）：

图1.21拷贝并解压JDK安装文件解压完成：

图1.22解压后的/usr/local目录配置JDK环境变量：

执行命令vi/etc/profile打开配置文件加入JAVA_HOMEPATH两个环境变量JAVA_HOMEJAVA_HOME=/usr/local/jdk;

PATHPATH=.:

$JAVA_HOME/bin:

$PATH图1.23配置JDK环境变量执行source/etc/profile使配置生效，并检验。

图1.24检验JDK环境变量配置成功1.2.1.2.44安装安装HadoopHadoop执行命令tar-zxvfhadoop-1.1.2.tar.gz进行解压缩hadoop安装包，并执行命令mvhadoop-1.1.2hadoop重命名文件夹图1.25解压缩并重命名hadoop安装文件配置hadoop环境变量，执行vi/etc/profile打开配置文件，并添加HADOOP_HOME和PATH：

图1.26配置hadoop环境变量执行命令source/etc/profile使配置生效。

修改四个hadoop配置文件，位于$HADOOP_HOME/conf目录下（利用winSCP软件直接打开对应文件进行修改），分别是：

hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml如下：

hadoop-env.shexportJAVA_HOME=/usr/local/jdk/exportJAVA_HOME=/usr/local/jdk/图1.27修改hadoop-env.sh配置文件core-site.xmlfs.default.namefs.default.namehdfs:

/hadoop0:

9000hdfs:

9000changeyourownhostnamechangeyourownhostnamehadoop.tmp.dirhadoop.tmp.dir/usr/local/hadoop/tmp/usr/local/hadoop/tmp图1.28修改core-site.xml配置文件hdfs-site.xmldfs.replicationdfs.replication11dfs.permissionsdfs.permissionsfalsefalse图1.29修改hdfs-site.xml配置文件mapred-site.xmlmapred.job.trackermapred.job.trackerhadoop0:

9001hadoop0:

9001changeyourownhostname图1.30修改mapred-site.xml配置文件接下来，对hadoop进行格式化，执行命令：

hadoopnamenode-format图1.31hadoop格式化成功执行命令start-all.sh启动hadoop图1.32完全启动hadoop，并检验java进程（5个）注：

注：

hadoophadoop启动的启动的几种几种方式方式start-all.sh启动所有的Hadoop守护进程。

（包括NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTrack）stop-all.sh停止所有的Hadoop守护进程。

start-dfs.sh启动HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodestop-dfs.sh停止HadoopHDFS守护进程NameNode、SecondaryNameNode和DataNodehadoop-daemons.shstartnamenode单独启动NameNode守护进程hadoop-daemons.shstopnamenode单独停止NameNode守护进程hadoop-daemons.shstartdatanode单独启动DataNode守护进程hadoop-daemons.shstopdatanode单独停止DataNode守护进程hadoop-daemons.shstartsecondarynamenode单独启动SecondaryNameNode守护进程hadoop-daemons.shstopsecondarynamenode单独停止SecondaryNameNode守护进程start-mapred.sh启动HadoopMapReduce守护进程JobTracker和TaskTrackerstop-mapred.sh停止HadoopMapReduce守护进程JobTracker和TaskTrackerhadoop-daemons.shstartjobtracker单独启动JobTracker守护进程hadoop-daemons.shstopjobtracker单独停止JobTracker守护进程hadoop-daemons.shstarttasktracker单独启动TaskTracker守护进程hadoop-daemons.shstoptasktracker单独启动TaskTracker守护进程至此，hadoop伪分布式平台就已经搭建完成了，我们可以在web浏览器查看访问该平台下的服务器节点：

图1.33浏览器访问NameNodewebservices节点图1.34浏览器访问MapReducewebservices节点