linux安装+hadoop配置文档格式.docx

1、参考网上相关资源，本文所采取的部署过程分为三个阶段：单机部署阶段、多机环境下的配置阶段、和启动运行阶段。单机部署阶段主要是在每台机器上安装和配置unbuntu、JDK 和hadoop程序；第二阶段主要是进一步配置每台机器，以构成hadoop集群环境；第三个阶段主要是启动hadoop。各个阶段的详细操作步骤如下。2.1、部署阶段单机部署阶段主要是对集群环境中的每台机器，进行ubuntu、JDK和hadoop的安装与配置。该阶段要做的工作与单机版的hadoop平台搭建类似。2.1.1、安装ubuntu-14.04.2-desktop-amd642.1.1.1 安装工具：easyBCD，DAEMON

2、 tools，（安装最好选择默认路径）ubuntu-14.04.2-desktop-amd64.iso 建议将iso文件移动到c盘根目录。2.1.1.2 安装过程（在win7下安装ubuntu，即双系统,如果你想安装单linux系统，可以直接跳到,2.1.1.2.7步）：2.1.1.2.1 磁盘预留可用空间计算机-右键-管理 2.1.1.2.2 右键单击选择要压缩的磁盘（本例选择D盘，最好选 择最后的磁盘），右键选择“压缩卷”2.1.1.2.3 在输入压缩空间量（MB）里填写要压缩出的空间量，如果 要压缩出50G，填写50G*1024MB2.1.1.2.4 压缩后会发现多出一块未分区磁盘（绿色

3、分区，这个只是样例），出现这样就可以了，我们的linux将安装到这个绿色的空闲分区内，这样我们可以在windows下删除linux系统。2.1.1.2.5 安装完成的效果图如下：2.1.1.2.6 如果从windows磁盘管理内无法分出，可以使用磁盘分区工具DiskGenius，建议从windows最后一个磁盘进行分区，分完后格式化所分出来的磁盘，然后删除卷，就会出现上图绿色的可用空间状态（一定要删除卷，让它成空闲分区）。2.1.1.2.7 打开easyBCD软件可以看到目前只有一个win7启项。2.1.1.2.8 选择“添加新条目”，然后选择“NeoGrub”，点击“安装”2.1.1.2.9

4、 点击右边的配置 2.1.1.2.10 将打开的menu.lst文件的内容替换成一下文本：title Install Ubunturoot （hd0,0）kernel （hd0,0）/vmlinuz.efi boot=casper iso-scan/filename=/ubuntu-14.04-desktop-amd64.iso locale=zh_CN.UTF-8initrd （hd0,0）/initrd.lztitle rebootreboottitle halthalt说明：a） hd0表示c盘所处的硬盘号，一般电脑只有一个，所以都是hd0；如果有多个硬盘，则根据情况改为hd0、hd1等

5、。（因为我们直接把ubuntu-14.04-desktop-amd64.iso镜像文件拷到了C盘，直接写hd0就OK了）b） 其中filename要改成你自己下载的ubuntu版本的镜像文件的名字（上面黄色内容）2.1.1.2.11 然后把系统镜像文件用DAEMON tools打开，或者以压缩包形式将其中两个文件解压出来，分别是initrd.lz和vmlinuz.efi，这两个文件在casper文件夹里。此处我们用DAEMON tools打开（一定要点击打开文件夹）2.1.1.2.12 将解压出来的两个文件复制到c盘根目录，可以看看c盘中添加了多少相关的文件。这样，安装系统的前期准备就完成了，

6、可以重启电脑准备安装ubuntu了。2.1.1.2.13 点击编辑引导菜单你会看到多了一个引导项2.1.1.2.14 重启电脑，可以看到多了一个启动项“NeoGrub引导加载器”，选择该项enter，然后选择“install ubuntu”，另外两项分别是“重启”和“关机”，是为了防止安装出错而设的，这个在之前的menu.lst配置文件中已经设定好了。2.1.1.2.15 接下来如果正常的话，会刷刷的满屏幕文字，很高端的样子，等着它结束就行。如果在这一步报错，一般来说就是之前的menu.lst配置文件不对，无法访问C盘，这时只要“reboot”然后进入win7重新配置就行2.1.1.2.16

7、刷完后就进入一个小系统，别以为这就装好了，此时最重要的一步，通过快捷键ctrl+alt+T打开终端，输入：sudo umount -l /isodevice注意空格和小写的L，执行后就可以双击安装图标进行安装了umount -f 卸载设备。选项 l 并不是马上umount，而是在该目录空闲后再umount。点击下面的图标进行安装接下来选择简体中文；不用选中安装第三方软件和更新，否则安装会很慢，为保险起见可以断开网络连接；安装类型选择“其他选项”。接下来需要设置分区，首先设置交换空间大小，与电脑内存差不多或为电脑内存的两倍。然后设置其他挂载点的大小，分区方案很多，这里简单的设置/、/boot、/

8、home共3个分区，均为ext4文件系统。/ 10G；/boot 100M;/home 剩余所有空间安装启动引导器的挂载点选择/boot所对应的磁盘号按照安装步骤往下走就可以了。安装完成后点击“现在重启”，可以看到多了好多启动项，界面也变了。选择第一项启动ubuntu系统，这样就可以愉快的玩转ubuntu啦。进入win7后打开EasyBSD然后再点击 添加新条目，点击 Linux/BCD , 类型选择 grub , 路径选择之前安装启动引导器的挂载点 ，这里我们选择/boot对应的磁盘。然后再选择编辑引导向，把windows改成默认的启动项。2.1.2、安装jdk第一步：将jdk复制到opt目

9、录下sudo cp jdk的路径（源路径） /opt（目标路径）第二步：进入到Java目录下，改变文件权限为可执行cd /optsudo chmod u+x “JDK包名”.bin 第三步：安装a） 后缀为.bin./ “JDK包名”.binb） 后缀为tar.gzsudo tar zxvf “JDK包名”2.1.3、安装hadoop将hadoop.tar.gz复制到opt目录下sudo cp hadoop的路径 /opt注：从网上下载的hadoop往往是压缩成rar的，这里需要现在本地解压，然后提取出来的文件里面就会出现hadoop.tar.gz）进入到local目录下，解压hadoop.t

10、ar.gzcd /opt 为了方便管理，将解压后的文件夹名改为hadoopsudo mv hadoop2.7.0 hadoop /mv具有重命名功能第四步：创建一个名为hadoop的用户1、创建一个名为yshu的用户 sudo adduser yshu /创建hadoop用户 sudo passwd yshu/修改密码创建用户名需要输入用户的密码，本人测试用户的密码可以设置。在设置完密码之后，还需要输入用户的一些信息，可以不填，都敲回车，用系统默认的即可。3、用gedit打开etc下的sudoers文件sudo gedit /etc/sudoers4、在 root ALL=（ALL） ALL

11、下面添加如下一行ysh ALL=（ALL） ALL添加 ysh ALL=（ALL） ALL 的意义在于能让ysh用户使用“sudo”命令5、我们可以在linux图像界面下点击右上角的系统设置-用户管理-点击左侧的hadoop用户图像，把右方的hadoop权限标准改成管理员。这时最好重新启动下机器。2.1.4、配置JAVA环境变量用gedit打开etc下的profile文件sudo gedit /etc/profile在文件最后加入如下几行# for javaexport JAVA_HOME=/opt/jdk1.7.0 /改成你的jdk路径export JRE_HOME=$JAVA_HOME/j

12、reexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH使设置生效：到此步JDK的配置就都完成了$ source /etc/profile为保证正确性，进行简单的测试$ java -version输出：java version 1.7.0Java（TM） SE Runtime Environment （build 1.7.0）Java HotSpot（TM） Server VM修改默认JDK： sudo update-alternatives -install

13、/usr/bin/java java /usr/lib/jvm/jdk1.7.0/bin/java 300 sudo update-alternatives -install /usr/bin/javac javac /usr/lib/jvm/jdk1.7.0/bin/javac 300sudo update-alternatives -install /usr/bin/jar jar /usr/lib/jvm/jdk1.7.0/bin/jar 300红色地方都改成你的jdk安装路径以下两句可选（最好执行）：sudo update-alternatives -config javasudo u

14、pdate-alternatives -config javac2.1.5、创建ssh-key首先要转换成ysh用户，执行以下命令：$ suyshubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看：$sudops-ef|grepssh如果只有 ssh-agent就需要安装openssh-server了。sudo apt-get install openssh-server /安装ssh如果此语句执行失败且结果为“.没有可利用的包”的话，可以先执行 sudoapt-get update,以更新各个链接。执行此句要花较长时间，并且一直显示下载数据。创建ssh-key（ssh生

15、成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式）ssh-keygen -t dsa -P -f /.ssh/id_dsa /此处我们指定了存放路径/.ssh/id_dsa请注意， ssh-kengen 是用连字符连着的，千万不要分开将此ssh-key添加到信任列表中，并启用此ssh-keycat /.ssh/id_dsa.pub /.ssh/authorized_keys /追加验证信息到chmod 700 /.ssh /修改文件夹权限chmod 600 /.ssh/authorized_keys /修改文件权限启动ssh服务sudo service ssh start1，在终端

16、输入“ssh localhost”可以测试ssh是否安装好，如果有错误提示,类似ssh: connect to hostlocalhost port 22: Connection refused，说明你没有安装ssh-client，此时只需要在终端输入：sudoapt-get install openssh-client 2，此处也可以通过命令 “ps -e |grepssh ” 来查看ssh 服务是否真的启动 了，正常情况下命令执行之后应该显示两条内容，分别是两个服务，一个是ssh-agent,一个是sshd。如果 只有 ssh-agent,那么应用命令 sudo /etc/sbin/ssh

17、 启动sshd服务 ，如果 出现 如下类似的问题，则 进入 （sudo gedit /etc/ssh/sshd_config）将出现 问题的一句（这里是line25）注释掉就行了/etc/ssh/sshd_config: line 25: Bad configuration option:syntax terminating, 1 bad configuration options2.2、多机环境下的配置阶段2.2.1、/etc/hosts文件的配置修改对hosts文件的修改主要是为了建立集群中各个主机的主机名与相应ip地址之间的映射关系。因此，该步需要对每台机器的hosts的文件进行修改。本

18、安装环境下的各个主机名与IP地址的关系如下（IP地址此处隐去）：192.168.16.1 master192.168.16.2 slave1192.168.16.3 slave2基于该映射关系，各个机器的hosts文件的配置如下（各个机器的配置一样）： 127.0.0.1 localhost 192.168.16.1 master1） 此处各配置文件中的master和slaves均为各个机器的主机名，主机名可通过hostname命令查看2） 配置文件中127.0.0.1与localhost之间的映射是自带的2.2.2、多机的ssh-key配置进入master主机，在终端输入如下命令：scp /

19、home/ysh/.ssh/id_rsa.put 主机名192.168.16.2:/home/ysh/scp /home/ysh/.ssh/id_rsa.put 主机名192.168.16.3:这里主要是将master机器的ssh-key值拷贝到各个slaves主机。这里可能在拷贝的过程需要输入slave主机的密码，输入即可。进入各个slave主机，在终端输入如下命令以将ssh-key添加到信任列表中，以在master主机和各个slaves主机之间建立无需密码的链接：cat /id_rsa.pub /.ssh/authorized_keys为了验证ssh服务是否配置成功，回到master主机上

20、，终端键入ssh 主机名192.168.16.2如果没有出错，并且进入slave主机，则说明无密码的ssh服务配置成功。这里初次也可能有输入密码的提示，直接输入ip为192.168.16.2的主机密码就可以了。实际上，如果你键入”ssh 192.168.16.2”，程序也可能会提示你输入ysh192.168.0.2密码，输入即可。2.2.3、JAVA_HOME环境变量的配置进入master主机，配置conf目录下的hadoop-env.sh中的JAVA_HOME。在master主机终端输入如下命令：cd /opt/hadoop2.7.0/etc/hadoop/conf /你的hadoop存放路

21、径sudo gedit conf/hadoop-env.sh打开后在文档的上部某行有“#exportJAVA_HOME=.”字样的地方，去掉“#”，然后在等号后面填写你的jdk路径，完全按此文档来的话应改为export JAVA_HOME=/usr/Java/jdk1.6.0_372.2.4、master和slaves文件的配置修改该步操作是在master主机的终端上执行。目标主要是对/opt/hadoop2.7.0/etc/hadoop /conf下的master 和slaves文件进行修改。/opt/hadoop2.7.0/etc/hadoop /conf masters的配置如下:mas

22、ter（此处为master主机的主机名）/opt/hadoop2.7.0/etc/hadoop /conf slaves的配置如下:guoyshmaster2.2.5、core-site、mapred-site和hdfs-site文件的配置修改进入master主机，做如下三步。配置conf目录下的core-site.xmlsudo gedit conf/core-site.xml打开后标签中是空的，所以在空的地方加入如下配置 fs.defaultFSvaluehdfs:/master:9000/property 第三步：配置conf目录下的mapred-site.xmlsudo gedit c

23、onf/mapred-site.xml中也是空的，添加如下配置 mapreduce.framework.nameyarnmapreduce.jobhistory.addressmaster:10020mapreduce.jobhistory.webapp.address19888配置hdfs-site.xml文件sudo gedit conf/hdfs-site.xmldfs.replication1dfs.namenode.secondary.http-address9001上述前两步的标红的master主机名要在实际中替换成实际的master主机名2.2.6、复制master的配置文件到各

24、个slaves这里主要是将2.2.1，以及2.2.3-2.2.5节中修改的各个配置文件复制到各个slaves的同样目录下。所用命令如下：/拷贝JAVA_HOME环境变量的配置文件/ scp 源路径 目标路径 下面的操作是在主机中进行的，向两台slave进行copyscp /opt/hadoop2.7.0/etc/hadoop /conf /hadoop-env.sh hadoop192.168.16.2: /opt/hadoop2.7.0/etc/hadoop /conf /scp /opt/hadoop2.7.0/etc/hadoop /conf /hadoop-env.sh hadoop1

25、92.168.16.3:/拷贝master和slaves文件scp /opt/hadoop2.7.0/etc/hadoop /conf /master hadoop192.168.16.2:scp /opt/hadoop2.7.0/etc/hadoop /conf /master hadoop192.168.16.3:scp /opt/hadoop2.7.0/etc/hadoop /conf /slave hadoop192.168.16.2:scp /opt/hadoop2.7.0/etc/hadoop /conf /slave hadoop192.168.16.3:2.3、启动运行阶段2.3.1、格式化namenode （首次运行必需）进入/opt/hadoop2.7.0目录cd /opt/hadoop2.7.0格式化namenode$ bin/hadoop namenode format此步操作以及以后的操作都是在master主机上进行。并且注意这里的格式化命令里边的namenode不能替换成master主机的名