利用VMware虚拟机安装hadoop的工具以及具体详细步骤.docx
《利用VMware虚拟机安装hadoop的工具以及具体详细步骤.docx》由会员分享，可在线阅读，更多相关《利用VMware虚拟机安装hadoop的工具以及具体详细步骤.docx（9页珍藏版）》请在冰点文库上搜索。
利用VMware虚拟机安装hadoop的工具以及具体详细步骤
安装Hadoop步骤
1.用到的软件 虚拟机
虚拟机vmware 然后是centOs 打开服务 还有pietty 链接服务器的免安装。
客户端程序Winscp 是在windows系统和Linux虚拟机进行直接复制的工具，需要安装。
1.安装centOs，将压缩包解压到虚拟机所在的目录，然后在VMware中选择文件打开选中centOso即可在编辑centOs 的网络适配器中选择主机模式。
3. 设置静态IP：
进入centOs 后选择超级用户名root 密码是hadoop,此用户拥有所有的权限，不易出错。
然后打开此虚拟机，找到双电脑图标右击
，出现
，然后点击编辑
，
这里的Netmask应该是255.255.255.0
点击保存即可，manual 是静态IP的意思。
修改完之后在桌面右击选择 open in terminal 进入命令模式
执行命令 service network restart 如果出现三个oK即成功。
如果不成功，则重修以上步骤，换IP地址再执行命令。
4.修改主机名：
查看主机名命令 hostname ,因为自带的hostname非常长，不好使用因此需要修改。
仅在此次会话中修改主机名执行命令hostname hadoop ，则主机名则修改成Hadoop,如果要一劳永逸，则要修改配置文件。
执行命令
然后
按esc ，再按shift+:
再输入wq再enter即可，保存退出。
（vi命令保存退出的步骤，以下不再赘述）
验证：
重启虚拟机，执行hostname命令 显示是hadoop 则成功
vi只读，不能写输入vi命令默认进入这种模式
编辑，能读也能写按字母a或者i就能进入编辑状态
命令，需要执行命令
如何进入命令模式：
按esc ，再按shift+:
再输入wq再enter即 可，保存退出 如果只输入q在enter即不保存退出。
注意：
如果强制直接将正在编辑的文件通过右上角的红叉号关掉，则再次用vi命令进行编辑的时候会出现缓存文件的界面，但是不能编辑。
此时，如果还想用vi命令进行操作，则要先通过ls-a
查看此时目录下的所有文件，然后删除缓存文件例如.a.swp文件，rm.a.swp 即可然后在执行vi命令就可以了。
1.把ip地址和主机名绑定
执行命令
，进入hosts文件，然后添加 192.168.80.100 hadoop，保存退出。
验证：
ping hadoop 如果ping通了则表示成功。
1.关闭防火墙
查看防火墙状态的命令 service iptables status
关闭防火墙的命令 service iptables stop
防火墙可能在下次开机时自动启动，用
查看所有进程的自启情况。
为了准确的查看iptables 的情况执行以下命令
即可准确的查看其信息。
关闭防火墙的自动启动命令：
执行命令
即可将所有的选项中的on改为off .验证用以上命令。
7.SSH（secure shell）的免密码登录
进入家目录 cd ~ 在进入cd .ssh 执行ls 查看啥都没有
（1）执行产生秘钥命令 ssh-keygen -t rsa ,产生秘钥位于 ~/.ssh 文件夹
查看到的是秘钥
（2）执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys把公钥文件放在后面的文件中.
验证：
ssh localhost 如果能连接则表示成功
8.安装jdk
（1）安装软件winscp ，然后进入选择要连接的Linux系统的用户名以及密码，点击保存。
（2）进入之后可以直接将Windows系统的文件拖拽到Linux系统中（虚拟机）
具体步骤如下：
利用pietty 工具先进入到 /root/Downloads 目录下 运行命令 rm -rf *
补充：
rm命令使用详解
功能：
删除一个目录中的一个或多个文件或目录，它也可以将某个目录及其下的所有文件及子目录均删除。
对于链接文件，只是删除了链接，原有文件均保持不变。
语法：
rm[-fri]文件…
例子：
rm-itestexample
参数：
-f：
强制删除，忽略不存在的文件，从不给出提示。
-i：
交互模式删除文件，删除文件前给出提示。
-r：
递归的删除目录下面文件以及子目录下文件。
-R：
递归的删除目录下面文件以及子目录下文件。
-v：
显示运行时详细信息
将要拷贝的Hadoop以及jdk放到Downloads文件夹下
然后cd /usr/local 目录下 ，执行 cp /root/Downloads/*. 命令
ls 即可查询当前目录下的文件
（3）执行解压jdk文件但是无权限 需要赋予执行权限 解压缩命令 ./jdk-6u24-linux-i586
ls -l 列出 当前目录下文件的权限
然后给当前用户添加执行命令 chmod u+x ./jdk-6u24-linux-i586
在继续执行解压命令即可。
解压后生成jdk1.6.0_24
进行重命名的命令 mv jdk1.6.0_24 jdk
（4）此时，执行Java命令仍然不好用 因为没有配置环境变量
vi /etc/profile
在显示的第一行写命令：
export JAVA_HOME=/usr/local/jdk
export PATH= .:
$JAVA_HOME/bin:
$PATH
修改完后 按esc shift+：
wq 退出
再执行命令 source profile 让设置立即生效，就ok了 用Java -version 验证
9.安装Hadoop
（1）解压Hadoop文件 tar -zxvf hadoop-1.1.2.tar.gz
（2）重命名 mv hadoop-1.1.2 hadoop
（3）执行命令vi /etc/profile 设置环境变量
export HADOOP_NAME=/usr/local/hadoop 注意这之间不允许有任何的空格
export PATH=.:
$HADOOP_HOME/bin:
$JAVA_HOME/bin:
$PATH
执行命令 source /etc/profile 让该设置立即生效
（4）伪分布配置 修改四个配置文件 目录是 $HADOOP_HOME/conf 下的四个文件夹
详细修改见课件
（5）对Hadoop的hdfs系统就行格式化 执行命令hadoop namenode-format
（6） 执行命令start-all.sh 启动 另外 在Windows的dos命令下或者pietty下执行jps可以查看Java进程
通过Hadoop：
50070 和50030 linux 浏览器访问 出现Hadoop就可以了
如果想要在Windows系统下访问浏览器则需要绑定主机名和IP地址具体目录C:
\Windows\System32\drivers\etc\hosts
192.168.80.100 hadoop
本行前面不能加上#
（7）去掉start-all.sh 启动时报的警告
需要修改一个变量值
在/etc/profile 中添加一个变量 export HADOOP_HOME_WARN_SUPPRESS=1
然后执行source /etc/profile 让修改立即生效。
注意：
如果执行好多次source命令一直报commandnotfound错误，那么应该是路径写错了或者是文件中多打了一个或者是多个字母，仔细检查就会发现了。
10.使用myeclipse查看hadoop源码
创建一个java工程将hadoop中src中的三个文件夹复制到myeclipse中出错也不要紧，只是看而已。
学习HDFS
1. 如果要使用以下hdfs命令首先应该执行start-all.sh命令
通过jps命令查询服务是否已经全部启动。
查看：
执行命令 hadoop fs -ls / 查看hdfs当前目录（根目录）文件
hadoop fs-lsr / 递归查看hdfs当前目录（根目录）
lsr中的r是recursion 递归的意思
（1）最左边的箭头所指的第一位如果是d则表示当前是目录，如果是-则表示是文件。
（2）第二个箭头中
创建：
hadoop fs -mkdir /d1 在hdfs根目录下创建d1的文件
上传：
hadoop fs -put < Linux source>
说明：
如果后一个参数是不存在的目录，则复制的文件名称即此参数。
下载：
hadoop fs -get
在HDFS 上直接查看某个文件，执行以下命令
hadoop fs-text 相当于Linux下的more命令
删除：
删除文件的命令 hadoop fs -rm
删除：
删除目录的命令 hadoop fs -rmr
//在hdfs中默认的路径是 /user/
查看hdfs下的所有的命令：
输入hadoop则会显示所有的命令
如果想查看命令的功能则输入hadoop fs -help ls
则是查看ls命令的详细说明
升级会员 