利用VMware虚拟机安装hadoop的工具以及具体详细步骤Word格式文档下载.docx

利用VMware虚拟机安装hadoop的工具以及具体详细步骤Word格式文档下载.docx

《利用VMware虚拟机安装hadoop的工具以及具体详细步骤Word格式文档下载.docx》由会员分享，可在线阅读，更多相关《利用VMware虚拟机安装hadoop的工具以及具体详细步骤Word格式文档下载.docx（9页珍藏版）》请在冰点文库上搜索。

in 

terminal 

进入命令模式 

执行命令 

service 

network 

restart 

如果出现三个oK即成功。

如果不成功，则重修以上步骤，换IP地址再执行命令。

4.修改主机名：

查看主机名命令 

hostname 

因为自带的hostname非常长，不好使用因此需要修改。

仅在此次会话中修改主机名执行命令hostname 

hadoop 

，则主机名则修改成Hadoop,如果要一劳永逸，则要修改配置文件。

执行命令

然后

按esc 

，再按shift+:

再输入wq再enter即可，保存退出。

（vi命令保存退出的步骤，以下不再赘述）

验证：

重启虚拟机，执行hostname命令 

显示是hadoop 

则成功

vi只读，不能写输入vi命令默认进入这种模式

编辑，能读也能写按字母a或者i就能进入编辑状态

命令，需要执行命令

如何进入命令模式：

再输入wq再enter即 

可，保存退出 

如果只输入q在enter即不保存退出。

注意：

如果强制直接将正在编辑的文件通过右上角的红叉号关掉，则再次用vi命令进行编辑的时候会出现缓存文件的界面，但是不能编辑。

此时，如果还想用vi命令进行操作，则要先通过ls-a

查看此时目录下的所有文件，然后删除缓存文件例如.a.swp文件，rm.a.swp 

即可然后在执行vi命令就可以了。

1.把ip地址和主机名绑定

，进入hosts文件，然后添加 

192.168.80.100 

hadoop，保存退出。

ping 

如果ping通了则表示成功。

1.关闭防火墙

查看防火墙状态的命令 

iptables 

status 

关闭防火墙的命令 

stop 

防火墙可能在下次开机时自动启动，用

查看所有进程的自启情况。

为了准确的查看iptables 

的情况执行以下命令

即可准确的查看其信息。

关闭防火墙的自动启动命令：

即可将所有的选项中的on改为off 

.验证用以上命令。

7.SSH（secure 

shell）的免密码登录

进入家目录 

cd 

~ 

在进入cd 

.ssh 

执行ls 

查看啥都没有

（1）执行产生秘钥命令 

ssh-keygen 

-t 

rsa 

产生秘钥位于 

~/.ssh 

文件夹

查看到的是秘钥

（2）执行命令cp 

~/.ssh/id_rsa.pub 

~/.ssh/authorized_keys把公钥文件放在后面的文件中.

ssh 

localhost 

如果能连接则表示成功

8.安装jdk

（1）安装软件winscp 

，然后进入选择要连接的Linux系统的用户名以及密码，点击保存。

（2）进入之后可以直接将Windows系统的文件拖拽到Linux系统中（虚拟机）

具体步骤如下：

利用pietty 

工具先进入到 

/root/Downloads 

目录下 

运行命令 

rm 

-rf 

* 

补充：

rm命令使用详解

功能：

删除一个目录中的一个或多个文件或目录，它也可以将某个目录及其下的所有文件及子目录均删除。

对于链接文件，只是删除了链接，原有文件均保持不变。

语法：

rm[-fri]文件…

例子：

rm-itestexample

参数：

-f：

强制删除，忽略不存在的文件，从不给出提示。

-i：

交互模式删除文件，删除文件前给出提示。

-r：

递归的删除目录下面文件以及子目录下文件。

-R：

-v：

显示运行时详细信息

将要拷贝的Hadoop以及jdk放到Downloads文件夹下

然后cd 

/usr/local 

，执行 

cp 

/root/Downloads/*. 

命令

ls 

即可查询当前目录下的文件 

（3）执行解压jdk文件但是无权限 

需要赋予执行权限 

解压缩命令 

./jdk-6u24-linux-i586

-l 

列出 

当前目录下文件的权限

然后给当前用户添加执行命令 

chmod 

u+x 

./jdk-6u24-linux-i586 

在继续执行解压命令即可。

解压后生成jdk1.6.0_24

进行重命名的命令 

mv 

jdk1.6.0_24 

jdk

（4）此时，执行Java命令仍然不好用 

因为没有配置环境变量

vi 

/etc/profile

在显示的第一行写命令：

export 

JAVA_HOME=/usr/local/jdk

PATH= 

.:

$JAVA_HOME/bin:

$PATH

修改完后 

shift+：

wq 

退出

再执行命令 

source 

profile 

让设置立即生效，就ok了 

用Java 

-version 

验证

9.安装Hadoop

（1）解压Hadoop文件 

tar 

-zxvf 

hadoop-1.1.2.tar.gz

（2）重命名 

hadoop-1.1.2 

hadoop

（3）执行命令vi 

/etc/profile 

设置环境变量 

HADOOP_NAME=/usr/local/hadoop 

注意这之间不允许有任何的空格

PATH=.:

$HADOOP_HOME/bin:

让该设置立即生效

（4）伪分布配置 

修改四个配置文件 

目录是 

$HADOOP_HOME/conf 

下的四个文件夹

详细修改见课件

（5）对Hadoop的hdfs系统就行格式化 

执行命令hadoop 

namenode-format

（6） 

执行命令start-all.sh 

启动 

另外 

在Windows的dos命令下或者pietty下执行jps可以查看Java进程

通过Hadoop：

50070 

和50030 

linux 

浏览器访问 

出现Hadoop就可以了

如果想要在Windows系统下访问浏览器则需要绑定主机名和IP地址具体目录C:

\Windows\System32\drivers\etc\hosts

本行前面不能加上#

（7）去掉start-all.sh 

启动时报的警告

需要修改一个变量值

在/etc/profile 

中添加一个变量 

HADOOP_HOME_WARN_SUPPRESS=1

然后执行source 

让修改立即生效。

如果执行好多次source命令一直报commandnotfound错误，那么应该是路径写错了或者是文件中多打了一个或者是多个字母，仔细检查就会发现了。

10.使用myeclipse查看hadoop源码

创建一个java工程将hadoop中src中的三个文件夹复制到myeclipse中出错也不要紧，只是看而已。

学习HDFS

1. 

如果要使用以下hdfs命令首先应该执行start-all.sh命令

通过jps命令查询服务是否已经全部启动。

查看：

fs 

-ls 

/ 

查看hdfs当前目录（根目录）文件

fs-lsr 

递归查看hdfs当前目录（根目录）

lsr中的r是recursion 

递归的意思

（1）最左边的箭头所指的第一位如果是d则表示当前是目录，如果是-则表示是文件。

（2）第二个箭头中

创建：

-mkdir 

/d1 

在hdfs根目录下创建d1的文件

上传：

-put 

<

Linux 

source>

HDFS 

destination>

说明：

如果后一个参数是不存在的目录，则复制的文件名称即此参数。

下载：

-get 

在HDFS 

上直接查看某个文件，执行以下命令

fs-text 

HDFS下的文件>

相当于Linux下的more命令

删除：

删除文件的命令 

-rm 

删除目录的命令 

-rmr<

HDFS的目录>

//在hdfs中默认的路径是 

/user/<

currentUser>

查看hdfs下的所有的命令：

输入hadoop则会显示所有的命令 

如果想查看命令的功能则输入hadoop 

-help 

ls

则是查看ls命令的详细说明