hadoop单机环境运行wordcount实例.docx

hadoop单机环境运行wordcount实例.docx

《hadoop单机环境运行wordcount实例.docx》由会员分享，可在线阅读，更多相关《hadoop单机环境运行wordcount实例.docx（5页珍藏版）》请在冰点文库上搜索。

hadoop单机环境运行wordcount实例

hadoop单机运行实例

2017年3月22日

11:

09

4.26日

0.添加环境变量。

1.创建输入文件夹。

2.创建数据文件。

3.运行实例。

4.查看实例运行结果。

5.完成实验文档的编写。

0.添加环境变量

vi/etc/profile添加如下内容：

保存退出。

运行source/etc/profile使修改生效

 1.创建输入文件夹。

1.1进入hadoop-2.2.0/sbin目录。

查看hadoop命令

在sbin目录下运行hdfsdfs-mkdir/input。

2.创建wordcount实例目录和数据文件。

2.1我们需要找到wordcount实例的位置，首先需要找到hadoop-2.2.0文件夹，然后依照下面路径：

/tmp/hadoop-2.2.0/share/hadoop/mapreduce会看到如下图：

2.2创建文件worcount并输入内容。

vi/usr/wordcount

输入以下内容

hellohadoop

hellomaster

helloslave

helloyarn

whatisyarn

2.3将本地文件上传到HDFS中

查看上传后的文件情况，执行如下命令

hdfsdfs-ls/input

查看上传文件的内容：

3.运行实例。

hadoopjar/tmp/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount/input/wordcount/output

output是结果输出目录。

运行过程如下：

4.查看运行结果。

4.1在运行的过程中会自动创建output输出目录，为了存放运行输出结果文件。

使用hdfsdfs-ls/output查看输出目录

4.2使用hdfsdfs-catpart-r-00000查看输出文件

4.3可以利用web界面监控和获取yarn的作业信息

http:

//syn:

8088

5.完成实验文档的编写。