eclipse 搭建hadoop运行环境.docx

eclipse 搭建hadoop运行环境.docx

《eclipse 搭建hadoop运行环境.docx》由会员分享，可在线阅读，更多相关《eclipse 搭建hadoop运行环境.docx（12页珍藏版）》请在冰点文库上搜索。

eclipse搭建hadoop运行环境

一.基本运行框架

二.对上述项目做如下修改

1.文件夹改为HadoopMR

2..projectname改为HadoopMR

3.Pom.xml

4.用eclipse导入本项目

5.修改项目tools.jar的引用目录

6.重新命名package

三.添加hadoop的依赖库

四.

org.apache.hadoop

hadoop-common

2.6.0

org.apache.hadoop

hadoop-hdfs

2.6.0

org.apache.hadoop

hadoop-yarn-common

2.6.0

org.apache.hadoop

hadoop-mapreduce-client-common

2.6.0

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.6.0

五.添加hadoopeclipse插件

将其放置D:

\eclipse-jee-luna-SR2-win32-x86_64\eclipse\plugins下，然后重启eclipse

六.配置hadoop目录

七.配置hadoop开发环境

将其解压放置hadoopbin目录下面

设置hadoop系统环境变量

此处需要重启系统。

。

。

。

。

。

如果不想重启添加

将远程机器的hadoop配置文件拷贝下来,放置本机上

注意此处需要将lzo相关的配置删除,不然会在上传jar时候报错

修改winhosts文件

八.尝试运行wordcount

利用maven打包

添加运行参数

九.运行结果

参数跳过maven打包环节,使用ejob进行打包,实现自动化打包,且可以将jar容量降低

因此附上使用ejob后代码

如果想运行hadoopjar来运行jar那么得移除初始化的过程等操作

因为hadoopjar的指令会解压jar,此外还会说类找不到等错误

因此修改

并用java自带的工具进行打包

下面步骤的要求是仅仅打包一个类（WorkCount.java）

运行ok,上面介绍了三种方案:

一个是利用maven打包,用eclipse提交运行。

一个是用ejob简单打包用eclipse提交运行。

一个是直接打包在hadoop集群上运行。