educoder平台hadoop开发环境搭建.docx

educoder平台hadoop开发环境搭建.docx

《educoder平台hadoop开发环境搭建.docx》由会员分享，可在线阅读，更多相关《educoder平台hadoop开发环境搭建.docx（9页珍藏版）》请在冰点文库上搜索。

educoder平台hadoop开发环境搭建

《一》配置开发环境-JavaJDK的配置

mkdir/app

回车

cd/opt

回车

II

回车

tar-zxvfjdk-8ul71-linux-x64.tar.gz

回车

mvjdkl.8.0_171//app

回车

vim/etc/profile

在最低下按i复制粘贴下面代码

JAVA_HOME=/app/jdkl.8.0_171

CLASSPATH=.:

$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:

$PATH

exportJAVA_HOMECLASSPATHPATH

退出wq

source/etc/profile

回车

java-version

测评

**************《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/opt

回车

Is

回车

echo$JAVA_HOME

回车

ls/app

回车

Is

回车

mkdir/app

回车

cp*/app

回车

cd/app

回车

Is

回车

tar-zxvfhadoop-3.1.0.tar.gz

回车

Is

tar-zxvfjdk-8ul71-linux-x64.tar.gz

回车

Is

回车

mvhadoop-3.1.0hadoop3.1

回车

cdjdkl.8.0_171/

回车

pwd

回车

vim/etc/profile

最底下按i复制

exportJAVA_HOME=/app/jdkl.8.0_171

exportHADOOP_HOME=/app/hadoop3.1

export

PATH=.:

$HADOOP_HOME/bin:

$HADOOP_HOME/sbin:

$JAVA_HOME/bin:

$PATH退出wq

source/etc/profile

回车

java-version

回车

cd/app

回车

ssh・keygen・trsa・P"

按回车

cat~/.ssh/id_rsa.pub»~/.ssh/authorized_keys

回车

chmod600~/.ssh/authorized_keys

回车

vim/etc/ssh/sshd_config

找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除

退出wq

cd/app/hadoop3.1/etc/hadoop/

回车

vimhadoop-env.sh

找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车，添加下面代码：

exportJAVA_HOME=/app/jdkl.8.0_171

退出wq

vimyarn・env.sh

最底下按i回车

exportJAVA_HOME=/app/jdkl.8.0_171

退出wq

——^―

vimcore-site.xml

找至>J

然后按i在中间回车

fs.default.name

hdfs:

//localhost:

9000

HDFS的URI,文件系统:

//namenode标识:

端口号

hadoop.tmp.dir

/usr/hadoop/tmp

namenode上本地的hadoop临时文件夹

然后:

wq

2

vimhdfs-site.xml

找至>J

然后按i在中间回车

dfs.name.dirv/name〉

/usr/hadoop/hdfs/namev/value>

namenode上存储hdfs名字空间元数据

dfs.data.dir

/usr/hadoop/hdfs/data

datanode上数据块的物理存储位置v/descriptionx/property>

dfs.replicationv/name>

l

然后:

wq

——3-

vimmapred-site.xml

找至>J

然后按i在中间回车

mapreduce.framework.namev/name〉

yarnv/value>

然后:

wq

vim

yarn-site.xml

找到vconfiguration>

然后按i在中间回车

vname>yarn.nodemanager.aux-servicesv/name〉

mapreduce_shuffle

vname>yarn.resourcemanager.webapp.addressv/name〉

192.168.2.10:

8099

这个地址是mr管理界面的

然后:

wq

—cd/usr/hadoop

回车

mkdir/usr

回车

cd/usr

回车

Is

回车

mkdirhadoop

回车

cd..

回车

mkdir/usr/hadoop/tmp

回车

mkdir/usr/hadoop/hdfs

回车

mkdir/usr/hadoop/hdfs/data

回车

mkdir/usr/hadoop/hdfs/name

回车

hadoopnamenode-format

回车

start-dfs.sh

回车

cd/app/hadoop3.1/sbin

回车

1—

—vimstart-dfs.sh

在#!

/usr/bin/envbash后面按i回城

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

:

wq

2

—vimstop-dfs.sh

在#!

/usr/bin/envbash后面按i回车

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

:

wq

3

vimstart-yarn.sh

在#!

/usr/bin/envbash后面按i回车

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARNNODEMANAGERUSER=root

:

wq

vimstop-yarrush

在#!

/usr/bin/envbash后面按i回车

YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARNNODEMANAGERUSER=root

:

wq

start-dfs.sh

回车

jps

测评