educoder平台hadoop开发环境搭建Word文档下载推荐.docx

educoder平台hadoop开发环境搭建Word文档下载推荐.docx

《educoder平台hadoop开发环境搭建Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《educoder平台hadoop开发环境搭建Word文档下载推荐.docx（9页珍藏版）》请在冰点文库上搜索。

$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:

$PATH

exportJAVA_HOMECLASSPATHPATH

退出wq

source/etc/profile

java-version

测评

*******************************************************************************《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/opt

ls

echo$JAVA_HOME

ls/app

cp*/app

cd/app

tar-zxvfhadoop-3.1.0.tar.gz

mvhadoop-3.1.0hadoop3.1

cdjdk1.8.0_171/

pwd

最底下按i复制

exportJAVA_HOME=/app/jdk1.8.0_171

exportHADOOP_HOME=/app/hadoop3.1

export

PATH=.:

$HADOOP_HOME/bin:

$HADOOP_HOME/sbin:

$JAVA_HOME/bin:

$PATH退出wq

ssh-keygen-trsa-P'

'

按回车

cat~/.ssh/id_rsa.pub>

>

~/.ssh/authorized_keys

chmod600~/.ssh/authorized_keys

vim/etc/ssh/sshd_config

找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除

cd/app/hadoop3.1/etc/hadoop/

vimhadoop-env.sh

找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车，添加下面代码：

vimyarn-env.sh

最底下按i回车

————————1————————————————————————————————

vimcore-site.xml

找到<

configuration>

<

/configuration>

然后按i在中间回车

property>

name>

fs.default.name<

/name>

value>

hdfs:

//localhost:

9000<

/value>

description>

HDFS的URI，文件系统:

//namenode标识:

端口号<

/description>

/property>

hadoop.tmp.dir<

/usr/hadoop/tmp<

namenode上本地的hadoop临时文件夹<

然后:

wq

—————————2——————————————————————————————vimhdfs-site.xml

dfs.name.dir<

/usr/hadoop/hdfs/name<

namenode上存储hdfs名字空间元数据<

dfs.data.dir<

/usr/hadoop/hdfs/data<

datanode上数据块的物理存储位置<

dfs.replication<

1<

——————————3————————————————————————————vimmapred-site.xml

mapreduce.framework.name<

yarn<

——————————4————————————————————————vimyarn-site.xml

yarn.nodemanager.aux-services<

mapreduce_shuffle<

yarn.resourcemanager.webapp.address<

192.168.2.10:

8099<

这个地址是mr管理界面的<

—————————————————————————————————————cd/usr/hadoop

mkdir/usr

cd/usr

mkdirhadoop

cd..

mkdir/usr/hadoop/tmp

mkdir/usr/hadoop/hdfs

mkdir/usr/hadoop/hdfs/data

mkdir/usr/hadoop/hdfs/name

hadoopnamenode-format

start-dfs.sh

cd/app/hadoop3.1/sbin

————————————1——————————————————————————vimstart-dfs.sh

在#!

/usr/bin/envbash后面按i回城

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

：

————————————2——————————————————————————vimstop-dfs.sh

/usr/bin/envbash后面按i回车

——————————————3——————————————————————————

vimstart-yarn.sh

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

—————————————4—————————————————————————vimstop-yarn.sh

——————————————————————————————————————start-dfs.sh

jps