educoder平台hadoop开发环境搭建.docx
《educoder平台hadoop开发环境搭建.docx》由会员分享，可在线阅读，更多相关《educoder平台hadoop开发环境搭建.docx（9页珍藏版）》请在冰点文库上搜索。
educoder平台hadoop开发环境搭建
《一》配置开发环境-JavaJDK的配置
mkdir/app
回车
cd/opt
回车
ll
回车
tar-zxvfjdk-8u171-linux-x64.tar.gz
回车
mvjdk1.8.0_171//app
回车
vim/etc/profile
在最低下按i复制粘贴下面代码
JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:
$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:
$PATH
exportJAVA_HOMECLASSPATHPATH
退出wq
source/etc/profile
回车
java-version
测评
*******************************************************************************《二》配置开发环境-Hadoop安装与伪分布式集群搭建cd/opt
回车
ls
回车
echo$JAVA_HOME
回车
ls/app
回车
ls
回车
mkdir/app
回车
cp*/app
回车
cd/app
回车
ls
回车
tar-zxvfhadoop-3.1.0.tar.gz
回车
ls
tar-zxvfjdk-8u171-linux-x64.tar.gz
回车
ls
回车
mvhadoop-3.1.0hadoop3.1
回车
cdjdk1.8.0_171/
回车
pwd
回车
vim/etc/profile
最底下按i复制
exportJAVA_HOME=/app/jdk1.8.0_171
exportHADOOP_HOME=/app/hadoop3.1
export
PATH=.:
$HADOOP_HOME/bin:
$HADOOP_HOME/sbin:
$JAVA_HOME/bin:
$PATH退出wq
source/etc/profile
回车
java-version
回车
cd/app
回车
ssh-keygen-trsa-P''
按回车
cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
回车
chmod600~/.ssh/authorized_keys
回车
vim/etc/ssh/sshd_config
找到#AuthorizedKeysFile%h/.ssh/authorized_keys把#删除
退出wq
cd/app/hadoop3.1/etc/hadoop/
回车
vimhadoop-env.sh
找到#JAVA_HOME=/usr/java/testinghdfsdfs-ls这一行按i在最后面回车，添加下面代码：
exportJAVA_HOME=/app/jdk1.8.0_171
退出wq
vimyarn-env.sh
最底下按i回车
exportJAVA_HOME=/app/jdk1.8.0_171
退出wq
————————1————————————————————————————————
vimcore-site.xml
找到
然后按i在中间回车
fs.default.name
hdfs:
//localhost:
9000
HDFS的URI，文件系统:
//namenode标识:
端口号
hadoop.tmp.dir
/usr/hadoop/tmp
namenode上本地的hadoop临时文件夹
然后:
wq
—————————2——————————————————————————————vimhdfs-site.xml
找到
然后按i在中间回车
dfs.name.dir
/usr/hadoop/hdfs/name
namenode上存储hdfs名字空间元数据
dfs.data.dir
/usr/hadoop/hdfs/data
datanode上数据块的物理存储位置
dfs.replication
1
然后:
wq
——————————3————————————————————————————vimmapred-site.xml
找到
然后按i在中间回车
mapreduce.framework.name
yarn
然后:
wq
——————————4————————————————————————vimyarn-site.xml
找到
然后按i在中间回车
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.webapp.address
192.168.2.10:
8099
这个地址是mr管理界面的
然后:
wq
—————————————————————————————————————cd/usr/hadoop
回车
mkdir/usr
回车
cd/usr
回车
ls
回车
mkdirhadoop
回车
cd..
回车
mkdir/usr/hadoop/tmp
回车
mkdir/usr/hadoop/hdfs
回车
mkdir/usr/hadoop/hdfs/data
回车
mkdir/usr/hadoop/hdfs/name
回车
hadoopnamenode-format
回车
start-dfs.sh
回车
cd/app/hadoop3.1/sbin
回车
————————————1——————————————————————————vimstart-dfs.sh
在#!
/usr/bin/envbash后面按i回城
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
：
wq
————————————2——————————————————————————vimstop-dfs.sh
在#!
/usr/bin/envbash后面按i回车
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
：
wq
——————————————3——————————————————————————
vimstart-yarn.sh
在#!
/usr/bin/envbash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
：
wq
—————————————4—————————————————————————vimstop-yarn.sh
在#!
/usr/bin/envbash后面按i回车
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
：
wq
——————————————————————————————————————start-dfs.sh
回车
jps
测评
升级会员 