Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

资源描述

Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx》由会员分享，可在线阅读，更多相关《Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx（24页珍藏版）》请在冰点文库上搜索。

Cloudera大数据平台环境搭建CDH5131傻瓜式说明书.docx

Cloudera大数据平台环境搭建CDH5131傻瓜式说明书

Cloudera大数据平台环境搭建

（版）

版本

作者

郭维忠

发布日期

2018-03-10

Cloudera大数据平台环境搭建错误!

未定义书签。

（版）错误!

未定义书签。

1.基础环境.错误!

未定义书签。

.软件环境错误!

未定义书签。

.配置规划错误!

未定义书签。

.所需要的软件资源错误!

未定义书签。

.修改机器名（所有节点）错误!

未定义书签。

.设置防火墙（所有节点）错误!

未定义书签。

.配置免密码登录SSH错误!

未定义书签。

.关闭SELINUX（所有节点）错误!

未定义书签。

.修改Linux内核参数（所有节点）.错误!

未定义书签。

.其他安装与配置（所有节点）错误!

未定义书签。

.配置NTP服务错误!

未定义书签。

.安装oracle（所有节点）错误!

未定义书签。

.Mysql安装（主节点）错误!

未定义书签。

2.安装CM错误!

未定义书签。

.传包，解包错误!

未定义书签。

.创建数据库错误!

未定义书签。

.创建用户错误!

未定义书签。

.制作本地YUM源错误!

未定义书签。

.拷贝jar包错误!

未定义书签。

.修改cloudera-scm-agent配置错误!

未定义书签。

.启动CMServer和Agent错误!

未定义书签。

.访问CM错误!

未定义书签。

3.安装CDH错误!

未定义书签。

.登录后界面错误!

未定义书签。

.选择CM版本错误!

未定义书签。

.指定主机错误!

未定义书签。

.选择CDH版本错误!

未定义书签。

出现“主机运行状态不良”错误错误!

未定义书签。

.检查主机正确性错误!

未定义书签。

.选择安装的服务错误!

未定义书签。

.角色分配错误!

未定义书签。

.数据库设置错误!

未定义书签。

测试连接报错：

错误!

未定义书签。

.群集设置错误!

未定义书签。

.开始安装错误!

未定义书签。

.安装完成错误!

未定义书签。

警告信息：

错误!

未定义书签。

4.常见错误.错误!

未定义书签。

.初始化数据库错误：

错误!

未定义书签。

.未能连接到HostMonitor错误!

未定义书签。

1.基础环境

1.1.软件环境

本文将介绍离线安装CDH和ClouderaManager过程，软件版本如下：

NO.

软件名称

版本

操作系统

64位

JDK

jdk-8u151-linux-x64

ClouderManager

数据库

Mysql

JDBC

1.2.配置规划

本次安装共5台服务器，服务器配置及用途如下：

NO.

机器名称

内网IP

配置

用途

node168

主，CM，MysqlDB

node169

从

node170

从

node171

从

node172

从

1.3.所需要的软件资源

1）JDK环境：

JDK版本：

2）下载地址：

包：

CM版本：

3）下载地址：

包

CDH版本：

，

下载地址：

4）连接jar包：

jar包版本：

，下载地址：

1.4.修改机器名（所有节点）

1）修改机器名称

#hostnamectlset-hostnamexxx

2）

sh/root@node169:

sh下，如果没有可以新建）

#cat>>~/.ssh/authorized_keys

如果提示下面信息，则需要创建./ssh目录：

-bash:

/root/.ssh/authorized_keys:

Nosuchfileordirectory

sh目录,再追加公钥内容

#mkdir~/.ssh

#cat>>~/.ssh/authorizedkeys

并设置authorized_keys的访问权限：

#chmod600~/.ssh/authorizedkeys

测试：

在node168点上执行sshnode169，正常情况下，不需要密码就能直接登陆进去了。

在node168节点出现下面表示成功登录node169节点：

以同样的方式将公钥拷贝至其他节点服务器上。

1.5.关闭SELINUX（所有节点）

关闭linuxSELINUX安全内核

#setenforce0

临时生效）

#vi/etc/selinux/config

内容增加：

SELINUX=disabled

重启后生效：

#reboot

查看SELINUX是否关闭：

#sestatus

在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

1.6.修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。

1）设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为10：

4）

5）

6）

7）

1）

4）

toroot@localhostidentifiedby'root'withgrantoption;

grantallon*.*toroot@"%"Identifiedby"root";

flushprivileges;

exit;

root（?

nodel68parcel-repo]#11

oral1888980

rw-r—r一1rootroot1934231261Mar2717:

34CDH-5.13.1-1.cdh5.13.1.pO.2-el7.parcel

rw-r—r—1rootroot41Mar2717:

34CDH-5.13.1-1.cdh5.13.1.pO.2-el7.parcel.sha

rw-r—r--1rootroot73766Mar2717:

34manifest・json

root（?

nodel68parcel-repo]#.

cloucteramanager

欢迎便用CkxxleraMonagerMM诃仙uft侣

Cte««r»8t*MrdlKme

V«tm>i»IWW6

ENDUS0IUCZM20M5“OOOCUIONS

TK»KRMSAHOCOMOIT）C«（W€5fTimtSDAPR.VTOVO.RUK（XTHfRKDUCTS心CfPhfDBROW）Am«€0列dOX€^^M（T10lC€«An

PlfABfVADTX!

fTRIMSCARTFULIY

irWUr^QiraiXlHTQMSr）FtAMTOJ«MererY»cVUC9JCTXOMtm«l/QtACC«m»MVM0THDItMHTXVQUttFWnmfIHMWUMRTXtwtovttQ«AG0TorsuerccwMtrrq*omearwr-rv;a>apjs/rrtcaltthwtytcacuftAiiorne化《•«andcoN^noitssrrrowwmanAcctprrentcutST；as:

etweo0aOW）AMDrH8lT（IM（COli（C1IVHVJM/“HtflMnCM.MU0a>CQMMn<005H（・WT¥1

8vuimoMarxMooucra»eu«ocmo«i（m（amoao«（that

（A.vOUHMftfADALLOFKTUM>MICO«lCnIO«0€T«M；（€£M£NI

qwVOU^OHBTMCMlOFtmrtflimAMSCOIMEMS0*TNBAJilTfMtMT.

（oyou*cwrrm«rire*vrnoummallorrxTrwswccwxTOhssnLcwmrimx»rrxNT

lF^UK>N0T*3«KiiWMAWV0fTM（TfAulQAC0N»T）0MOFTVl«TU«AX*«THfmKXTt

欢迎使用ClouderaManager

也0*硒•个版本?

UClMtersEnlv*n»>MR*CT^W»*5*^Mr*«5J

Clover*Ecprecs

CtouderaEnterpns^Cloudtrstnt«rpns«

CkxxtoraEnMcpnse

卉可ii

5XWZC；衣FCMMP

左.:

迂再甘

«WTUVW

•1砂・

•FlwEmcn

•OcoXifcmwcm*

XflIM

SBM

COH

Cleudore

—

CleudvaKUnoger爲製功繼

CloudvaNedQ«to<

CloudvaNaviQstocMyTrviut

Cloud^iAM

•>«dr»爲rcumUt.«Monwz«nw»>*wrr.

感谢您选择ClouderaManager和CDH.

•4ehe%m»«w\XDE.JgzVMNI

•Ap*cMHRim

•SkCMSAM"

•A^KtM0（M>»

•/pachaHnra

•Hu.{esAwcu^>

./^achaFUiM

•C]ai«i»r»irr^aia<巧Aaaeh*I

•QeZMfy

.^•cheSqcop

•Ckvikr#3e»Kh<眸耳釣ApecheI

•4oh»S（4

eiw®a°4.hiqkbsm.切r以y耳・7■更■割黄csu«.

>«•f*oc«

•^xterMOtwWt^S>«Mv）Cf

・JwixwrXlM*rm*<*C?

■JDK（3

ckxxJeramahkger

为cDH«nc安商定主机.

■T<\i«WnFrt：

s«mw^*www-r«n€^ifqomi仝忑.

C3S>a*Doettor.Mw-9-Ro9>皿仝IgUF尢3

■■«•*Otaxr^icPBtt.

I-oit<•*1-；

OSO

冬*

qmKMilhNoyvrnMdooCBe

■*nve»i6MMin3iOcrBoociszs〉e

W“2nmoYvtn39vegBoxowra^ogz/grMnx>ve

里KjfefMX）U<*（Ltlfil上•"2K七僅

"“IitM»ll4FM（D•

i"$wp

L0畑尸叫W*.

OUM4I*OUW

MS玄XMUH如昨JU・・・±・《t齐化旦

K»QgTV8M»：

V»

l*a*HM2MI

“Wl

»»410D^9

f*砂

UlElZ/l

s”>»鼻

*•R4Z

—9a»・

uins

*时fc

ituuioure

kiw»»

*40W

MlOlUi

«4«wt»

冬

r>i■*tt«

EW■

•

f•«

皿昕|

MNI.

Y>♦

•■g•

w•

MV?

広•”于FW・9王・

•IA^8K5^#«HOOQ（

vCSM•«•••••<«>•gtf

•W7«^m.

•rvwtog

•ATXWWA.―巾

•*wxnr«a.iE

.3«rwuwa.7山

BrH>

000

止AfrimrPBfoei

■»na、■“foxuu

群矢安装

ttid

・・

・bc«»M«Hf^iIt?

04«.

・0UR.W〈2fW>・

・ym”r—

・恢90十・乙”《”—・

—mIRXtO，K*jstf»X«KK.

o玄in私化

o己yctw•内2•叙哄*

*•©cw<.•M±

-w^ca«ttfc*^«Mi£R^Escmait»t・

“・1日丘三<»*«二一55）十”・

・*e>g^WCDU^nCw»€・■

・年Hewg*w«・^?

・a«w

时汇8

CW«

Hk.V««N<■MaHlic.J}.TM^^r,GM,2«1

AUeraiWt

HETS.V«flN<*Mas«ie・J}.Xoc&Mpar.OeoM.t««.Hue如3

ASpviWHC

m.VM>N（•KAaMHe*J》.QeoM.»♦*.HueSpartc

HOS.《・MaWie•卄.Qeato.ttve.Hue.HBm>.»nM«.Sdi.«]SVaUeMmHd«i

杓C

Cto«w.s^rro..写fKb可D书fc3.Hit.

群集设IS

且定义角色分配

处R仝乂"血她沁.心C•分*不正.{WC.分也机上的H色E.Wf穷ME料那gWWJKJt刘己卯仝R邑段*样2至机SftCkxjderaT■0决交分”Q

NHBase

口心

Qre««

口:

阳・xT"2vr■1-HI

CJ|Reg"Swfr・4Vi*

noctelftS

nodelOO・

fWctelTO・

与DmMod•咱月・

QMDFS

LjNamdSoda*1

EZ3Sdoonddry«iim«Nod«•

1«0t

ElB^Unc“■

dHEtpFS■1Mt

node168

node，70・

nzbFsgE■i时1

£3OeKaNode«4&HK

nodolbO*

201121721.

&Hive

EiGatewy■5iRtt

LZ]M«a«oceServer■

1*itt

Z2WcbHQrtSemr

dlHveSeng■1

nodHW^172|

nodelOO

MxU

nockioe

小X*

QHu»S«v««1mtt

E33dB4wM

nodeUS

yInoek

u««w»nwi»^MQgn・«>rmmtm#«swnu«ow«mm口•・

£S

群集设還

咖際"

伍6QHSX疔今.■先耐比3创m3V&C^ImuBi^・dCW^

M,y*V9uetM»M

nw£ms»•

fUMM•

raps•

>xde168

M>5QL

■

ht»e

ro«

root

AcbvityMondor

MttC力他no4t!

M上却.

UM1愧名鼻•

M*«T

ItVMKW・

mns•

Z（68

MvSOL

■

morwto-

root

OozieServer

rW»1M±J^7.

M«feww•

IN・t热岭：

•

mp«：

•W:

riufolM

M>$Ol

■

root

Hue

7Suc+Z

MUC扑gr・

MUC8.：

宾修：

•

用戶册

•«：

r>tttol68

MySOl

■

hue

root

Bit

•tttMMT初董UEEM■匝7•:

»«n

•认・a名行*5用■»主机各存杠包wmasdu.

•矗色丈■■于曰-雯机上・

ooaaQQ

««

rootdir

MfWHM・5l

AIWWIM

Wr«pHc«tM>n

•wr.3人小

afa.Uock・u»dfsbk»c>（aAM

♦Cluvte*1»尸th>・>（I•才0D）f

■CluMr1•Ma»（OMTrx.f

XU»Z—nMH«

“0.83

亠.■a■“

carter1•MOTS<）

血Iw■

CkMtw1■D“》N&qCW«M»1

C*»^te<1•D«i»N8qOef«vnO*oe•>

）0®

CMmH・・I■Na«neN*tf«OeteaHU*ou*»**/dai«/df«/nr>

|曰田

c*wcl^oEd

CM•计I•Sec^yF4t.n^NeOe««s»vOoupJ|«d«1a*df・yrvn

Ie®

>4mA

■yMeteor■仃t»v«*TXtM»tor«port

d・Q・.I■Mrve4・・《oeServwfgup

*KM1

叭|MAeO»emgnM<3B*

vm:

■主

Cx^te*1*Ooc-wxx*C>e<«uirGfoofani令**

_|e®

■“:

fE・Hi"

AJ«rtrubltetwrO»f«uitOrowpyzx

A*e»1AublfhLCX^uttOrovp

■茫-

•I

Al*rlP^hlt*h»«CWauIVOf««n

UUfaJCJUO

苗第设頁

C上0e

flritRunoftfwfollowingsar«KM>xcessfully；2o««M0«r.kDFS.Mas.Sole.YS|ZIncluded>.K^y-valu*Stor®Ind*x#r.Sp^rk.w,E・Inp«19Oorlf.Hue.HwM9««e*tWrvic*.

y匕祁WyHH只2个人

•$howJUl9（f4US^owOnly"心S^P»•SlwO^rRixvimjStepe

OIf"••xpedatf・*・・2^mwsarw««t>Bedonhovla

ec^ttitt*.

O正DW»Q3IMCiM*•心

taccmfullrdeplvyH>11cliertc^fivjratiort.

3月如24S上H

3B»H»46±^

41iTW

ie<7»

0色动gxte^Se

曲焙貝ztMi-

Jfi»W02±*

2497«

Oa^KMS

"临氏1!

-«••

'月如,527上・

3992>

OGL3"Kt2tr«-

•胃如207上工

34«•

0耐.LYAAN|*7・W]已■烦农2tMI-

，目如23上・

27tU

O启EMec^Kif«i-

9內如•上•

3202*

己疾11^9・

M3M6&上*

44”

oe®ii・o«we««K2回.

jRmtlOWX*

44BU

3月SQtllllJH5

2338e

，个T・

io••&i

■aex*

••・

•3k*

ctouderiman«r

所有土机

.[PF

>A«>nm

>■•（!

«*）>■«（««»）>ar«x>«■

【as"

mtu・

MW®

SAO

.曙

carMan

♦WMirnvew

■tty*«nwri

onttuwe*

»・w「

■z«

■eMMMeWB

•JC

*W9B

nM*onsM

，•心m

IIIU

ati

■・O0

$gy

UMFM

HIM

•n

IVOB

•IM.*・《9・

ASJTI

ItIM

•M

»MdS

iHt.MMite

umrne

HIM

•MIO««

n>M>・・,■

”SJUS

ia（tM

ft*

IHSttMMl■各财•

4・.l0My^qi^rnnFrg-For-«*J!

u・:

•TMs1$forasystemwithlittlew»cry（32w・mm）wtweMySQtplays

tjninportjntpart9ortystovsuptoX2BwuhoroMy^Quu&odtogothorwith■otherprogram（suchqawebserver）

•

#rysouproyarfelookforoptionriles1naseiof

#locallomuhlchdependonthedepluytientplatforti.

"roui初copythisoptionf1toonwofxhos*

“locations・forinforiMTionabouttheselocations・se«:

“http:

//dev・«ysaT・•mysql^enopricxfiles.hrrwl

*Tnthisfile.youcanusealllongof>tionsthataprogra

展开阅读全文