GPFS安装实施和维护Word格式.docx

GPFS安装实施和维护Word格式.docx

《GPFS安装实施和维护Word格式.docx》由会员分享，可在线阅读，更多相关《GPFS安装实施和维护Word格式.docx（27页珍藏版）》请在冰点文库上搜索。

Metadataonly:

只存储文件系统中的目录结构inode信息。

Metaanddata:

存储所有信息（默认）。

•GPFS文件设备

GPFS设备是一个可被系统挂载的文件设备，由NSD创建而成，可以并行的同时挂载在多个节点上。

•连接模式：

如下图

将存储LUN/disk配置映射到GPFS集群节点

–依据系统需求的不同，disk连接拓扑可能会有差异

▪SAN存储模式是将所有节点直接映射到所有节点

▪NSD模式只需由作为NSDServer的节点链接disk

混合模式可以是部分节点直接连接存储，部分做为NSDClient，它们通过NSDServer，通过IP网络进行IO访问（NetworkBlockIO）

1.3GPFS的优势

•高性能

GPFS允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。

通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。

•跨平台设计

GPFS支持在一个集群内加入异构的平台。

支持异构的硬件环境：

Systemp,Systemx。

支持异构的操作系统：

AIX,Linux。

•数据一致性

GPFS通过一套复杂的信令管理机制提供数据一致性。

通过这套机制允许任意节点通过各自独立的路径到达同一个文件。

即使节点无法正常工作，GPFS也可以找到其它的路径。

•数据安全性

GPFS是一种日志文件系统，为不同节点建立各自独立的日志。

日志中记录metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。

GPFS的fail-over功能通过规划，将数据分布到不同failuregroup内达到高可用性，减少单点故障的影响。

为了保证数据可用性，GPFS在多个failuregroup内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS也会自动在不同的failuregroup内复制恢复日志。

•系统可扩展性

通过GPFS，系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。

系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。

可以在不重新启动GPFS服务情况下添加新节点。

•管理简单

GPFS自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对GPFS的管理可以在任一个节点上进行。

2.GPFS安装配置步骤

2.1GPFS安装准备

安装GPFS之前必须配置：

-存储到IBMP系列主机

-并且安装多路径软件包中存储的高可用

-访问配置

修改所有机器的/etc/hosts,将以下行加入，使得机器之间互相能解析主机名。

/etc/hosts

#gpfsstart

192.168.0.62gpfs1

192.168.0.63gpfs2

10.66.5.51App1

10.66.5.52App2

10.66.5.53App3

10.66.5.54App4

#gpfsend

-建立主机的信任关系（使用.rhosts）

修改所有服务器的/.rhosts,将2个NSD服务器主机名加入

/.rhosts

gpfs1root

gpfs2root

2.2GPFS软件的安装

A.GPFS软件放在目录：

/tmp/gpfsins

.tocgpfs.basegpfs.docs.datagpfs.gnrgpfs.msg.en_US

B.升级包放到：

/tmp/gpfsins/up下GPFS-3.5.0.26-power-AIX.tar.gz并用解压命令解压：

gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-xvf-输出：

#gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-vxf-

xchangelog,2518bytes,5mediablocks.

xREADME,3832bytes,8mediablocks.

xU860137.gpfs.docs.data.bff,926720bytes,1810mediablocks.

xU869521.gpfs.msg.en_US.bff,201728bytes,394mediablocks.

xU869771.gpfs.base.bff,50028544bytes,97712mediablocks.

xU869772.gpfs.gnr.bff,98106368bytes,191614mediablocks.

#ls

U860137.gpfs.docs.data.bffU869771.gpfs.base.bffchangelog

READMEU869521.gpfs.msg.en_US.bffU869772.gpfs.gnr.bff

C.通过SMIT安装命令进行安装和升级

#smittyinstallp进入软件安装菜单输出：

#lslpp-lgpfs*

FilesetLevelStateDescription

----------------------------------------------------------------------------

Path:

/usr/lib/objrepos

gpfs.base3.5.0.3COMMITTEDGPFSFileManager

gpfs.gnr3.5.0.3COMMITTEDGPFSNativeRAID

gpfs.msg.en_US3.5.0.3COMMITTEDGPFSServerMessages-U.S.

English

/etc/objrepos

/usr/share/lib/objrepos

gpfs.docs.data3.5.0.3COMMITTEDGPFSServerManpagesand

Documentation

#smittyupdate_all进入软件升级菜单输出

gpfs.base3.5.0.26COMMITTEDGPFSFileManager

gpfs.gnr3.5.0.22COMMITTEDGPFSNativeRAID

gpfs.msg.en_US3.5.0.22COMMITTEDGPFSServerMessages-U.S.

gpfs.docs.data3.5.0.4COMMITTEDGPFSServerManpagesand

D.成功的安装完GPFS之后，运行命令

#lslpp-l|grepgpfs*

列出如下所示输出：

同上

E.添加/etc/environment的执行路径：

/usr/lpp/mmfs/bin

修改MM*路径

编辑每台机器/etc/environment文件，在PATH字段加入mmfs路径

PATH=/usr/bin:

/etc:

/usr/sbin:

/usr/ucb:

/usr/bin/X11:

/sbin:

/usr/java5/jre/bin:

/usr/java5/bin:

/usr/lpp/mmfs:

/usr/lpp/mmfs/sbin:

3.创建GPFS心跳地址

注：

若条件允许，则GPFS心跳地址可单独设置在任一网卡接口上。

[root@Lpar1:

/]smittytcpip

*HOSTNAME[gpfs1]

*InternetADDRESS（dotteddecimal）[10.10.10.1]

NetworkMASK（dotteddecimal）[255.255.255.0]

*NetworkINTERFACEen3

NAMESERVER

InternetADDRESS（dotteddecimal）[]

DOMAINName[]

DefaultGateway

Address（dotteddecimalorsymbolicname）[]

Cost[]

DoActiveDeadGatewayDetection?

No

YourCABLETypeN/A

STARTNowno

[root@Lpar2:

*HOSTNAME[gpfs2]

*InternetADDRESS（dotteddecimal）[10.10.10.2]

/]cat/etc/hosts

#192.168.1.140LPAR1

#192.168.1.141LPAR2

10.10.10.1LPAR1

10.10.10.2LPAR2

可将hosts中其它IP暂时注释，只保留GPFS心跳地址，因为创建GPFS集群时会解析到

其它地址，待mmcrcluster这步后再恢复正常

4.配置GPFS集群

4.1配置节点文件

vi/tmp/gpfs/nodefile

gpfs1:

quorum

gpfs2:

或：

/]mkdir/usr/lpp/mmfs

/]vi/usr/lpp/mmfs/nodefile

manager-quorum

尽量用第一种方法，后面的采用多个Tiebreakerquorum盘才能生效

1、一个集群中至少需要一个仲裁（quorum）节点，当一个集群中的仲裁节点少于一半，GPFS将无法启动。

2、一个集群中，建议至少要有个一主一备的配置信息服务器。

4.2建立GPFS集群（这一步必须重启两台服务器才能执行此命令）

主管理者gpfs1同时将其作为quorum和manager节点。

先确保清理干净原先GPFS集群

#mmdelnode-f

#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2

#mmcrcluster-Cedin-Ubgbc-N/tmp/gpfs/nodefile-pgpfs1-sgpfs2

#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2

MonOct1904:

47:

00CST2015:

6027-1664mmcrcluster:

Processingnodegpfs1

02CST2015:

Processingnodegpfs2

mmcrcluster:

Commandsuccessfullycompleted

6027-1254Warning:

NotallnodeshaveproperGPFSlicensedesignations.

Usethemmchlicensecommandtodesignatelicensesasneeded.

6027-1371Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

其中参数含义

-Cbgbcrun设定集群名称

-Ubgbc定义域名

-N/tmp/gpfs/nodefile指定节点文件名

-pgpfs1指定主NSD服务器为gpfs1

-sgpfs2指定备NSD服务器为gpfs2

4.3确认查看GPFS集群（显示）

#mmlscluster

===============================================================================

|Warning:

|

|ThisclustercontainsnodesthatdonothaveaproperGPFSlicense|

|designation.ThisviolatesthetermsoftheGPFSlicensingagreement.|

|UsethemmchlicensecommandandassigntheappropriateGPFSlicenses|

|toeachofthenodesinthecluster.FormoreinformationaboutGPFS|

|licensedesignation,seetheConcepts,Planning,andInstallationGuide.|

GPFSclusterinformation

========================

GPFSclustername:

edin.gpfs1

GPFSclusterid:

626162854032311620

GPFSUIDdomain:

Remoteshellcommand:

/usr/bin/rsh

Remotefilecopycommand:

/usr/bin/rcp

GPFSclusterconfigurationservers:

-----------------------------------

Primaryserver:

gpfs1

Secondaryserver:

gpfs2

NodeDaemonnodenameIPaddressAdminnodenameDesignation

--------------------------------------------------------------------

1gpfs1192.168.0.62gpfs1quorum-manager

2gpfs2192.168.0.63gpfs2quorum-manager

4.4激活GPFS授权

#mmchlicenseserver--accept-Ngpfs1,gpfs2

ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:

mmchlicense:

激活后将看不到关于License的警告信息

5配置GPFS的共享盘

5.1建立NSD（NetworkSharedDisk）文件:

#vinsdfile

hdisk1:

dataAndMetadata:

:

cddisk1

hdisk2:

cddisk2

hdisk3:

cddisk3􀁺

5.2生成NSD盘

#mmcrnsd-F/usr/lpp/mmfs/nsdfile

mmcrnsd:

Processingdiskhdisk1

Processingdiskhdisk2

Processingdiskhdisk3

此时，该文件作了转换catnsdfile

#catnsdfile

#hdisk1:

cddisk1:

-1:

system

#hdisk2:

cddisk2:

#hdisk3:

cddisk3

cddisk3:

5.3确认结果

lspv|grepgpfs

hdisk100f64935c14a9e3dcddisk1

hdisk2nonecddisk2

hdisk3nonecddisk3

5.4启动GPFS系统

mmstartup-a

ThuJun1615:

52:

12BEIST2009:

6027-1642mmstartup:

StartingGPFS...

bfts1:

6027-2114TheGPFSsubsystemisalreadyactive.

bfts2:

􀁺

确认状态

#mmgetstate-a

NodenumberNodenameGPFSstate

------------------------------------------

1gpfs1active

2gpfs2active

root@LPAR1:

/]#mmgetstate–aL–s

-a所有节点

-