GPFS安装实施和维护.docx
《GPFS安装实施和维护.docx》由会员分享，可在线阅读，更多相关《GPFS安装实施和维护.docx（27页珍藏版）》请在冰点文库上搜索。
GPFS安装实施和维护
伊迪艾电脑科技（中国）有限公司
AIX下GPFS安装配置及维护
邹旭
1.概述
1.1IBMGPFS功能介绍
GPFS（GeneralParallelFileSystem）是IBM公司第一个共享文件系统，起源于IBMSP系统上使用的虚拟共享磁盘技术（VSD）。
作为这项技术的核心，GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。
而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。
GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。
它提供了许多标准的UNIX文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。
GPFS也支持UNIX文件系统的工具，即：
用户可以像使用普通文件系统一样使用基于GPFS的文件系统，唯一不同的在于管理GPFS文件系统的命令。
GPFS提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点属于同一个节点组）上的并行应用同时访问同一个文件者不同的文件。
1.2GPFS体系架构介绍
GPFS文件系统基本上由三层架构组成：
磁盘，网络共享磁盘（NSD），GPFS文件设备，如下图所示。
•磁盘
GPFS文件系统最底层的是物理磁盘设备。
原则上可以采用系统上任何块设备，包括磁盘，磁盘分区，逻辑卷。
从物理连接上来看，GPFS支持使用所有方式连接的磁盘。
包括本地IDE磁盘，本地SCSI磁盘，光纤SAN磁盘，iSCSI磁盘，等等。
•网络共享磁盘（NSD）
NSD是由磁盘映射出来的虚拟设备，NSD与磁盘是一一对应的关系。
NSD被标记了不同性来区分其用途，我们可以将磁盘标记为4种用途：
DescOnly：
只存储GPFS文件系统描述信息的磁盘。
DataOnly：
只存储文件系统中的数据信息。
Metadataonly:
只存储文件系统中的目录结构inode信息。
Metaanddata:
存储所有信息（默认）。
•GPFS文件设备
GPFS设备是一个可被系统挂载的文件设备，由NSD创建而成，可以并行的同时挂载在多个节点上。
•连接模式：
如下图
将存储LUN/disk配置映射到GPFS集群节点
–依据系统需求的不同，disk连接拓扑可能会有差异
▪SAN存储模式是将所有节点直接映射到所有节点
▪NSD模式只需由作为NSDServer的节点链接disk
混合模式可以是部分节点直接连接存储，部分做为NSDClient，它们通过NSDServer，通过IP网络进行IO访问（NetworkBlockIO）
1.3GPFS的优势
•高性能
GPFS允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。
通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。
•跨平台设计
GPFS支持在一个集群内加入异构的平台。
支持异构的硬件环境：
Systemp,Systemx。
支持异构的操作系统：
AIX,Linux。
•数据一致性
GPFS通过一套复杂的信令管理机制提供数据一致性。
通过这套机制允许任意节点通过各自独立的路径到达同一个文件。
即使节点无法正常工作，GPFS也可以找到其它的路径。
•数据安全性
GPFS是一种日志文件系统，为不同节点建立各自独立的日志。
日志中记录metadata的分布，一旦节点发生故障后，可以保证快速恢复数据。
GPFS的fail-over功能通过规划，将数据分布到不同failuregroup内达到高可用性，减少单点故障的影响。
为了保证数据可用性，GPFS在多个failuregroup内为每个数据实例做备份，即使创建文件系统时没有要求复制，GPFS也会自动在不同的failuregroup内复制恢复日志。
•系统可扩展性
通过GPFS，系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。
系统处于相对空闲时，用户可以在已配置的硬盘上重新均衡文件系统以提高吞吐量。
可以在不重新启动GPFS服务情况下添加新节点。
•管理简单
GPFS自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对GPFS的管理可以在任一个节点上进行。
2.GPFS安装配置步骤
2.1GPFS安装准备
安装GPFS之前必须配置：
-存储到IBMP系列主机
-并且安装多路径软件包中存储的高可用
-访问配置
修改所有机器的/etc/hosts,将以下行加入，使得机器之间互相能解析主机名。
/etc/hosts
#gpfsstart
192.168.0.62gpfs1
192.168.0.63gpfs2
10.66.5.51App1
10.66.5.52App2
10.66.5.53App3
10.66.5.54App4
#gpfsend
-建立主机的信任关系（使用.rhosts）
修改所有服务器的/.rhosts,将2个NSD服务器主机名加入
/.rhosts
gpfs1root
gpfs2root
2.2GPFS软件的安装
A.GPFS软件放在目录：
/tmp/gpfsins
.tocgpfs.basegpfs.docs.datagpfs.gnrgpfs.msg.en_US
B.升级包放到：
/tmp/gpfsins/up下GPFS-3.5.0.26-power-AIX.tar.gz并用解压命令解压：
gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-xvf-输出：
#gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-vxf-
xchangelog,2518bytes,5mediablocks.
xREADME,3832bytes,8mediablocks.
xU860137.gpfs.docs.data.bff,926720bytes,1810mediablocks.
xU869521.gpfs.msg.en_US.bff,201728bytes,394mediablocks.
xU869771.gpfs.base.bff,50028544bytes,97712mediablocks.
xU869772.gpfs.gnr.bff,98106368bytes,191614mediablocks.
#ls
U860137.gpfs.docs.data.bffU869771.gpfs.base.bffchangelog
READMEU869521.gpfs.msg.en_US.bffU869772.gpfs.gnr.bff
C.通过SMIT安装命令进行安装和升级
#smittyinstallp进入软件安装菜单输出：
#lslpp-lgpfs*
FilesetLevelStateDescription
----------------------------------------------------------------------------
Path:
/usr/lib/objrepos
gpfs.base3.5.0.3COMMITTEDGPFSFileManager
gpfs.gnr3.5.0.3COMMITTEDGPFSNativeRAID
gpfs.msg.en_US3.5.0.3COMMITTEDGPFSServerMessages-U.S.
English
Path:
/etc/objrepos
gpfs.base3.5.0.3COMMITTEDGPFSFileManager
Path:
/usr/share/lib/objrepos
gpfs.docs.data3.5.0.3COMMITTEDGPFSServerManpagesand
Documentation
#smittyupdate_all进入软件升级菜单输出
#lslpp-lgpfs*
FilesetLevelStateDescription
----------------------------------------------------------------------------
Path:
/usr/lib/objrepos
gpfs.base3.5.0.26COMMITTEDGPFSFileManager
gpfs.gnr3.5.0.22COMMITTEDGPFSNativeRAID
gpfs.msg.en_US3.5.0.22COMMITTEDGPFSServerMessages-U.S.
English
Path:
/etc/objrepos
gpfs.base3.5.0.26COMMITTEDGPFSFileManager
Path:
/usr/share/lib/objrepos
gpfs.docs.data3.5.0.4COMMITTEDGPFSServerManpagesand
Documentation
D.成功的安装完GPFS之后，运行命令
#lslpp-l|grepgpfs*
列出如下所示输出：
同上
E.添加/etc/environment的执行路径：
/usr/lpp/mmfs/bin
修改MM*路径
编辑每台机器/etc/environment文件，在PATH字段加入mmfs路径
PATH=/usr/bin:
/etc:
/usr/sbin:
/usr/ucb:
/usr/bin/X11:
/sbin:
/usr/java5/jre/bin:
/usr/java5/bin:
/usr/lpp/mmfs:
/usr/lpp/mmfs/sbin:
/usr/lpp/mmfs/bin
3.创建GPFS心跳地址
注：
若条件允许，则GPFS心跳地址可单独设置在任一网卡接口上。
[root@Lpar1:
/]smittytcpip
*HOSTNAME[gpfs1]
*InternetADDRESS（dotteddecimal）[10.10.10.1]
NetworkMASK（dotteddecimal）[255.255.255.0]
*NetworkINTERFACEen3
NAMESERVER
InternetADDRESS（dotteddecimal）[]
DOMAINName[]
DefaultGateway
Address（dotteddecimalorsymbolicname）[]
Cost[]
DoActiveDeadGatewayDetection?
No
YourCABLETypeN/A
STARTNowno
[root@Lpar2:
/]smittytcpip
*HOSTNAME[gpfs2]
*InternetADDRESS（dotteddecimal）[10.10.10.2]
NetworkMASK（dotteddecimal）[255.255.255.0]
*NetworkINTERFACEen3
NAMESERVER
InternetADDRESS（dotteddecimal）[]
DOMAINName[]
DefaultGateway
Address（dotteddecimalorsymbolicname）[]
Cost[]
DoActiveDeadGatewayDetection?
No
YourCABLETypeN/A
STARTNowno
[root@Lpar2:
/]cat/etc/hosts
#192.168.1.140LPAR1
#192.168.1.141LPAR2
10.10.10.1LPAR1
10.10.10.2LPAR2
注：
可将hosts中其它IP暂时注释，只保留GPFS心跳地址，因为创建GPFS集群时会解析到
其它地址，待mmcrcluster这步后再恢复正常
4.配置GPFS集群
4.1配置节点文件
vi/tmp/gpfs/nodefile
gpfs1:
quorum
gpfs2:
quorum
或：
[root@Lpar2:
/]mkdir/usr/lpp/mmfs
[root@Lpar2:
/]vi/usr/lpp/mmfs/nodefile
gpfs1:
manager-quorum
gpfs2:
manager-quorum
尽量用第一种方法，后面的采用多个Tiebreakerquorum盘才能生效
注：
1、一个集群中至少需要一个仲裁（quorum）节点，当一个集群中的仲裁节点少于一半，GPFS将无法启动。
2、一个集群中，建议至少要有个一主一备的配置信息服务器。
4.2建立GPFS集群（这一步必须重启两台服务器才能执行此命令）
主管理者gpfs1同时将其作为quorum和manager节点。
先确保清理干净原先GPFS集群
#mmdelnode-f
#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2
#mmcrcluster-Cedin-Ubgbc-N/tmp/gpfs/nodefile-pgpfs1-sgpfs2
#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2
MonOct1904:
47:
00CST2015:
6027-1664mmcrcluster:
Processingnodegpfs1
MonOct1904:
47:
02CST2015:
6027-1664mmcrcluster:
Processingnodegpfs2
mmcrcluster:
Commandsuccessfullycompleted
mmcrcluster:
6027-1254Warning:
NotallnodeshaveproperGPFSlicensedesignations.
Usethemmchlicensecommandtodesignatelicensesasneeded.
mmcrcluster:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
其中参数含义
-Cbgbcrun设定集群名称
-Ubgbc定义域名
-N/tmp/gpfs/nodefile指定节点文件名
-pgpfs1指定主NSD服务器为gpfs1
-sgpfs2指定备NSD服务器为gpfs2
4.3确认查看GPFS集群（显示）
#mmlscluster
===============================================================================
|Warning:
|
|ThisclustercontainsnodesthatdonothaveaproperGPFSlicense|
|designation.ThisviolatesthetermsoftheGPFSlicensingagreement.|
|UsethemmchlicensecommandandassigntheappropriateGPFSlicenses|
|toeachofthenodesinthecluster.FormoreinformationaboutGPFS|
|licensedesignation,seetheConcepts,Planning,andInstallationGuide.|
===============================================================================
GPFSclusterinformation
========================
GPFSclustername:
edin.gpfs1
GPFSclusterid:
626162854032311620
GPFSUIDdomain:
edin.gpfs1
Remoteshellcommand:
/usr/bin/rsh
Remotefilecopycommand:
/usr/bin/rcp
GPFSclusterconfigurationservers:
-----------------------------------
Primaryserver:
gpfs1
Secondaryserver:
gpfs2
NodeDaemonnodenameIPaddressAdminnodenameDesignation
--------------------------------------------------------------------
1gpfs1192.168.0.62gpfs1quorum-manager
2gpfs2192.168.0.63gpfs2quorum-manager
4.4激活GPFS授权
#mmchlicenseserver--accept-Ngpfs1,gpfs2
ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:
gpfs1
gpfs2
mmchlicense:
Commandsuccessfullycompleted
mmchlicense:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
激活后将看不到关于License的警告信息
#mmlscluster
GPFSclusterinformation
========================
GPFSclustername:
edin.gpfs1
GPFSclusterid:
626162854032311620
GPFSUIDdomain:
edin.gpfs1
Remoteshellcommand:
/usr/bin/rsh
Remotefilecopycommand:
/usr/bin/rcp
GPFSclusterconfigurationservers:
-----------------------------------
Primaryserver:
gpfs1
Secondaryserver:
gpfs2
NodeDaemonnodenameIPaddressAdminnodenameDesignation
--------------------------------------------------------------------
1gpfs1192.168.0.62gpfs1quorum-manager
2gpfs2192.168.0.63gpfs2quorum-manager
5配置GPFS的共享盘
5.1建立NSD（NetworkSharedDisk）文件:
#vinsdfile
hdisk1:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk1
hdisk2:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk2
hdisk3:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk3
5.2生成NSD盘
#mmcrnsd-F/usr/lpp/mmfs/nsdfile
mmcrnsd:
Processingdiskhdisk1
mmcrnsd:
Processingdiskhdisk2
mmcrnsd:
Processingdiskhdisk3
mmcrnsd:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
此时，该文件作了转换catnsdfile
#catnsdfile
#hdisk1:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk1
cddisk1:
:
:
dataAndMetadata:
-1:
:
system
#hdisk2:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk2
cddisk2:
:
:
dataAndMetadata:
-1:
:
system
#hdisk3:
gpfs1:
gpfs2:
dataAndMetadata:
:
cddisk3
cddisk3:
:
:
dataAndMetadata:
-1:
:
system
5.3确认结果
lspv|grepgpfs
hdisk100f64935c14a9e3dcddisk1
hdisk2nonecddisk2
hdisk3nonecddisk3
5.4启动GPFS系统
mmstartup-a
ThuJun1615:
52:
12BEIST2009:
6027-1642mmstartup:
StartingGPFS...
bfts1:
6027-2114TheGPFSsubsystemisalreadyactive.
bfts2:
6027-2114TheGPFSsubsystemisalreadyactive.
确认状态
#mmgetstate-a
NodenumberNodenameGPFSstate
------------------------------------------
1gpfs1active
2gpfs2active
root@LPAR1:
/]#mmgetstate–aL–s
-a所有节点
-
升级会员 