GPFS的安装 配置 管理.docx

GPFS的安装 配置 管理.docx

《GPFS的安装 配置 管理.docx》由会员分享，可在线阅读，更多相关《GPFS的安装 配置 管理.docx（13页珍藏版）》请在冰点文库上搜索。

GPFS的安装配置管理

GPFS的安装、配置、管理

1GPFS安装、配置、管理和维护1

1.1GPFS安装1

1.2GPFS配置1

1.2.1集群节点配置1

1.2.2GPFSNSD磁盘配置2

1.2.3优化GPFS集群配置4

1.2.4创建GPFS文件系统6

1.2.5配置变更6

1.3GPFS管理和维护11

1GPFS安装、配置、管理和维护

本部分围绕XX公司HPIS系统实际情况，描述GPFS的安装、配置过程，以及GPFS管理和维护方法。

1.1GPFS安装

GPFS3.3及补丁使用AIX系统标准installp方式安装，安装命令示例：

#installp-agYXd.all

查看安装结果;

#lslpp-l|grepgpfs

gpfs.

1.2GPFS配置

1.2.1集群节点配置

Ø准备node列表文件，节点属性：

manager或client，quorum或nonquorum

#more/home/GPFS/nodes

hpis1:

manager-quorum

hpis2:

manager-quorum

Ø创建RAC两节点的GPFS集群

#mcrcluster-N/home/GPFS/nodes-phpis1-shpis2-r/usr/bin/rsh-R/usr/bin/rcp-Ccls_hpis

-p,-s分别表示主，辅集群管理服务器

-r/usr/bin/rsh-R/usr/bin/rcp表示rsh,rcp方式进行集群管理时使用rsh,rcp管理方式；也可以通过配置ssh，使用ssh,scp方式

Ø查看集群配置

#mmlscluster

1.2.2GPFSNSD磁盘配置

因为RAC只有两个Server节点，为保证GPFS文件系统的高可用性，需要将两台Server均设为quorum节点，同时从两个存储和一台Server的本地盘中分别取一个盘作为tiebreakerquorumDisk。

ØNSD准备

生成NSD文件，格式如：

#more/home/GPFS/nsd

hdisk3:

hpis2:

:

descOnly:

1:

nsd00:

hdisk29:

:

:

dataAndMetadata:

2:

nsd01:

hdisk30:

:

:

dataAndMetadata:

2:

nsd02:

hdisk31:

:

:

dataAndMetadata:

2:

nsd03:

hdisk32:

:

:

dataAndMetadata:

2:

nsd04:

hdisk33:

:

:

dataAndMetadata:

2:

nsd05:

hdisk59:

:

:

dataAndMetadata:

3:

nsd06:

hdisk60:

:

:

dataAndMetadata:

3:

nsd07:

hdisk61:

:

:

dataAndMetadata:

3:

nsd08:

hdisk62:

:

:

dataAndMetadata:

3:

nsd09:

hdisk63:

:

:

dataAndMetadata:

3:

nsd10:

注：

1.这里分别将hpis2节点的本地盘，两个存储的failgroup分别设为1，2，3

2.hdisk3本地盘设为descOnly，存储Disk设为dataAndMetadata

Ø创建NSD

#mmcrnsd-F/home/GPFS/nsd-vyes

生成NSD后，/home/GPFS/nsd会被改写，如：

#hdisk3:

:

:

descOnly:

1:

nsd00:

nsd00:

:

:

descOnly:

1:

:

#hdisk29:

:

:

dataAndMetadata:

2:

nsd01:

nsd01:

:

:

dataAndMetadata:

2:

:

#hdisk30:

:

:

dataAndMetadata:

2:

nsd02:

nsd02:

:

:

dataAndMetadata:

2:

:

#hdisk31:

:

:

dataAndMetadata:

2:

nsd03:

nsd03:

:

:

dataAndMetadata:

2:

:

#hdisk32:

:

:

dataAndMetadata:

2:

nsd04:

nsd04:

:

:

dataAndMetadata:

2:

:

#hdisk33:

:

:

dataAndMetadata:

2:

nsd05:

nsd05:

:

:

dataAndMetadata:

2:

:

#hdisk59:

:

:

dataAndMetadata:

3:

nsd06:

nsd06:

:

:

dataAndMetadata:

3:

:

#hdisk60:

:

:

dataAndMetadata:

3:

nsd07:

nsd07:

:

:

dataAndMetadata:

3:

:

#hdisk61:

:

:

dataAndMetadata:

3:

nsd08:

nsd08:

:

:

dataAndMetadata:

3:

:

#hdisk62:

:

:

dataAndMetadata:

3:

nsd09:

nsd09:

:

:

dataAndMetadata:

3:

:

#hdisk63:

:

:

dataAndMetadata:

3:

nsd10:

nsd10:

:

:

dataAndMetadata:

3:

:

1.2.3优化GPFS集群配置

Ø查看当前集群配置

#mmlscluster

GPFSclusterinformation

========================

GPFSclustername:

cls_hpis.hpis1

GPFSclusterid:

75214

GPFSUIDdomain:

cls_hpis.hpis1

Remoteshellcommand:

/usr/bin/rsh

Remotefilecopycommand:

/usr/bin/rcp

GPFSclusterconfigurationservers:

-----------------------------------

Primaryserver:

hpis2

Secondaryserver:

hpis1

NodeDaemonnodenameIPaddressAdminnodenameDesignation

-----------------------------------------------------------------------------------------------

1hpis110.1.1.90hpis1quorum-manager

2hpis210.1.1.91hpis2quorum-manager

#mmlsconfig

Configurationdataforclustercls_hpis.hpis1:

----------------------------------------------

clusterNamecls_hpis.hpis1

autoloadyes

dmapiFileHandleSize32

maxblocksize8M

maxFilesToCache16384

maxStatCache65536

maxMBpS8192

pagepool2048M

pagepoolMaxPhysMemPct80

tiebreakerDisksnsd00;nsd01;nsd06

failureDetectionTime10

adminModecentral

Filesystemsinclustercls_hpis.hpis1:

---------------------------------------

/dev/oradata

此处pagepool与tiebreakerDisks参数最重要

Ø修改集群配置命令:

mmchconfig，有些配置需要先shutdownGPFS集群

#mmchconfigpagepool=3072M

#mmchconfigtiebreakerDisks="nsd00;nsd01;nsd06"

1.2.4创建GPFS文件系统

#mmcrfsoradata-F/home/GPFS/nsd-T/oradata-Ayes-Kalways-B2m-Eno-m2-M2-n32-Qno-r2-R2-Syes-vno

注：

Ø其mount点为/oradata,blocksize为2m;注意此参数已经创建，不可修改，blocksize一般要参照存储端LUN设置，以获得最优性能；

Ø-m2-M2表示写两份metadata数据，-r2-R2表示写两份data数据；

Ø我们已经将数据盘的failgroup分别设为2、3，GPFS会自动将数据均衡写入不同failgroup中；

1.2.5配置变更

1.2.5.1节点变更

ØCluster和filesystemmanager角色

当前manager角色如下

#mmlsmgr

filesystemmanagernode

----------------------------------

oradata10.1.1.90（hpis1）

Clustermanagernode:

10.1.1.90（hpis1）

Ø变更Cluster或filesystemmanager角色为hpis2

#mmchmgroradatahpis2

#mmchmgr-chpis2

Ø增加节点使用mmaddnode命令增加，如：

mmaddnode–Nothernode1

Ø节点quorum属性变更

#mmchnode--quorum-Nothernode1

#mmchnode--nonquorum-Nothernode2

#mmchnode--manager-Nothernode1

#mmchnode--client-Nothernode1

注：

目前RAC两个的属性应均设为manger,quorum，若新增server节点，可设为manger,quorum，新增client节点建议设为client,nonquorum

1.2.5.2NSDdisk变更

Ø增加NSDdisk

新增NSD时，请从两个存储中挑选disk，成对增加，在AIX系统中可以通过lscfg–vp|grephdisk查看某个hdisk来源与哪个存储，如：

#lscfg-vp|grephdisk

......

通过蓝色部分可以区分hdisk的来源，增加hdisk时，要注意failgroup的设置和现有来自同存储的failgroup一样

编写待新增nsd文件，如：

#more/home/GPFS/nsd2

hdisk28:

:

:

dataAndMetadata:

2:

nsd11:

hdisk58:

:

:

dataAndMetadata:

3:

nsd12:

#mmcrnsd-F/home/GPFS/nsd2-vyes

mmcrnsd:

Processingdiskhdisk28

mmcrnsd:

Processingdiskhdisk58

mmcrnsd:

Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

#more/home/GPFS/nsd2

#hdisk28:

:

:

dataAndMetadata:

2:

nsd11:

nsd11:

:

:

dataAndMetadata:

2:

:

#hdisk58:

:

:

dataAndMetadata:

3:

nsd12:

nsd12:

:

:

dataAndMetadata:

3:

:

Ø将新NSD增加到文件系统中

#mmadddiskoradata-F/home/GPFS/nsd2

Thefollowingdisksoforadatawillbeformattedonnodehpis1:

ExtendingAllocationMap

CheckingAllocationMapforstoragepool'system'

Completedaddingdiskstofilesystemoradata.

mmadddisk:

Propagatingtheclusterconfigurationdatatoall

affectednodes.Thisisanasynchronousprocess.

Ø当前NSD列表

#mmlsnsd-aL

FilesystemDisknameNSDvolumeIDNSDservers

---------------------------------------------------------------------------------------------

oradatansd000A70255B4E8260E1hpis2

oradatansd010A70255B4E826051（directlyattached）

oradatansd020A70255B4E826052（directlyattached）

oradatansd030A70255B4E826053（directlyattached）

oradatansd040A70255B4E826054（directlyattached）

oradatansd050A70255B4E826055（directlyattached）

oradatansd060A70255B4E826056（directlyattached）

oradatansd070A70255B4E826057（directlyattached）

oradatansd080A70255B4E826058（directlyattached）

oradatansd090A70255B4E826059（directlyattached）

oradatansd100A70255B4E82605A（directlyattached）

oradatansd110A70255B4E855BFB（directlyattached）

oradatansd120A70255B4E855BFC（directlyattached）

Ø当前/oradata文件系统的disk列表

#mmlsdiskoradata-L

diskdriversectorfailureholdsholdsstorage

nametypesizegroupmetadatadatastatusavailabilitydiskidpoolremarks

---------------------------------------------------------------------------------------------------

nsd00nsd5121nonoreadyup1systemdesc

nsd01nsd5122yesyesreadyup2systemdesc

nsd02nsd5122yesyesreadyup3system

nsd03nsd5122yesyesreadyup4system

nsd04nsd5122yesyesreadyup5system

nsd05nsd5122yesyesreadyup6system

nsd06nsd5123yesyesreadyup7systemdesc

nsd07nsd5123yesyesreadyup8system

nsd08nsd5123yesyesreadyup9system

nsd09nsd5123yesyesreadyup10system

nsd10nsd5123yesyesreadyup11system

nsd11nsd5122yesyesreadyup12system

nsd12nsd5123yesyesreadyup13system

Numberofquorumdisks:

3

Readquorumvalue:

2

Writequorumvalue:

2

Ø当前/oradata文件系统大小即状态

#mmdforadata

diskdisksizefailureholdsholdsfreeKBfreeKB

nameinKBgroupmetadatadatainfullblocksinfragments

----------------------------------------------------------------------------------------

Disksinstoragepool:

system（Maximumdisksizeallowedis4.5TB）

----------------------------------------------------

====================================================

InodeInformation

-----------------

Numberofusedinodes:

4095

Numberoffreeinodes:

528385

Numberofallocatedinodes:

532480

Maximumnumberofinodes:

2188019

1.3GPFS管理和维护

Ø启动所有/单个节点

mmstartup–a

mmstartup-Nhpis1

mmstartup-Nhpis2

ØMount所有/单个节点文件系统

mmmountall–a

mmmountall

Øumount所有/单个节点文件系统

mmumountall-a

mmumountall

Ø停止所有/单个节点文件系统

mmshutdown-a

mmshutdown–Nhpis1

mmshutdown–Nhpis2

Ø查看GPFS状态

#mmgetstate-Las

NodenumberNodenameQuorumNodesupTotalnodesGPFSstateRemarks

------------------------------------------------------------------------------------

1hpis11*22activequorumnode

2hpis21*22activequorumnode

Summaryinformation

---------------------

Numberofnodesdefinedinthecluster:

2

Numberoflocalnodesactiveinthecluster:

2

Numberofremotenodesjoinedinthiscluster:

0

Numberofquorumnodesdefinedinthecluster:

2

Numberofquorumnodesactiveinthecluster:

2

Quorum=1*,Quorumachieved

Ø查看文件系统mount状态

#mmlsmountall-L

Filesystemoradataismountedon2nodes:

Ø监控GPFS文件系统IO情况（mmpmon）

如：

mmpmon-i/home/mon_gpfs-d2000-r1000-s-t60

Ø存储故障恢复后手工同步文件系统

存储发生故障后，故障存储的NSD将变更down状态，mmlsdisk查看结果示例如下：

#mmlsdiskoradata-L

diskdriversectorfailureholdsholdsstorage

nametypesizegroupmetadatadatastatusavailabilitydiskidpoolremarks

---------------------------------------------------------------------------------------------------

nsd00nsd5121nonoreadyup1systemdesc

nsd01nsd5122yesyesreadyup2systemdesc

nsd02nsd5122yesyesreadyup3systemdesc

nsd03nsd5122yesyesreadyup4system

nsd04nsd5122yesyesreadyup5system

nsd05nsd5122yesyesreadyup6system

nsd06nsd5123yesyesreadydown7system

nsd07nsd5123yesyesreadydown8system

nsd08nsd5123yesyesreadydown9system

nsd09nsd5123yesyesreadydown10system

nsd10nsd5123yesyesreadydown11system

Numberofquorumdisks:

3

Readquorumvalue:

2

Writequorumvalue:

2

故障存储恢复后，我们可以选择合适时机对每个处于down状态的disk进行手工同步文件系统，命令如下：

#mmchdiskoradatastart-dnsd06

#mmchdiskoradatastart-dnsd07

#mmchdiskoradatastart-dnsd08

#mmchdiskoradatastart-dnsd09

#mmchdisk