GPFS配置手册Word文档下载推荐.docx
《GPFS配置手册Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《GPFS配置手册Word文档下载推荐.docx（21页珍藏版）》请在冰点文库上搜索。
1.5GPFS系统环境示意图
GPFSServer:
2个AIX分区连接V7000
SANStorage:
SVC
GPFSClient:
48个PowerLinux分区
GPFS管理网络:
千兆交换机
2.GPFS安装前准备
2.1安装介质及补丁准备
安装包:
GPFS3.5.0
补丁：
GPFS-
2.2Openssl及Openssh
确认AIX上openssl及openssh是否已安装,Linux默认已经安装;
lslpp-l|grepopen
2.3Linux节点安装ksh
2.4#rpm-ivh
节点修改网络参数
修改/etc/文件,需修改的网络参数如下:
#increaseLinuxTCPbufferlimits
=8388608
#increasedefaultandmaximumLinuxTCPbuffersizes
=40962621448388608
#increasemaxbacklogtoavoiddroppedpackets
=2500
修改完毕后执行sysctl-p/etc/让配置生效
3.GPFS安装配置
3.1配置ssh信任关系
在节点上生成并配置ssh密钥对
#ssh-keygen-trsa
#cd.ssh
#ls
id_rsa
#cat>
authorized_keys
#chmod600authorized_keys
#echo"
StrictHostKeyCheckingno"
>
config
#chmod600config
修改各节点的/etc/hosts文件,加入对集群中各节点的别名和ip地址
验证本机无需密码的ssh登录
#ssh`hostname`
将.ssh目录复制到其他各节点
#scp-r/.ssh-r/.ssh
#scp-r/.ssh…
#scp-r/.ssh验证各节点间无密码的ssh登录
3.2AIX安装GPFS软件
1）安装包放在/home/gpfsaix/iso目录下
2）切换/home/gpfsaix/iso目录下,通过smittyinstallp安装GPFS软件
3）安装补丁
版本，需要升级到以上，补丁下载地址：
&
product=ibm/power/IBM+General+Parallel+File+System&
release=&
platform=AIX&
function=all
下载后上传到服务器后解压：
gzip-d-c|tar-xvf-
使用smittyupdate_all安装补丁
4）安装后检查
#lslpp-l|grepgpfs
如果之前已经创建了cluster，在所有node都down的状态下，加载GPFS版本到最新版本：
mmchconfigrelease=LATEST;
如果是新装的GPFS,则可以忽略此步。
3.3Linux安装GPFS软件
1）上传安装介质
安装文件位于/home/gpfsrpm/，补丁文件位于/home/gpfsrpm/updte；
2）安装GPFS软件
在安装介质所在目录下执行：
#rpm-ivhgpfs*.rpm
3）升级GPFS软件版本
在补丁文件所在目录下执行：
#rpm-Uvhgpfs*.rpm
4）检查安装结果
#rpm-qa|grepgpfs
5）BuildingtheGPFSportabilitylayer
#cd/usr/lpp/mmfs/src
#makeAutoconfig
#makeWorld
#makeInstallImages
3.4GPFS集群配置
修改系统环境变量
AIX平台下修改/etc/environment在PATH后增加/usr/lpp/mmfs/bin
#vi/etc/environment
Linux平台下修改/root/.bashprofile,在PATH后增加/usr/lpp/mmfs/bin
创建集群
按照规划，本次集群中包含1个AIX节点和48个Linuxclient；
首先在1个AIX节点平台创建GPFS集群
创建集群定义文件
#cd/home
#mkdirgpfs
#cdgpfs
#vijxrcc_cluster
:
quorum-manager
a）创建GPFS集群
#mmcrcluster–Njxrccb_cluster–p-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster–A
#mmcrcluster-Njxrccb_cluster-p-r/usr/bin/ssh-R/usr/bin/scp-Cjxrccb_cluster-A
Warning:
Permanentlyadded'
'
（RSA）tothelistofknownhosts.
TueNov1920:
01:
38CST2013:
6027-1664mmcrcluster:
ProcessingnodeCommandsuccessfullycompleted
mmcrcluster:
6027-1254Warning:
NotallnodeshaveproperGPFSlicensedesignations.
Usethemmchlicensecommandtodesignatelicensesasneeded.
b）配置许可
#mmchlicenseserver--accept-N
ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:
Commandsuccessfullycompleted
c）添加Linux节点
通过如下命令依次添加48个Linux节点：
#mmaddnode–Nmmchlicenseserver--accept-N…
#mmaddnode–Nmmchlicenseserver--accept-N查看集群状态
#mmlscluster
d）修改集群参数
#mmchconfigprefetchThreads=1000–N
#mmchconfigpagepool=4G–N
#mmchconfigfailureDetectionTime=15
#mmchconfigMaxMBps=4096
e）启动集群
#mmstartup-a
启动后，查看集群状态
#mmgetstate-a
确保所有节点的状态为Active
创建NSD磁盘
a）修改fscsi参数
在所有直接访问SAN盘的节点上执行
#lsdev|grepfscsi|awk'
{print"
chdev-l"
$1,"
-adyntrk=yes-afc_err_recov=fast_fail"
}'
|sh
b）识别外置存储磁盘
#cfgmgr
c）修改hdisk参数
#lsdev-Ccdisk|grepMPIO|awk'
-aalgorithm=round_robin-aqueue_depth=8-areserve_policy=no_reserve"
d）创建NSD描述文件
#cd/gpfs
#vi
hdisk2:
:
jxrccb_nsd1:
hdisk3:
jxrccb_nsd2:
备注
文件格式：
DiskName:
ServerList:
DiskUsage:
FailureGroup:
DesiredName:
StoragePool
在本集群中，将AIX节点定义为NSDServer，如果NSD较多可以将每块盘的首选NSDServer设置为不同，以均衡NSDSever的负载；
e）生成NSD盘
#mmcrnsd-F
f）查看NSD盘
#mmlsnsd
#mmlsnsd
FilesystemDisknameNSDservers
---------------------------------------------------------------------------
（freedisk）jxrccb_nsd1
（freedisk）jxrccb_nsd2
定义Tiebreakerdisks
集群处于Down状态时才能定义；
#mmshutdown-a
#mmchconfigtiebreakerDisks="
"
定义后可用如下命令查看；
#mmlsconfig
创建GPFS文件系统
#mmcrfsgpfs-F-Ayes-B512K-T/gpfs
#mmcrfsgpfs-F-Ayes-B512K-T/gpfs
GPFS:
6027-531ThefollowingdisksofgpfswillbeformattedonnodeABSGPFS1:
jxrccb_nsd1:
size2KB
jxrccb_nsd2:
6027-540Formattingfilesystem...
6027-535DisksuptosizeTBcanbeaddedtostoragepoolsystem.
CreatingInodeFile
CreatingAllocationMaps
CreatingLogFiles
ClearingInodeAllocationMap
ClearingBlockAllocationMap
FormattingAllocationMapforstoragepoolsystem
6027-572Completedcreationoffilesystem/dev/gpfs.
mmcrfs:
6027-1371Propagatingtheclusterconfigurationdatatoall
affectednodes.Thisisanasynchronousprocess.
通过mmlsconfig或mmlsfsall命令可以看到所创建的文件系统
#mmlsconfig
挂载集群文件系统
#mmmountall-a
挂载后查看集群文件系统的mount状态
#mmlsmountall
Filesystemgpfsismountedon49nodes.
修改文件系统inode最大值
#mmchfsgpfs--inode-limit
修改挂载文件系统的最大节点数
#mmchfsgpfs–n=128
查看文件系统的属性
#mmlsfsall
GPFS文件系统支持的最大inode数，可根据如下公式进行计算：
maximumnumberoffiles=（totalfilesystemspace）/（inodesize+subblocksize）
备注:
subblocksize是创建文件系统时所指定Blocksize的1/32；
例如：
按文件系统400G，inodesize为512bytes，Blocksize为512k来计算
maximumnumberoffiles=（600*1024*1024*1024）/（512+524288/32）=
4.GPFS日常维护
4.1GPFS启动
启动所有的节点：
mmstartup–a
启动单个节点：
例如启动节点
4.2mmstartup–N停止
GPFS停止步骤：
umount挂载的FS?
停止所有的node
umount挂载的FS：
umount所有节点
mmumount–a
umount某一个节点：
mmumountfsname–Ngpfswas2
停止所有的节点：
mmshutdown–a
停止某一个节点：
mmshutdown–Ngpfswas2
4.3查看GPFS使用状况
mmdfgpfs
升级会员 