GPFS文件系统安装配置和测试.docx
《GPFS文件系统安装配置和测试.docx》由会员分享，可在线阅读，更多相关《GPFS文件系统安装配置和测试.docx（12页珍藏版）》请在冰点文库上搜索。
GPFS文件系统安装配置和测试
GPFS文件系统安装配置和测试
一、目的
测试和验证gpfs并行文件系统功能和性能，为将来部署准备
二、测试架构和环境
服务器
主机名
ip地址
安装系统
安装软件
角色
备注
DELL2950
GPFS7
10.8.8.136
redhat6.3
GPFS3.4
GPFS管理服务器
HBAFC4G
DELLR420
GPFS6
10.8.8.137
redhat6.3
GPFS3.4
GPFS管理服务器
HBAFC4G
IBM3850虚拟机
GPFS2
10.8.8.134
redhat6.5
GPFS3.4
GPFS服务器
千兆网卡
IBM3850虚拟机
GPFS1
10.8.8.133
redhat6.5
GPFS3.4
GPFS服务器
千兆网卡
架构图
三、系统安装配置
1.安装前的准备：
在IBM3512划分3个lun,空间容量分别为：
380G,88G,30G，映射到两台服务器
确保服务器和存储连接正常
确保网络连接正常
2.系统和相关支持包的安装
安装redhatenterpriseserverLinux6.3或6.5
安装其它系统需要支持包：
yuminstalllibstdc++compat-libstdc++-296compat-libstdc++-33libXpimakegcc-c++kernelkernel-headerskernel-develkernel-smpkernel-smp-develxorg-x11-xauth
3..配置SSH无密码登录
1）编辑hosts和配置密钥
编辑hostS文件如下所示
10.8.8.133gpfs1
10.8.8.134gpfs2
10.8.8.136gpfs7
10.8.8.137gpfs6
登录到各个系统gpfs2,gpfs6,gpfs7上分别执行以下命令
#ssh-keygen-tdsa
在gpfs2上执行以下命令
#cat~/.ssh/id_dsa.pub>~/.ssh/authorized_keys
#sshgpfs6cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
#sshgpfs7cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
#scp~/.ssh/authorized_keysgpfs6:
~/.ssh/authorized_keys
#scp~/.ssh/authorized_keysgpfs7:
~/.ssh/authorized_keys
完成以后测试gpfs2,gpfs6,gpfs7连通性sshgpfsxdate
注意因为版本不一致gpfs2（6.5）版本需要执行restorecon–R–v/root/.ssh
2）关闭防火墙及selinux安全服务
serviceiptablesstop
vi/etc/sysconfig/selinux
#ThisfilecontrolsthestateofSELinuxonthesystem.
#SELINUX=cantakeoneofthesethreevalues:
#enforcing-SELinuxsecuritypolicyisenforced.
#permissive-SELinuxprintswarningsinsteadofenforcing.
#disabled-NoSELinuxpolicyisloaded
.
SELINUX=disabled
#SELINUXTYPE=cantakeoneofthesetwovalues:
#targeted-Targetedprocessesareprotected,
#mls-MultiLevelSecurityprotection.
SELINUXTYPE=targeted
3）测试ssh无密码登录配置
登录gpfs1执行命令
sshgpfs6date
sshgpfs7date
sshgpfs3date
4.安装gpfs3.4安装包
执行./gpfs_install-3.4.0-0_x86_64–text-only进行安装
Cd/usr/lpp/mmfs
Rpm–ivh*.rpm
tar-zxcvf解压gpfs-3.4.0-6.x86_64.tar.gz生成升级包
gpfs.base
gpfs.msg.en_US
gpfs.docs
gpfs.gp
安装所有的rpm软件包，并升级补丁
Rpm–U*.rom
检查GPFS软件包安装情况
rpm-qa|grepgpfs
增加.bash_profilePATH$
PATH=$PATH:
$HOME/bin:
/usr/lpp/mmfs/bin
编译软件
cd/usr/lpp/mmfs/src
makeAutoconfig
makeWorld
makeInstallImages
5.配置GPFS
1）配置集群
在gpfs7上创建集群建立文件/tmp/gpfs.nodes内容为：
gpfs7:
quorum-manager
gpfs6:
quorum-manager
执行命令：
/usr/lpp/mmfs/bin/mmcrcluster-n/tmp/gpfs.nodes-pgpfs7-sgpfs6-r/usr/bin/ssh-R/usr/bin/scp
显示集群信息mmlscluster
GPFSclusterinformation
========================
GPFSclustername:
dlokcluster.gpfs7
GPFSclusterid:
722837121801769718
GPFSUIDdomain:
dlokcluster.gpfs7
Remoteshellcommand:
/usr/bin/ssh
Remotefilecopycommand:
/usr/bin/scp
GPFSclusterconfigurationservers:
-----------------------------------
Primaryserver:
gpfs7
Secondaryserver:
gpfs6
NodeDaemonnodenameIPaddressAdminnodenameDesignation
-----------------------------------------------------------------------------------------------
1gpfs710.8.8.136gpfs7quorum-manager
2gpfs610.8.8.137gpfs6quorum-manager
2）配置共享盘
首先检查硬盘连接正常
root@gpfs7gpfs]#fdisk-l
Disk/dev/sda:
146.2GB,146163105792bytes
255heads,63sectors/track,17769cylinders
Units=cylindersof16065*512=8225280bytes
Sectorsize（logical/physical）:
512bytes/512bytes
I/Osize（minimum/optimal）:
512bytes/512bytes
Diskidentifier:
0x0006222c
DeviceBootStartEndBlocksIdSystem
/dev/sda1*16451200083Linux
Partition1doesnotendoncylinderboundary.
/dev/sda264177701422243848eLinuxLVM
Disk/dev/sdb:
146.2GB,146163105792bytes
255heads,63sectors/track,17769cylinders
Units=cylindersof16065*512=8225280bytes
Sectorsize（logical/physical）:
512bytes/512bytes
I/Osize（minimum/optimal）:
512bytes/512bytes
Diskidentifier:
0x0003851b
DeviceBootStartEndBlocksIdSystem
Disk/dev/sdc:
146.2GB,146163105792bytes
255heads,63sectors/track,17769cylinders
Units=cylindersof16065*512=8225280bytes
Sectorsize（logical/physical）:
512bytes/512bytes
I/Osize（minimum/optimal）:
512bytes/512bytes
Diskidentifier:
0x0004d5b3
3）编辑共享盘配置文件
[root@gpfs7gpfs]#vidisk_file
/dev/sdh:
gpfs7:
gpfs6:
dataAndMetadata:
:
g1
/dev/sdi:
gpfs7:
gpfs6:
dataAndMetadata:
:
g2
/dev/sdq:
gpfs7:
gpfs6:
dataAndMetadata:
:
g3
4）使用mmcrnsd创建NSD
mmcrnsd-F/tmp/gpfs_disk-vyes
显示NSD
Mmlsnsd–m
[root@gpfs6home]#mmlsnsd-m
DisknameNSDvolumeIDDeviceNodenameRemarks
---------------------------------------------------------------------------------------
g10A0808885379C4F2/dev/sdcgpfs6servernode
g10A0808885379C4F2/dev/sdhgpfs7servernode
g20A0808885379C4F3/dev/sddgpfs6servernode
g20A0808885379C4F3/dev/sdigpfs7servernode
g30A0808885379C4F4/dev/sdlgpfs6servernode
g30A0808885379C4F4/dev/sdqgpfs7servernode
5）授权节点license
mmchlicenseserver--accept–Nhpc1,hpc2,hpc3
6）启动gpfs文件系统
Mmstartup–a
查看文件系统状态
Mmgeststate–a
[root@gpfs6home]#mmgetstate-a
NodenumberNodenameGPFSstate
------------------------------------------
1gpfs7active
2gpfs6active
3gpfs2active
7）创建GPFS文件系统
#mmcrfsgpfsdir1-F/home/GPFS/nsd-T/gpfsdir1-Ayes-Kalways-B2m-Eno-m2-M2-n32-Qno-r2-R2-Syes-vno
注：
Ø其mount点为/oradata,blocksize为2m;注意此参数已经创建，不可修改，blocksize一般要参照存储端LUN设置，以获得最优性能；
Ø-m2-M2表示写两份metadata数据，-r2-R2表示写两份data数据；
Ø我们已经将数据盘的failgroup分别设为2、3，GPFS会自动将数据均衡写入不同failgroup中；
四、优化GPFS集群配置
1.查看当前集群配置
#mmlsconfig
[root@gpfs6home]#mmlsconfig
Configurationdataforclusterdlokcluster.gpfs7:
-------------------------------------------------
myNodeConfigNumber2
clusterNamedlokcluster.gpfs7
clusterId722837121801769718
autoloadno
minReleaseLevel3.4.0.7
dmapiFileHandleSize32
pagepool2048M
adminModecentral
Filesystemsinclusterdlokcluster.gpfs7:
------------------------------------------
/dev/g2
2.修改集群配置参数
Mmchconfigpagepool=2048m
五、变更节点配置
1.增加节点
Mmaddnode-Ngpfs1
2.增加NSD
首先编辑磁盘配置文件
Vi/root/gpfs/disk_file2
/dev/sdb:
gpfs1:
:
dataAndMetadata:
:
nsd4
3.m增加硬盘及NSD控制服务器
mmcrnsd-F/root/gpfs/disk_file2-vno
4.增加硬盘到文件系统中
mmadddiskg2-F/root/gpfs/disk_file2
显示文件系统
mmlsfsg2
flagvaluedescription
------------------------------------------------------------------------------
-f32768Minimumfragmentsizeinbytes
-i512Inodesizeinbytes
-I32768Indirectblocksizeinbytes
-m1Defaultnumberofmetadatareplicas
-M2Maximumnumberofmetadatareplicas
-r1Defaultnumberofdatareplicas
-R2Maximumnumberofdatareplicas
-jclusterBlockallocationtype
-Dnfs4Filelockingsemanticsineffect
-kallACLsemanticsineffect
-n32Estimatednumberofnodesthatwillmountfilesystem
-B1048576Blocksize
-QnoneQuotasenforced
noneDefaultquotasenabled
--filesetdfNoFilesetdfenabled?
-V12.10（3.4.0.7）Filesystemversion
--create-timeWedMay2115:
21:
302014Filesystemcreationtime
-uYesSupportforlargeLUNs?
-zNoIsDMAPIenabled?
-L4194304Logfilesize
-EYesExactmtimemountoption
-SNoSuppressatimemountoption
-KwhenpossibleStrictreplicaallocationoption
--fasteaYesFastexternalattributesenabled?
--inode-limit520192Maximumnumberofinodes
-PsystemDiskstoragepoolsinfilesystem
-dg1;g2;g3;nsd4Disksinfilesystem
-AyesAutomaticmountoption
-ononeAdditionalmountoptions
-T/gpfsdir1Defaultmountpoint
--mount-priority0Mountpriority
六、测试步骤和结果
测试环境：
Gpfs3ibm3850虚拟机，linux6.5,本地SAS盘15k转，千兆络
Gpfs6Dell2950linux6.3,本地SAS盘15k转,4GHBA光纤卡
Gpfs6Dellr420linux6.3,本地SAS盘15k转，4GHBA光纤卡
具体测试过程：
使用相同资料（普通目录文件4G）：
1.从gpfs2本地盘拷贝资料到gpfs盘，65M/s
2从gpfs7本地盘拷贝资料到gpfs盘，161M/s
3从gpfs6本地盘拷贝资料到gpfs盘，142M/s
4.从gpfs6gpfs盘拷贝资料到gpfs盘不同目录122M/s
5.从gpfs6，gpfs7,拷贝同时拷贝本地盘资料到GPFS盘，gpfs672M/s,pgfs798M/s
6登录gpfs7,拷贝本地SAS盘资料到本地SAS盘,60M/s
从小文件读写测试结果总结：
本次测试环境GPFS客户端从本地到gpfs盘拷贝资料，受限千兆网络影响只能达到65M。
两台GPFS服务器同时拷贝资料总带宽72+98=170M/s写速度优势比较单台不明显，但是相对sas,FCgpfs内部盘读写速度优势明显122M/s远大于60M/s
使用大文件单个10G，进行测试：
1从gpfs7本地盘拷贝资料到gpfs盘，238M/s
2从gpfs6，gpfs7,拷贝同时拷贝本地盘10G资料到GPFS盘,gpfs6104M/s,gpfs7141M/s
大文件读写测试总结:
gpfs对大文件的读取优于小文件，其它结论结果类似小文件测试。
对于存储内部资料的迁移，gpfs存储性能要优于SAS本地盘。
七、总结
本次测试进行IBM并行文件系统的功能和性能测试，初步验证并行文件系统性能优于网络文件系统和分布式文件系统。
升级会员 