GPFS安装实施和维护Word格式.docx

1、Meta data only: 只存储文件系统中的目录结构inode 信息。Meta and data: 存储所有信息（默认）。 GPFS 文件设备GPFS 设备是一个可被系统挂载的文件设备，由NSD 创建而成，可以并行的同时挂载在多个节点上。连接模式：如下图将存储LUN/disk 配置映射到GPFS集群节点依据系统需求的不同，disk连接拓扑可能会有差异SAN存储模式是将所有节点直接映射到所有节点NSD模式只需由作为NSD Server的节点链接disk混合模式可以是部分节点直接连接存储，部分做为NSD Client，它们通过NSD Server，通过IP网络进行IO访问（Network B

2、lock IO）1.3 GPFS的优势 高性能GPFS 允许在同一节点内的多进程或者应用使用标准文件系统调用，同时访问（并发，读写）同一个文件。通过将节点内读写操作分布到多个磁盘上，大大增加了文件系统的带宽，通过整个系统的负载均衡避免了某个磁盘过大的读写。 跨平台设计GPFS 支持在一个集群内加入异构的平台。支持异构的硬件环境：System p, System x。支持异构的操作系统：AIX, Linux。 数据一致性GPFS 通过一套复杂的信令管理机制提供数据一致性。通过这套机制允许任意节点通过各自独立的路径到达同一个文件。即使节点无法正常工作， GPFS 也可以找到其它的路径。 数据安全性

3、GPFS 是一种日志文件系统，为不同节点建立各自独立的日志。日志中记录metadata 的分布，一旦节点发生故障后，可以保证快速恢复数据。GPFS 的fail-over 功能通过规划，将数据分布到不同failure group 内达到高可用性，减少单点故障的影响。为了保证数据可用性， GPFS 在多个failure group 内为每个数据实例做备份，即使创建文件系统时没有要求复制， GPFS 也会自动在不同的failure group 内复制恢复日志。 系统可扩展性通过GPFS ，系统资源可以动态调整，可以在文件系统挂载情况下添加或者删除硬盘。系统处于相对空闲时，用户可以在已配置的硬盘上重新

4、均衡文件系统以提高吞吐量。可以在不重新启动GPFS 服务情况下添加新节点。 管理简单GPFS 自动在各个节点间同步配置文件和文件系统信息，而且在同一个节点内，对GPFS 的管理可以在任一个节点上进行。2.GPFS安装配置步骤2.1 GPFS安装准备安装GPFS 之前必须配置：- 存储到IBM P 系列主机- 并且安装多路径软件包中存储的高可用- 访问配置修改所有机器的/etc/hosts,将以下行加入，使得机器之间互相能解析主机名。/etc/hosts#gpfs start192.168.0.62 gpfs1192.168.0.63 gpfs210.66.5.51 App110.66.5.52

5、 App210.66.5.53 App310.66.5.54 App4#gpfs end- 建立主机的信任关系（使用.rhosts）修改所有服务器的/.rhosts,将2 个NSD 服务器主机名加入/.rhostsgpfs1 rootgpfs2 root2.2 GPFS软件的安装A. GPFS 软件放在目录：/tmp/gpfsins.toc gpfs.base gpfs.docs.data gpfs.gnr gpfs.msg.en_USB. 升级包放到：/tmp/gpfsins/up下GPFS-3.5.0.26-power-AIX.tar.gz并用解压命令解压：gzip -d -c GPFS-

6、3.5.0.26-power-AIX.tar.gz | tar -xvf - 输出：# gzip -d -c GPFS-3.5.0.26-power-AIX.tar.gz | tar -vxf -x changelog, 2518 bytes, 5 media blocks.x README, 3832 bytes, 8 media blocks.x U860137.gpfs.docs.data.bff, 926720 bytes, 1810 media blocks.x U869521.gpfs.msg.en_US.bff, 201728 bytes, 394 media blocks.x

7、U869771.gpfs.base.bff, 50028544 bytes, 97712 media blocks.x U869772.gpfs.gnr.bff, 98106368 bytes, 191614 media blocks.#lsU860137.gpfs.docs.data.bff U869771.gpfs.base.bff changelogREADME U869521.gpfs.msg.en_US.bff U869772.gpfs.gnr.bffC. 通过SMIT 安装命令进行安装和升级#smitty installp 进入软件安装菜单 输出：# lslpp -l gpfs*

8、Fileset Level State Description -Path: /usr/lib/objrepos gpfs.base 3.5.0.3 COMMITTED GPFS File Manager gpfs.gnr 3.5.0.3 COMMITTED GPFS Native RAID gpfs.msg.en_US 3.5.0.3 COMMITTED GPFS Server Messages - U.S. English /etc/objrepos /usr/share/lib/objrepos gpfs.docs.data 3.5.0.3 COMMITTED GPFS Server M

9、anpages and Documentation#smitty update_all进入软件升级菜单 输出 gpfs.base 3.5.0.26 COMMITTED GPFS File Manager gpfs.gnr 3.5.0.22 COMMITTED GPFS Native RAID gpfs.msg.en_US 3.5.0.22 COMMITTED GPFS Server Messages - U.S. gpfs.docs.data 3.5.0.4 COMMITTED GPFS Server Manpages andD. 成功的安装完GPFS 之后，运行命令#lslpp -l |gr

10、ep gpfs*列出如下所示输出：同上E. 添加/etc/environment 的执行路径：/usr/lpp/mmfs/bin修改MM*路径编辑每台机器/etc/environment 文件，在PATH 字段加入mmfs 路径PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java5/jre/bin:/usr/java5/bin:/usr/lpp/mmfs:/usr/lpp/mmfs/sbin:3.创建GPFS 心跳地址注： 若条件允许，则GPFS 心跳地址可单独设置在任一网卡接口上。rootLpar1:/smitt

11、y tcpip* HOSTNAME gpfs1* Internet ADDRESS （dotted decimal） 10.10.10.1Network MASK （dotted decimal） 255.255.255.0* Network INTERFACE en3NAMESERVERInternet ADDRESS （dotted decimal） DOMAIN Name Default GatewayAddress （dotted decimal or symbolic name） Cost Do Active Dead Gateway Detection? NoYour CABLE

12、Type N/ASTART Now norootLpar2:* HOSTNAME gpfs2* Internet ADDRESS （dotted decimal） 10.10.10.2/cat /etc/hosts#192.168.1.140 LPAR1#192.168.1.141 LPAR210.10.10.1 LPAR110.10.10.2 LPAR2可将hosts 中其它IP 暂时注释，只保留GPFS 心跳地址，因为创建GPFS 集群时会解析到其它地址，待mmcrcluster 这步后再恢复正常4.配置 GPFS集群4.1 配置节点文件vi /tmp/gpfs/nodefilegpfs1

13、:quorumgpfs2:或：/mkdir /usr/lpp/mmfs/vi /usr/lpp/mmfs/nodefilemanager-quorum尽量用第一种方法，后面的采用多个Tiebreaker quorum 盘才能生效1、一个集群中至少需要一个仲裁（quorum）节点，当一个集群中的仲裁节点少于一半，GPFS 将无法启动。2、一个集群中，建议至少要有个一主一备的配置信息服务器。4.2 建立GPFS 集群（这一步必须重启两台服务器才能执行此命令）主管理者gpfs1 同时将其作为quorum 和manager 节点。先确保清理干净原先GPFS 集群#mmdelnode -f#mmcrcl

14、uster -C edin -N /usr/lpp/mmfs/nodefile -p gpfs1 -s gpfs2#mmcrcluster -C edin -U bgbc -N /tmp/gpfs/nodefile -p gpfs1 -s gpfs2# mmcrcluster -C edin -N /usr/lpp/mmfs/nodefile -p gpfs1 -s gpfs2Mon Oct 19 04:47:00 CST 2015: 6027-1664 mmcrcluster: Processing node gpfs102 CST 2015: Processing node gpfs2mm

15、crcluster: Command successfully completed 6027-1254 Warning: Not all nodes have proper GPFS license designations. Use the mmchlicense command to designate licenses as needed. 6027-1371 Propagating the cluster configuration data to all affected nodes. This is an asynchronous process.其中参数含义-C bgbcrun

16、设定集群名称-U bgbc 定义域名-N /tmp/gpfs/nodefile 指定节点文件名-p gpfs1 指定主NSD 服务器为gpfs1-s gpfs2 指定备NSD 服务器为gpfs24.3 确认查看GPFS 集群（显示）# mmlscluster=| Warning: | This cluster contains nodes that do not have a proper GPFS license | designation. This violates the terms of the GPFS licensing agreement. | Use the mmchlice

17、nse command and assign the appropriate GPFS licenses | to each of the nodes in the cluster. For more information about GPFS | license designation, see the Concepts, Planning, and Installation Guide. |GPFS cluster information= GPFS cluster name: edin.gpfs1 GPFS cluster id: 626162854032311620 GPFS UID

18、 domain: Remote shell command: /usr/bin/rsh Remote file copy command: /usr/bin/rcpGPFS cluster configuration servers:- Primary server: gpfs1 Secondary server: gpfs2 Node Daemon node name IP address Admin node name Designation- 1 gpfs1 192.168.0.62 gpfs1 quorum-manager 2 gpfs2 192.168.0.63 gpfs2 quor

19、um-manager4.4 激活GPFS 授权# mmchlicense server -accept -N gpfs1,gpfs2The following nodes will be designated as possessing GPFS server licenses:mmchlicense:激活后将看不到关于License 的警告信息5 配置GPFS 的共享盘5.1 建立NSD（Network Shared Disk）文件:# vi nsdfilehdisk1:dataAndMetadata:cddisk1hdisk2:cddisk2hdisk3:cddisk3 􀁺

20、; 5.2 生成NSD 盘# mmcrnsd -F /usr/lpp/mmfs/nsdfilemmcrnsd: Processing disk hdisk1 Processing disk hdisk2 Processing disk hdisk3此时，该文件作了转换cat nsdfile# cat nsdfile # hdisk1:cddisk1:-1:system# hdisk2:cddisk2:# hdisk3:cddisk3cddisk3:5.3 确认结果lspv |grep gpfshdisk1 00f64935c14a9e3d cddisk1 hdisk2 none cddisk2

21、 hdisk3 none cddisk3 5.4 启动GPFS 系统mmstartup -aThu Jun 16 15:52:12 BEIST 2009: 6027-1642 mmstartup: Starting GPFS .bfts1: 6027-2114 The GPFS subsystem is already active.bfts2:􀁺 确认状态# mmgetstate -a Node number Node name GPFS state - 1 gpfs1 active 2 gpfs2 activerootLPAR1:/#mmgetstate aL s-a 所有节点-