Hacmp网络配置与存储配置.docx

Hacmp网络配置与存储配置.docx

《Hacmp网络配置与存储配置.docx》由会员分享，可在线阅读，更多相关《Hacmp网络配置与存储配置.docx（15页珍藏版）》请在冰点文库上搜索。

Hacmp网络配置与存储配置

3.1.网络配置

群集之间节点通过群集通讯网络进行通讯。

如果一个网络上的一个节点的一块网卡失效，群集会通过该节点的另一块网卡进行通讯。

如果节点连接失败，HACMP会将该节点拥有的资源传送给其他可用节点。

附加的，HACMP（通过RSCT拓扑服务的）在节点之间使用心跳信息来检查群集节点的可用性和群集节点通讯接口的可用性。

如果HACMP检测到一个节点没有心跳，该节点就被认为已经失效，它的资源就会自动传送至其他可用节点。

推荐配置群集节点之间的多条通讯路径，这样能防止群集分割。

在分割的群集中的危险在于，不同分割区的群集节点会不经过协调同时访问一个数据，这会造成数据破坏。

3.1.1.   网络类型

这里我们讨论下列网络类型：

物理的和逻辑的网络

一个物理的网络连接两个或更多的物理网络接口。

有很多种物理网络，HACMP将其分为两种：

Ø       基于IP的网络，如以太网、令牌环

Ø       基于设备的网络，如RS-232、SSA标记模式

在HACMP中，一组逻辑网络中的接口可以直接和其他网络接口通讯，HACMP给每个逻辑网络一个名称（如net_ether_01）。

HACMP中的一个逻辑网络可以包含一或多个子网，RSCT管理每个逻辑子网中的心跳包。

全局网络

多个HACMP网络组成一个全局网络。

HACMP网络是一些不同物理网络和/或逻辑网络的集合，这些网络共享一个冲突域，例如，以太网。

HACMP将这种组合的全局网络视为网络一个网络。

RSCT处理全局网络内部路由。

3.1.2.   TCP/IP网络

HACMP支持的基于IP的网络有：

Ø       ether（以太网）

Ø       atm（异步传输模式-ATM）

Ø       fddi（光纤分布式数据接口-FDDI）

Ø       hps（SP交换）

Ø       token（令牌环）

HACMP通过RSCT拓扑服务监视这些网络。

通过IP别名的心跳

在HACMP中，你可以配置通过IP别名控制心跳。

在以前的HACMP版本中心跳只能通过服务/非服务IP地址/标签（基本或引导IP地址/标签）来进行交换。

基于这种配置，通讯接口的的引导IP地址可以在同一子网或者不同子网。

RSCT使用自动赋予IP别名、分组不同子网来为每个通讯接口组设置不同的心跳环。

你可以为心跳环使用不可路由的子网来保留其他可路由子网（客户端的）的流量。

更多信息请参考3.4.6“定义通讯接口”。

永久IP地址/标签

为一个网络中指定节点赋予的IP别名就是永久的节点IP标签。

它是：

Ø       始终保留着同一节点上（节点绑定的）

Ø       可以和同一接口的其他IP标签共存

Ø       在该节点上不需要安装附加的物理接口

Ø       不是任何资源组的一部分

给一个网络中的节点赋予永久IP标签允许你在群集网络中使用节点绑定地址，这样的话你就可以在群集中用来对指定节点进行管理工作。

更多信息请参考3.4.9“定义永久性IP标签”。

非IP网络

群集中使用非IP网络使用在群集节点间交换心跳信息的一种无局限性路径。

无局限性路径可用、工作正常的话，即使IP子系统失效时，HACMP照样可以区分网络失效和节点失效。

虽然可以配置不包括非IP网络的群集，但是，我们强烈建议您在群集节点间最少使用一个非IP的连接。

通常，HACMP在群集节点间交换心跳信息可以支持如下的非IP网络类型：

Ø       串口（RS232）

Ø       磁盘心跳网络（diskhb）

Ø       标记模式的SSA（tmssa）

Ø       标记模式的SCSI（tmscsi）

串口（RS232）

一个串口网络至少需要群集中每个节点有一个可用串口。

在两个以上的节点的群集环境中，通过串口连接器连接节点环需要每节点两个串口。

如果机器原装的串口数目不能满足需求的话，你可以通过添加一个8异步接口卡来扩展串口。

更多信息请参考3.4.7“定义通讯设备”。

磁盘心跳网络（diskhb）

在某些环境下，RS232、tmssa、tmscsi连接安装代价太高或者太复杂，这时可以使用磁盘心跳网络，它可以给用户提供：

Ø       很容易的配置一个点到点类型的网络

Ø       对群集分割的附加保护（预防）

Ø       可以使用任何类型的磁盘组成数据路径来形成一个点到点类型的网络

Ø       安装无须额外硬件；可以使用存储数据和包含在卷组中的磁盘

为支持SSA并发VG，在每个磁盘上会有一小部分空间被保留用于clvmd通讯。

增强型并发VG不使用保留空间，它用RSCT组服务取代进行通讯。

磁盘心跳使用一个保留扇区（为SSA并发卷提供的）作为节点交换保活信息的区域。

任何增强型并发VG的磁盘都可以用于diskhb网络，也可以存储数据。

此外，包含使用在diskhb网络的磁盘的VG不必强制varyon。

任何类型的磁盘都可以作为增强型并发VG的成员，这使得这种网络类型极为灵活。

更多信息请参考SC23-4861-02：

AIX5L下HACMP规划安装指南第三章“规划群集网络连接”

标记模式的SSA（tmssa）

如果在使用共享的SSA设备，可以在群集中使用tmssa。

它依赖于SSA适配器的构建能力（使用SCSI通讯协议）。

在SSA环（磁盘和适配器）中的SSA设备用于在发起者和目标之间通讯；SSA磁盘是目标，SSA适配器既可以是目标，也可以是发起者；因而，tmssa建立连接HACMP节点的能力和串口连接类似，这是一个点到点的网络，只能在两个节点间通讯。

要在群集节点间配置tmssa网络，该节点上的SSA适配器必须是包含共享磁盘的SSA环的一部分。

在这种情况下，每个节点都必须为SSA路由设备（ssar）而分配一个唯一的节点号码。

改变系统SSA节点号码的步骤如下：

1.       运行smittyssa快速路径

2.       选择Change/ShowSSANodeNumberofthisSystem.

3.       改变节点号码为集群环境下一个唯一的号码

更多信息请参考3.4.7“定义通讯设备”。

注意：

在使用并发磁盘访问的群集中，SSA路由器号码和HACMP节点号码的一致性是被强制要求的；否则，你将不能在并发模式下varyon共享的卷组。

标记模式的SCSI（tmscsi）

另一种使用非IP网络是使用目标模式的SCSI连接。

无论何时你使用共享的SCSI设备，你就可以使用SCSI总线交换心跳。

tmscsi只支持微分SCSI-II和Fast/Wide微分SCSI-II，HACMP中不支持其他的SCSI标准。

在某些配置中不建议您使用这种网络（因为它只支持部分的共享SCSI磁盘）。

3.2.存储配置

存储配置是开始执行HACMP群集配置前最为重要的任务之一。

存储配置可以认为是HACMP配置的一部分。

依赖于应用需求和存储类型，你要考虑群集中多少个节点需要访问共享存储和那些资源组使用那些磁盘。

HACMP支持大多数的IBM存储子系统。

更多信息请参考SC23-4861-02。

最常用的存储子系统如下：

Ø       光纤连接存储服务器（FAStT）

Ø       企业级存储服务器（ESS/Shark）

Ø       串行架构存储（SSA）

存储保护（数据或其他）依赖于HACMP；在高可用性存储中，你必须使用正确的冗余和容错级别。

HACMP没有对存储可用性的控制。

为保护数据，你可以使用RAID技术（存储级别或适配器级别）或者AIX逻辑卷镜像。

廉价冗余磁盘阵列（RAID）

磁盘阵列是这样一组磁盘驱动器，它们协同工作对数据的传输高于单个（独立的）驱动器。

阵列同样可以提供冗余功能以保证在阵列中一个磁盘失效时数据不会丢失。

依于RAID级别的不同，数据可以被镜像、条带化或同时条带化和镜像。

RAID0

即数据条带化。

按照惯例，数据只能从一个磁盘中读出，使用了条带化后，信息被分割成块（固定大小的数据称为块），块可以被并行的写入（或读出）到一系列磁盘中去。

它有两个好处：

多个重叠的I/O流可以使数据传输率提高。

非对称模式消除了数据分配（带来的问题），因而提供了随机访问的吞吐量。

这就意味着数据被平均分配到一组磁盘中，随机访问就有可能通过多个磁盘快速找到需要的信息从而带来吞吐量增加的好处。

RAID0设计为只提高性能，它没有冗余，因此任何磁盘失效都必须从备份中恢复。

RAID1

即磁盘镜像。

每个数据块拷贝被存在不同的磁盘上，每个磁盘都有个包含精确拷贝信息的镜像（就像双胞胎），如果一块磁盘失效，镜像盘维护数据的可用性。

读性能会提高，写性能会降低。

RAID1提供了冗余，但是数据还应该被备份，这是意外恢复的唯一途径。

RAID2和RAID3

RAID2和RIAD3是并行访问阵列的机制，所有驱动器在真理中的操作是一致的。

他们的区别在于RAID2使用多块校验盘，RAID3只使用一块。

如果一个驱动器失效，数据可以从保留盘和校验中被重建，此时性能极低，因为所有盘都参与计算，基本上不能执行其他操作。

RAID4

它使用更大的数据块并将数据条带化到所有的驱动器上（除了保留的校验盘）降低RAID3的缺点。

使用条带化意味着I/O需求只和需要的数据所在的磁盘有关，这就是说其它操作是可能的。

无论如何，写需求时（读、改变、更新循环在单个校验盘上执行）会造成瓶颈。

创建新数据时总要重新进行校验并写入，此时校验盘不能被其它操作并行使用。

这个瓶颈说明了RAID4不如RAID5常用的原因。

RAID5

很像RAID4，区别在于校验信息分布在数据使用的所有磁盘上，这就消除了瓶颈，校验数据从不保存在同一块磁盘上，这意味着并发的磁盘读写操作都可以实现，性能也随之提高（相对单个校验盘）。

它的数据数据传输率接近适配器速度。

RAID0+1（RAID10）

即IBM的增强型RAID1

有关各种RAID级别的比较参见Table3-2

光纤连接存储服务器（FAStT）

HACMP支持不同型号的FAStT存储，本书未能涵盖所有FAStT产品，为方便理解，提供了FAStT900存储的配置例子。

FAStT900存储服务器

FAStT900存储服务器支持直接连接4个主机（每个主机两个主机适配器），它被设计为提供最大的主机端和驱动器端冗余。

如果使用光通道交换机，最多可以连接64个主机（每个主机两个主机适配器）到FAStT900存储服务器上。

配置FAStT900存储服务器以前，参考配置要求确保所有硬件连接和线缆连接都已完成。

更多相关信息请参考GC26-7530：

“FAStT900存储服务器安装指南”。

FAStT存储管理软件

配置FAStT存储的唯一途径是使用FAStT存储管理软件。

FAStT存储管理软件支持大多数操作系统，AIX、Linux和Windows®XP/2000。

使用FAStT存储管理软件可以配置支持的RAID级别、逻辑驱动器和分区，它支持的RAID级别是RAID0、RAID1、RAID5和RAID0+1。

在FAStT存储管理软件中配置RAID0+1没有选项，在多个磁盘上选择RAID1，FAStT存储管理软件会自动对数据进行条带化和镜像操作。

它允许按主机操作系统要求格式化逻辑驱动器。

FAStT存储管理软件有多个版本，V8.4是支持FAStT900存储服务器的版本。

它有如下新特性：

Ø       FlashCopy®

快闪拷贝驱动器是在存储子系统中另外一个逻辑驱动器的瞬间映像。

快闪拷贝相当于一个完全的物理拷贝，但是你可以快速创建它并且它的磁盘空间需求较少（源逻辑驱动器的20%）。

Ø       远程镜像选项

远程镜像选项用于在远程在线、实时同步数据。

Ø       卷拷贝

卷拷贝选项是一个基于固件的在同一存储阵列中同步逻辑驱动器数据的机制。

用户在两个兼容驱动器上提交卷拷贝要求，卷拷贝要求是持久的以便拷贝进程的相关结果会报告给用户。

Ø       存储分区

存储分区允许用户通过给存储卷影射不同的LUN（0-255）号码来对存储进行分区并将它们提供给用户（在SAN环境下）。

这些卷（LUN）只影射到主机端口或配置为访问卷（LUN）的端口。

这一特性使得多个使用不同操作系统、不同存储子系统的主机在同一时间连接到FAStT存储服务器上。

企业级存储服务器（ESS/Shark）

IBM企业级存储服务器是一个高性能的、高可用性、可管理性和可扩展性集于一身的业界领先的第二代海量存储系统。

ESS中的RAID级别已经被预定义，只能做有限的改动，它们是：

RAID1，RAID5和RAID0+1。

IBMESS不仅仅是将共享存储至于企业级的平台之上，它还提供了多种强大的特性来在企业范围内的存储资源上提高性能、可用性、可扩展性以及可管理性。

其中一些特性在名称上和FAStT存储一样，但是技术概念有了很大的扩展。

主要有：

Ø       FlashCopy

提供快速的数据同步能力。

这个选项消除了为执行周期性备份和恢复而需要对应用进行停止。

Ø       点到点远程拷贝

这个特性在远程维护一个数据的同步拷贝（在日期上和主拷贝同步）。

备份的拷贝可以在主系统失效时快速恢复而不丢失任何交易；它可以逐字地保持您运行的电子商务应用（这是一个可选的能力）。

Ø       扩展远程拷贝（XRC）

这个特性在远程（可以在不受距离限制的长途通讯线路上连接）提供一份数据的拷贝来用于主存储系统失效。

ESS完全版本的XRC提高了对计划外停机的支持。

在长途通讯线路失效时，它允许第二个备份站点在不需要主站点全部数据的副本的情况下进行快速的重新同步以实现灾难恢复保护。

Ø       自定义卷

自定义卷功能能在高端服务器上定义不同大小的卷以使管理员对系统进行调优。

Ø       存储分区

存储分区用来使存储设备在本身有限存储能力的情况下更高效的为服务提供访问，存储池可以在多个服务器间共享。

串行存储架构

SSA是对I/O设备提供高性能的容错连接的工业标准接口。

在SSA子系统中，传输到多个目的是复合的；有效的带宽增加了个别链路的可用空间。

在一个SSA环中，命令是自动向前的直到达到目的地。

多个命令可以同时在SSA上运动。

SSA支持RAID0，RAID1，RAID5和RAID0+1。

要使用RAID设置，必须按照SSA笼（enclosure）执行成环指令。

指定在磁盘上成环是创建RAID的先决条件。

更多SSA配置信息请参考SA33-3287：

IBM高级串口RAID适配器安装指南。

3.2.1.   共享的LVM

对HACMP群集来讲，关键要素就是高可用性应用使用的数据，这些数据保存在AIX逻辑卷管理器的实体中。

HACMP使用LVM的能力来使这些数据可以被多个节点访问。

AIX的逻辑卷管理器为多个节点提供共享的数据的访问。

共享的逻辑卷管理器有如下组件：

Ø       共享卷组（sharedVG）

Ø       共享物理卷（sharedPV）

Ø       共享的逻辑卷（sharedLV）

Ø       共享的文件系统（sharedFS）

如果你是一个HACMP群集的系统管理员，你将要执行以下LVM相关任务：

Ø       创建一个新的共享卷组

Ø       扩大、减小、改变或删除一个已经存在的卷组

Ø       创建一个新的共享逻辑卷

Ø       扩大、减小、改变或删除一个已经存在的逻辑卷

Ø       创建一个新的共享文件系统

Ø       添加或删除物理卷

当在共享的LVM组件上执行这些维护任务时，确保卷组在导出并重新导入时所有者和权限都已被重新设置。

执行卷组导出和导入后，它的所有者是root访问权属于system组。

注意：

应用程序，像一些数据库服务器使用裸逻辑卷，这些裸逻辑卷设备的所有者可能会发生变化，你必须恢复所有者和权限已完成这一步骤。

共享的逻辑卷的访问可以通过以下模式使其可用：

Ø       非并发访问模式

Ø       并发访问模式

Ø       增强型并发访问模式

3.2.2.   非并发访问模式

在非并发访问环境下，典型的是用户使用JFS来管理数据，可是一些数据库应用会绕过JFS之间访问逻辑卷。

非并发访问模式对LVM地访问支持镜像和非镜像两种配置。

要在节点上创建一个非并发访问的共享卷组，执行以下步骤：

1.       使用快速路经smittymkvg

2.       如果没有特殊需求的话就使用默认值

-         VOLUMEGROUPname

共享卷组名称——在群集中必须唯一

-         ActivatevolumegroupAUTOMATICALLYatsystemrestart?

选择No以便VG被群集事件脚本正确的激活

-         ACTIVATEvolumegroupafteritiscreated?

选择Yes

-         VolumeGroupMAJORNUMBER

确保在所有节点上使用相同的VGMAJORNUMBER

在节点上创建非并发的文件系统的步骤如下：

1.       使用快速路经smittycrjfs

2.       重新命名文件系统和VG的逻辑卷名称和日志逻辑卷名称

当创建逻辑卷时，AIX会给它起一个名字（例如/dev/lv00，/dev/lv01）。

在HACMP群集中共享逻辑卷的名称必须唯一，同样存储JFS日志（jfslog）的逻辑卷名称也必须在群集中唯一。

3.       回顾一下下列项的值：

-         Mountautomaticallyatsystemrestart?

选No

-         StartDiskAccounting

选No

4.       通过mount和unmount来测试新创建的文件系统

在切换节点上导入卷组

导入以前确保卷组已经被主站点varyoff，然后执行HACMP恢复过程，它将在所有节点上收集所有关于卷组可用性的信息。

在切换节点上导入卷组必须在该节点上同步卷组ODM定义。

将卷组加入资源组时，可以选择在切换节点上手动导入卷组或者自动导入。

注意：

在切换节点上导入卷组后必须改变卷组启动状态，命令为：

#chvg–an–Qn

该命令禁用重启自动varyon功能和禁用卷组配额。

3.2.3.   并发访问模式

在HACMP中使用并发访问需要安装附加的文件集（具体请参考第二章：

规划与设计）。

并发访问模式不支持文件系统，因此，必须使用裸逻辑卷或裸物理卷。

创建并发访问卷组

物理卷（PV）应该被安装、配置并且可用（hdisk*），使用下列命令校验磁盘状态：

#lsdev–Ccdisk

1．要使用并发访问卷组，必须创建具有并发访问能力的卷组。

具有并发访问能力的卷组可以被varyon为非并发模式和并发模式。

创建并发访问卷组步骤如下：

进入smitcl_convg

选择CreateaConcurrentVolumeGroup.

按要求填入选项值

回车

导入具有并发能力的卷组

使用以下命令：

#importvg–C–yvg_namepv_name

将属于卷组的任何PV的名称作为importvg命令的参数。

默认情况下，导入非并发VG时AIX会自动将其varyon，但是导入并发VG时AIX不会自动将它varyon。

将具有并发能力的VG以非并发模式varyon

在具有并发能力的VG上创建逻辑卷时将它以非并发模式varyon上有必要地，命令如下：

#varyonvg

在具有并发能力的VG上创建逻辑卷

可以在VG上创建LV，指定LV镜像以提供数据冗余。

创建步骤如下：

使用快速路径smittycl_conlv

指定LV中LP的数目

在其他选项上指定其他期望值

回车

VaryoffVG

创建LV后应使用如下命令将卷组varyoff，以便使用HACMP群集脚本来varyon卷组：

#varyoffvg

在HACMP资源组中定义一个并发卷组

在HACMP启动脚本中指定卷组名称可以同时在所有节点上启动并发卷组。

群集启动时，你会发现在所有配置节点中并发卷组都被激活。

3.2.4.   增强型并发访问模式（ECM）卷组

在HACMPV5.1中，可以创建并使用增强型并发卷组，它可以用于并发访问，也可以用于非并发访问。

你还可以使用C-SPOC将现存的并发卷组转换为增强型并发卷组。

在非并发环境使用并发卷组比使用SCSI保留机制要好，HACMPV5.1使用快速磁盘切换机制来确保快速接管和数据完整。

注意：

HACMP快速磁盘接管仅用在AIX5LV5.2下。

被群集所有节点varyon的ECM卷组是资源组的一部分。

然而，对数据的改变只能在拥有资源组活动权的节点（在线节点）上进行。

ECM中激活和被动varyon

ECM卷组可以在节点上被激活或者被动varyon

激活varyon

这种状态下，所有高级操作都可以执行，如下：

Ø       文件系统操作，例如mount

Ø       应用操作

Ø       逻辑卷操作，例如创建逻辑卷

Ø       同步卷组

被动varyon

当ECM处于被动varyon状态时，LVM提供等同于LVM级别的VG。

这时只能执行一些有限的只读操作：

VG中指定文件的LVM只读操作

该VG的所有LV的前4KB的LVM只读操作

以下操作不允许执行：

文件系统操作如mount

LV的打开、写操作

同步卷组

创建增强型并发访问卷组

1．在AIX5LV5.1上创建并发访问卷组时，它们自动被创建成ECM卷组

2．在AIX命令行下创建并发卷组使用mkvg命令。

例如：

#mkvg–n–s32–C–ymyvghdisk11hdisk12

将在hdisk11和hdisk12两块磁盘上创建ECM卷组。

参数如下：

-n引导时不对卷组varyon

-s32指定PP大小为32MB

-C创建增强型并发VG

-y指定VG名称

3.2.5.   快速磁盘接管

这是HACMPV5.1的新特性，包含以下功能：

减少应用停机时间，快速资源组切换（和转移）

对VG实现并发访问（保留数据的完整性）

使用AIX增强型并发卷组

使用RSCT通讯

增强型并发卷组支持活动的和被动的varyon，也可以被包含在非并发的资源组中。

HACMP软件会自动安装快速磁盘接管（特性），对所有被创建为ECM的卷组和它包含的文件系统，HACMP都会激活快速磁盘接管特性。

当HACMP启动时，所有共享相同ECMVG的资源组节点会自动以被动模式varyon卷组。

资源组在线时，需要资源的节点以激活模式varyon卷组，其他节点保持对VG的被动varyon。

在这种情况下，从激活到被动（或相反）都是在群集启动时、资源组在线和失效时、失效节点重新加入群集时由HACMP控制的。

使用这项功能的先决条件是：

Ø       HACMPV5.1

Ø       AIX5LV5.2或更高

Ø       bos.clvm.5.2.0.11或更高

Ø       APARIY44237