上海地税局EMC存储实施配置报告.docx

1、上海地税局EMC存储实施配置报告上海地税局EMC CX4120存储系统实施配置报告提供方：青鸟软件股份有限公司日 期：2010/8/24接收方：上海地方税局日 期：2010/8/24青鸟软件股份有限公司2010年8月24日版本记录版本编号版本日期修改者说明1.02010/8/24商 文实施配置报告1.0版修订记录版本编号版本日期修改者说明1.1版权说明本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属美国EMC公司所有，受到有关产权及版权法保护。任何个人、机构未经美国EMC公司的书面授权许可，不得复制、引用或传播本文件的任何片断，无论通过电子形式或非电

2、子形式。目 录版本记录 2修订记录 2版权说明 21 概述 41.1目标及任务 41.2主机要求 42 系统配置 42.1 系统连接图 42.2 光纤交换机基本配置信息 52.3 交换机端口分配 62.4 交换机ZONE划分 62.5 CX4-120 LUN配置 83 EMC软件安装与配置 83.1 POWERPATH 安装与配置 84 维护相关 94.1 主机相关输出信息记录 94.2 EMC CLARIION CX 系列开关机注意事项及详细步骤 9基本顺序： 9开机前注意事项： 9开机步骤： 10关机前注意事项： 10磁盘阵列关机步骤： 111 概述1.1目标及任务 CX4-120 安装上

3、架； 配置SAN 交换机 思科刀片服务器连接到CX4-120存储系统 实现Boot form SAN 配合VMware和Hyper-V实施虚拟化1.2主机要求HostnameSystem TypeModel TypeOperating SystemOperating System VersionHBA(Qty)Make ModelHyper-V-Server1Window思科刀片2008Enterprise2Cisco Hyper-V-Server2Window思科刀片2008Enterprise2CiscoHyper-V-Server3Window思科刀片2008Enterprise2Cis

4、coHyper-V-Server4Window思科刀片2008Enterprise2CiscoHyper-V-Server5Window思科刀片2008Enterprise2CiscoHyper-V-Server6Window思科刀片2008Enterprise2CiscoHyper-V-Server7Window思科刀片2008Enterprise2CiscoHyper-V-Server8Window思科刀片2008Enterprise2CiscoVMware-Server1VMware思科刀片ESX4.02CiscoVMware-Server2VMware思科刀片ESX4.02CiscoV

5、Mware-Server3VMware思科刀片ESX4.02CiscoVMware-Server4VMware思科刀片ESX4.02CiscoVMware-Server5VMware思科刀片ESX4.02CiscoVMware-Server6VMware思科刀片ESX4.02CiscoVMware-Server7VMware思科刀片ESX4.02CiscoVMware-Server8VMware思科刀片ESX4.02Cisco2 系统配置2.1 系统连接图该系统由三个部分组成，EMC存储、光纤交换机、Cisco UCS 刀片服务器构成。一台EMC存储 CX4-120 配置为双控制器、20块15

6、000转450G（裸容量为9TB）；两台光纤交换机思科的MDS9124、24口4G端口；一套思科刀片服务器双控、配置2个刀笼（每个刀笼8个刀片，共16片刀）；该系统为全冗余结构，存储CX4-120双控上连到2台MDS9124光纤交换机；思科刀片双控上连到2台MDS9124光纤交换机。到存储或刀片服务器任何一个控制器损坏，都可以保证系统正常。如下图所示：上海地税局SAN网络连接图2.2 光纤交换机基本配置信息ModelMDS 9124MDS 9124Switch NameMDS-9124-TopMDS-9124-BottomadministratoradminAdminPasswordCisco

7、123Cisco123IP Address78.20.38.14278.20.38.143Netmask255.255.255.0255.255.255.0Gateway78.20.38.25478.20.38.254Kernel Version4.1(3a)4.1(3a)Fabric OS4.1(3a)4.1(3a)domain id11Zone ConfigTop-cfg-v100Bottom-cfg-v1002.3 交换机端口分配交换机mds-9124-top 端口分配PortMDS-9124-TopWWN (Port Name + Node Name)1CX4 120 SPB350:0

8、6:01:68:44:60:12:89 50:06:01:60:c4:60:12:892Cisco UCS 6124XP FC 1/120:41:00:05:73:a1:6c:80 20:64:00:05:73:a1:6c:813CX4-120-SPA450:06:01:60:44:60:12:89 50:06:01:60:c4:60:12:89交换机mds-9124-bottom 端口分配PortMDS-9124-BottomWWN1CX4 120 SPB450:06:01:69:44:60:12:89 50:06:01:60:c4:60:12:892Cisco UCS 6120XP FC1

9、/120:41:00:05:73:a1:73:40 20:64:00:05:73:a1:73:413CX4 120 SPA350:06:01:61:44:60:12:89 50:06:01:60:c4:60:12:892.4 交换机ZONE划分1、交换机mds-9124-buttom Zone划分!-zone 的配置zone name blade2_CX4_120_SPB3 vsan 100 fcalias name CX4_120_SPB3 vsan 100 interface fc1/1 swwn 20:00:00:05:9b:76:05:c0 fcalias name blade2 vs

10、an 100 interface fc1/2 swwn 20:00:00:05:9b:76:05:c0zone name blade2_CX4_120_SPA2 vsan 100 fcalias name CX4_120_SPA2 vsan 100 interface fc1/3 swwn 20:00:00:05:9b:76:05:c0 fcalias name blade2 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:05:c0!-zoneset 的配置zoneset name top-cfg-v100 vsan 100 zone name

11、 blade1_CX4_120_SPB2 vsan 100 fcalias name CX4_120_SPB2 vsan 100 interface fc1/1 swwn 20:00:00:05:9b:76:1a:40 fcalias name blade1 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:1a:40 zone name blade1_CX4_120_SPA3 vsan 100 fcalias name CX4_120_SPA3 vsan 100 interface fc1/3 swwn 20:00:00:05:9b:76:1a:

12、40 fcalias name blade1 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:1a:402、交换机mds-9124-top Zone的划分!-zone 的配置zone name blade1_CX4_120_SPB2 vsan 100 fcalias name CX4_120_SPB2 vsan 100 interface fc1/1 swwn 20:00:00:05:9b:76:1a:40 fcalias name blade1 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:1a

13、:40zone name blade1_CX4_120_SPA3 vsan 100 fcalias name CX4_120_SPA3 vsan 100 interface fc1/3 swwn 20:00:00:05:9b:76:1a:40 fcalias name blade1 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:1a:40!-zoneset 的配置zoneset name bottom-cfg-v100 vsan 100 zone name blade2_CX4_120_SPB3 vsan 100 fcalias name CX

14、4_120_SPB3 vsan 100 interface fc1/1 swwn 20:00:00:05:9b:76:05:c0 fcalias name blade2 vsan 100 interface fc1/2 swwn 20:00:00:05:9b:76:05:c0 zone name blade2_CX4_120_SPA2 vsan 100 fcalias name CX4_120_SPA2 vsan 100 interface fc1/3 swwn 20:00:00:05:9b:76:05:c0 fcalias name blade2 vsan 100 interface fc1

15、/2 swwn 20:00:00:05:9b:76:05:c02.5 CX4-120 LUN配置主机名称 绑定LUN号大小Storage Group备注Hyper-V-Server1040GHyper-V-Server1 Boot LUNHyper-V-Server2140GHyper-V-Server2Boot LUNHyper-V-Server3240GHyper-V-Server3Boot LUNHyper-V-Server4340GHyper-V-Server4Boot LUNHyper-V-Server5440GHyper-V-Server5Boot LUNHyper-V-Serve

16、r6540GHyper-V-Server6Boot LUNHyper-V-Server7640GHyper-V-Server7Boot LUNHyper-V-Server8740GHyper-V-Server8Boot LUNVMware-Server1840GVMware-Server1Boot LUNVMware-Server2940GVMware-Server2Boot LUNVMware-Server31040GVMware-Server3Boot LUNVMware-Server41140GVMware-Server4Boot LUNVMware-Server51240GVMware

17、-Server5Boot LUNVMware-Server61340GVMware-Server6Boot LUNVMware-Server71440GVMware-Server7Boot LUNVMware-Server81540GVMware-Server8Boot LUNHyper-V-Server18161.7TBnoneData LUN for Hyper-V VMware-Server18171.8TBnoneData LUN for VMware ESX备注：由于是Boot from SAN 此时刀片服务器还没有配置IP地址,手动注册使用的是WWN地址来完成注册。 LUN16映射

18、给Hyper-V-Server1至Hyper-V-Server8 做为Data LUN；LUN17映射给VMware-Server1至VMware-Server8 做为Data LUN；3 EMC软件安装与配置3.1 POWERPATH 安装与配置对于刀片服务器安装Windows Server 2008 Enterprise R2的操作系统、可以安装EMC的多路径冗余软件PowerPath；操作步骤如下：1. 安装EMC PowerPath步骤双击安装文件，根据向导完成安装过程。（安装完成后系统将重启）2. 配置 PowerPath，使用以下命令配置和保存路径 Powermt config P

19、owermt save3. 在平时维护时可以使用下面命令进行设备监控 Powermt display dev=all备注：对于刀片服务器安装RHEL5.0的操作系统时、可以使用Linux mpath命令来加载多路径管理；4 维护相关4.1 主机相关输出信息记录rootmail root# powermt display dev=allPseudo name=emcpoweraCLARiiON ID=CKM00090900095 MailLogical device ID=60060160635424009E689AE2DD8FDF11 LUN 3state=alive; policy=CLAR

20、Opt; priority=0; queued-IOs=509Owner: default=SP B, current=SP B=- Host - - Stor - - I/O Path - - Stats -# HW Path I/O Paths Interf. Mode State Q-IOs Errors= 0 QLogic Fibre Channel 2300 sda SP A0 active alive 0 0 0 QLogic Fibre Channel 2300 sdb SP B0 active alive 257 0 1 QLogic Fibre Channel 2300 sd

21、c SP A1 active alive 0 0 1 QLogic Fibre Channel 2300 sdd SP B1 active alive 252 04.2 EMC CLARIION CX 系列开关机注意事项及详细步骤基本顺序：开机： 光纤交换机存储设备主机系统关机： 主机系统 存储设备光纤交换机开机前注意事项：1 磁盘阵列在加电前，为确保磁盘柜散热和工作正常，请确认所有磁盘柜的每个槽位都已经插上硬盘和挡风板。2 开机前需确保SPE或DPE至少要有一个正常工作的SP，每个DAE都至少要一块正常工作的LCC。开机步骤： 1 检查所有供电线路联接是否正常,是否有松动或改动并改正。2 从

22、机柜顶部开始，由上至下打开所有DAE磁盘机箱的电源。3 打开SPE（或DPE）机箱上两个电源的开关(机柜内部)。4 打开机柜最底部两个电池（SPS）（CX300可以只有一个）的开关 5 开机完成.关机前注意事项：1. 警告: 请不要在关闭两个电池(SPS)的电源开关前，关闭SPE,DPE,DAE等盘柜的任何一个电源,否则很可能会导致严重错误，并造成数据丢失! （CX300可能只有一个SPS）2. 即使关闭两个电池(SPS)的电源开关后，也需要等待3分钟直到CX存储写缓存中的数据完全写入到硬盘上后，才可关闭DAE，SPE或DPE等盘柜的电源3. 停止所有对CX磁盘阵列访问的应用，以便所有的I/O能被从SP的写缓存写回到前5块盘上。4. 如果有UNIX服务器连接在CX磁盘阵列上，必须umount UNIX服务器所有与CX磁盘阵列相关的文件系统。磁盘阵列关机步骤： 1. 关闭机柜最底部的两个电池开关并等待约3分钟直到CX存储写缓存中的数据完全写入到硬盘上后，可看到电池的信号灯完全熄灭，且应看到因电池停止供电，SPE或DPE机箱及DAE-OS磁盘机箱的电源灯熄灭。2. 关闭SPE或DPE机箱及DAE-OS磁盘机箱的电源开关3. 由下至上，关闭所有DAE磁盘机箱的开关(机柜内部)4. 关闭机柜后面两侧机柜总开关5. 关机完成.