ANSITIA942数据中心的电信基础设施标准Word版.docx

1、ANSITIA942数据中心的电信基础设施标准Word版TIA-942 ，数据中心的电信基础设施标准数据中心设施的设计策略摘要Cisco 企业数据中心网络体系结构是 Cisco Systems 公司 为满足 IT 环境的业务需求提供灵活支持而设 计的一种 集成化和具有适用性 的网络体系结构，它在很大程度上依靠基础物理设施来提供保证 IT 环境完美、可靠运行的电源设备、冷却设备、物理机架、布线、物理安全和防火措施。本白皮书讲述了支持新兴的虚拟运算环境的各项设施的设计策略。简介 数据中心的管理员们如今更趋向于考虑如何让 IT 更好地为商业策略服务、提高运营效率和为持续发展提供技术平台这些问题。 C

2、isco 企业数据中心网络体系结构是一种 集成化和具有适用性 的网络体系结构，它在支持新兴的面向服务的架构、基础设施虚拟化以及按需计算的同时，也支持 IT 组织对 （数据） 整合、业务持续性和安全的直接需求。这种体系结构让 IT 管理者可以配备对其目前商业目标提供最佳支持的技术，并且可以高效地引入未来的服务和应用。Cisco 企业数据中心网络体系结构的关键部分之一是让 IT 环境得以运转的物理设施电源设备、冷却设备、物理支架、布线、物理安全和防火措施。业界的一些企业，包括 APC ，用术语“网络关键物理基础设施”（ NCPI ）来概括这套设施： 电源 设备 供电基础设施包括楼宇电力供应入口、主

3、配电设备、发电机（组）、不间断电源（ UPS ）供应系统和电池、过电压保护、变压器、配电盘，以及断路器。 冷却 设备 数据中心的散热系统，包括机房专用空调机组（ CRAC ）及其相关子系统（制冷装置、冷却塔、冷凝器、 风道 ( ductwork) 、泵组、 管道系统 ( piping) ）以及机架级或行级制冷设备或空气分配设备。 布线数据线缆用不同的材料和连接器来优化系统性能和灵活性，而系统管理则为长距离通信保持这种优化。关于电源线，在本白皮书中也有说明。 机架和物理结构这些要素中最重要的是放置 IT 设备的机架结构、房间 的 物理要素（如：吊顶和活动地板），以及布线通道。 管理系统要让系统可

4、靠地运行，对所有物理组件进行监控是很重要的。管理系统包括各种系统，如：楼宇管理系统、网络管理系统、网元管理器以及其它监控软件和硬件。 接地这包括普通接地网络和保护数据中心设备不被静电放电损坏的接地设备。 物理安全和防火措施这里所说的子系统是指室内和机架级的物理安全设备以及火灾隐患检测 /排除系统。如果按照传统方法将以上要素单独 落实 ，得到的将是一个复杂而且无法估量的系统，其组件并不能协同工作。对这些组件的管理工作也变得冗杂，因为必须将各种不同的管理系统拼凑到一起来，即使这样可能都无法为可靠关键业务操作提供必需的完全监控。然而，如果这些要素被整合到一个由全局系统管理系统支持的完善的端对端系统中

5、，该系统将会提供支持 Cisco 企业数据中心网络体系结构所需的必要基础设施。数据中心的供电问题和不间断电源 (UPS)问题 如今的 IT 系统出现了一些在三十年前研发现代数据中心供电原理时无法预见到的新供电问题。专家提出了五个解决目前供电系统问题的基本要求，供电系统应该：1. 是 一个模块化的、能方便发展并适应不断变化的供电需求的供电系统。系统需求很难预测，而且大多数系统都过于庞大。研究表明，现在的标准数据中心利用率还不到其基础设施实际能力的 50% 。产业前景预测也显示了不断攀升且不可预计的功率密度需求，而新的数据中心必须符合至少未来 10 年内的需求。2. 采用 能减少或简化规划和定制设

6、计的一种预先设计组件的标准供电解决方案，以加快工作进度。传统供电系统的规划和独立设计需要 6 至 12 个月，与大多数企业的规划期比起来过于漫长。设计耗费时间、价格昂贵且是后续质量问题的根源之一，这让后期安装的扩展和修改变得非常困难。3. 是 一个具有防错功能且能减少单点故障以增加系统可用性的供电系统。根据 Uptime Institute 提供的信息， 40% 的宕机时间都是人为故障造成的。另外，传统 不间断电源供应 系统使 IT 设备负载过高，以至于需要使用更多断路器来模拟单点故障。4. 是 一个提供机架级和电源级供电监控的管理系统。服务器间的动态功率变化以及机架级的持续变化、调整的负载，

7、会引起意外的超负荷和机架过热情况。随着每个机架的功率密度不断提高，这些问题只会越来越严重。5. 是 一个使用标准化、可热交换和 用户 耐用的 模块以减少平均修复时间（ MTTR）的供电系统。在传统系统中，没有随时可用的备用部件，诊断和修复都需要进入系统操作。这些系统太复杂了，所以技术服务人员和维护人员往往会在操作和维护系统时犯错或中断放弃。为满足以上要求，必须对现在的设计思路进行一些改进。供电设备的技术和设计，以及如何测定数据中心的供电情况，都需要改进。对供电系统组件的集成工作应从目前惯用的独立系统设计的设计思路转变为采用预先设计甚至预先生产的解决方案。UPS 系统设计配置 从楼宇的市电电源配

8、电给数据中心的临界载荷是 UPS 系统设计的五种配置之一。为特定应用选择哪一种配置，取决于可用性需求、风险承受能力、数据中心负载类型、预算以及现有供电基础设施。很多因素都会影响系统的可用性，包括人为故障、组件可靠性、维护安排和修复时间。在很大程度上来说，因素对整个系统可用性的影响，取决于该系统选择哪种配置。表 1 列出了五种配置以及其相应的可用性排名、 “ 等级 ” 和成本。表 1. UPS 配置可用性与成本UPS 配置 描述 可用性排名 等级 * 每套机架所需费用（ US$ ） 容量 (N) 单一 UPS 模块或一组并联 UPS 模块 1 = 最低 等级 13,500 至 18,000 美元

9、 串联冗余 正常情况下由一个主要的 UPS 模块为负载供电；一个辅助的（“独立”） UPS 为主 UPS 模块的静态旁路供电 2 等级 18,000 至 24,000 美元 并联冗余（ N+1 ） 多个并联的容量相同的 UPS 模块共用一条输出总线 3 分布式冗余 三个或多个具有独立输入和输出电路的 UPS 模块 4 等级 24,000 至 30,000 美元 双总线系统 (2N, 2N+1) 两条完全独立的供电线路，每条都可以独立支持负载 5 = 最高 等级 36,000 至 42,000 美元 * “等级”根据由 Uptime Institute ( ) 定义的特定目标来划分系统可用性。

10、计算数据中心的功率需求 除了选择 UPS 配置方案，计算数据中心的电力需求也是必要的。这就需要了解制冷系统、 UPS 系统和 IT 负载所需的电量。虽然这些元素的功率需求可能实际上相差很多，但是如果已经确定了已规划 IT 负载的功率需求，就可以准确估计出这些元素的功率需求。除了估计电力线路的容量，这种计算还可以用于估计备用发电机系统的功率输出容量。表 2 是一张数据中心功率需求的合理估算的数据表。一旦确定了电力线路的容量大小，就可以在有资质的设备系统提供商（如果是大型数据中心，则是咨询工程师）的帮助下，开始规划工作。 表 2. 数据中心功率需求数据表项目 所需数据 计算合计（ kW ）功率需求

11、电力 临界载荷来自 APC 网站的估算计算器值 每个 IT 设备的额定功率 ( 计算器总 VA 值 x 0.67)/ 1000 #1 _kW 对于估算计算器中没有列出的设备，临界载荷铭牌 合计 VA 值（包括消防、安全和监控系统） ( 合计 VA 值 x 0.67)/1000 #2 _kW 未来的负载 每个预期 IT 设备的铭牌 VA 值 ( 未来设备的累计 VA 额定值 )x 0.67/1000 #3 _kW 由于临界载荷变化导致的峰值功率下降 稳定状态临界载荷的总功率下降值 ( #1 + #2 + #3 ) x 1.05 #4 _kW UPS 功率损耗和电池充电 实际负载 + 未来负载 (

12、 #1 + #2 + #3 ) x 0.32 #5 _kW 照明设施 与数据中心有关的地板总面积 0.002 x 地板面积 ( 平方英尺 ) 或 0.0215 x 地板面积 ( 平方米 ) #6 _kW 用于满足电源需求的总功率 上述 #4 、 #5 和 #6 的总和 #4 + #5 + #6 #7 _kW 功率需求制冷 用于满足制冷需求的总功率 上面 #7 中的总和 对于制冷机系统 #7 x 0.7 对于 DX 系统 #7 x 1.0 #8 _kW 总功率需求 用于满足电源和制冷需求的总功率 上面 #7 和 #8 中的总和 #7 + #8 #9 _kW 估算电力线路容量 满足 NEC 和其他

13、规范组织的需求 上面 #9 中的总和 #9 x 1.25 #10 _kW 线路入口处提供的三相交流电压 交流电压 #11 _kW 需要从供电公司获取的电力容量（以安培计） #10 中的总和以及 #11 中的交流电压 (#10 x 1000 ) / (#11 x 1.73 ) _ 安培 估算备用发电机容量（如果可用） 需要备用发电机的临界载荷 上面 #7 中的总和 #7 x 1.3* #11 _kW 需要备用发电机的制冷负载 上面 #8 中的总和 #8 x 1.5 #11 _kW 所需发电机的容量 上面 #12 和 #13 中的总和 #12 + #13 _kW * 1.3 变量适用于使用功率因数

14、完全修正后的 UPS 。如果使用带有输入谐波滤波器的传统双转换 UPS ，则必须乘以 3.0 。 数据中心的冷却 自 1965 年以来，数据中心的冷却设施设计只有过很少的改动。这使得与冷却有关的问题日渐突显，尤其是在高密度计算出现以后。目前的冷却系统都必须符合表 3 中列出的五种关键要求。 表 3. 冷却系统的五种关键要求 要求 描述 可扩展性和适应性 冷却系统的需求很难预测，并且，为了满足未来的需要，冷却系统体积普遍较大，因为很难在现有运行空间中加强冷却能力。设备负载常常在不知道冷却系统是否受到影响的情况下悄然改变。 标准化 客户定制设计是一项费时、高成本的工作，并且是后续质量问题的主要根源

15、之一，因为典型的安装工作会涉及到一大批供应商。系统的规划和特别设计需要 6 至 12 个月时间，跟大多数企业的规划期相比，这个时间 过于 漫长。而从特别设计的系统中获得的经验又很难应用到其它系统，因为特别的解决方案会出现特别的问题。 简单化 复杂的冷却系统因为人为故障而发生宕机的可能性要高得多，尤其是在修复工作复杂而且费时的情况下。此外，在处理定制的冷却解决方案时要规划和校验冗余也比较困难。 智能化 机架的上下温差可能高达 18F (10C) ，这会给单个 IT 设备带来意外的压力，致使设备过早损坏。 管理 传统冷却管理系统报告的数据通常与实际的故障征兆关系甚微，很少会提供对错误诊断有帮助的信

16、息。其冷却性能数据通常不是统计于单个的 CRAC 单元，因此无法深入了解系统的整体性能。 同供电系统一样，要解决冷却系统的问题，需要对现在的设计思路进行一些改进。这包括冷却设备技术上和设计上的改进，以及如何测定数据中心的冷却要求。冷却系统组件特别是空气分配和返回系统的标准化和集成化将极大地提升数据中心的可用性。 适度冷却与精确冷却 当今的技术室需要精密、稳定的环境，以便高敏感度的电子设备达到最佳运行状态。 IT 设备会产生不寻常的的集中热负荷，同时，其又对温度和湿度的变化非常敏感。标准空气调节系统并不适合数据中心使用，会造成系统关闭和组件故障。 设计条件应该在 72 75F (22 24C)

17、之间，相对湿度 35 50% 。不利的环境条件极具破坏性，温度的快速波动也会对 IT 设备造成不良影响。之所以硬件设备不处理数据也要一直通电，这是原因之一。精确空气调节系统用于长期将温度变化保持在 1F (0.56C) 之内，湿度变化保持在 3 5% 之内。而普通的“适度冷却”系统，则用于在夏季 95F (35C) 和湿度 48% 的外界条件下，使室内保持 80F (27C) 的温度和 50% 的湿度。数据中心环境若维护不善，会对数据的处理和存储操作造成负面影响： 高温或低温高温、低温或快速变化的温度可能使数据处理崩溃并造成整个系统关闭。温度变化可能改变电子芯片和其它板卡组件的电子、物理特性，

18、造成误操作或故障。这些问题可能只是暂时出现，也可能持续数日。不过即使是暂时出现的问题，也可能难于检测和修复。 高湿度 高湿度可能会造成磁带和表面变质、磁头损坏、机架结露、腐蚀、纸张处理问题、造成组件和板卡故障的金银 脱离 等问题。 低湿度低湿度在很大程度上增加了静电放电的可能性，这会破坏数据并损坏硬件。 精确空调系统的设计是为了进行精确的温度和湿度控制。精确空调系统具有方便的服务、系统灵活性和冗余性，可保证数据中心常年 24 小时正常运行。 计算数据中心的冷却需求 估算精确冷却系统的冷却容量需要了解 IT 设备和数据中心里其它热源的发热量。发热率的常用度量单位包括 BTU （英国热量单位） /

19、 小时、吨 / 天和瓦特。不同度量单位的混用给用户和规则制定者造成了很多不必要的混淆。令人欣慰的是，全球范围内的标准化组织都倾向于使用统一的标准单位：瓦特 (W) 。 BTU 和吨（指冰的冷却能力）这两个古老的术语将逐渐退出历史舞台。 IT 设备通过数据线传输的能量可以忽略不计。因此，交流电源干线所消耗的能量基本上都会转换为热量。（ PoE 设备与远程终端的数据传送可能会消耗多达 30% 的能量，但是本白皮书为简化问题，假设所有能量都消耗在本地设备上。）这样一来， IT 设备的 发热量 就可以简单地等同于该设备的电力 消耗量 （均以瓦特为单位）。更简单地说，系统总发热量（即冷却需求总量）即为各

20、组件发热量的总和，包括 IT 设备和其它项目，如 UPS 、配电系统、空调设备、照明设施以及人员。不过，这些项目的发热率可以通过简单的标准化规则轻松测算出来。 UPS 和配电系统的发热量由两部分组成：固定的损耗值和与运行功率成正比的损耗值。对于不同品牌和型号的设备，它们的这两部分热量损耗是十分一致的，因此可以比较准确地估计它们的发热量。照明设施和人员所产生的热量也可以用标准值很快估算出来。需要用户指定的变量，只有少数极易获取的数值，如地板面积和电力系统的额定功率等。 虽然空调设备的风扇和压缩机会产生巨大的热量，但是这些热量都被排放到室外，不会增加数据中心内部的热负荷。然而，这些不可避免的能量损

21、失会降低空调系统的效率，如果空调系统比较庞大，则这部分损失在计算时也应加以考虑。 可以根据数据中心中各项设备的发热量来进行详细的热量分析，不过利用简单规则而进行快速估算的结果也是在复杂分析结果的允许误差范围之内。这种快速估算法的优势还在于，不具备专业知识或未经过专业培训的任何人都可胜任这一工作。根据表 4 中的数据，可以迅速可靠地确定数据中心的总的热负荷。如果数据中心的墙壁或屋顶受到强烈的日照，或者还有其它的环境热量释放源，则应由 HVAC 咨询师来评估这些热源如何影响整个热量需求。 表 4. 数据中心散热量计算数据表 项目 所需数据 散热量计算 散热量分类汇总 IT 设备 IT 设备总负载（

22、所有 IT 设备电源输入功率之和） 等于 IT 设备总负载功率（瓦特） _W 带电池的 UPS 供电系统额定功率（ UPS 系统的额定功率，不包括冗余模块） (0.04 x 电源系统额定值 ) + (0.06 x IT 设备总负载功率 ) _W 配电系统 供电系统额定功率 (0.02 x 电源系统额定值 ) + (0.02 x IT 设备总负载功率 ) _W 照明设施 地板面积（单位：平方英尺或平方米，换算为瓦特） 2.0 x 地板面积（平方英尺），或 21.53 x 地板面积（平方米） _W 人员 数据中心最大人员数，换算为瓦特 100 x 最大人员数 _W 合计 _W 大型节点环境的制冷

23、随着高密度服务器 (Blade server) 技术的采用，空气分配和冷却能力方面又出现了新问题。因为高密度服务器将电源和冷却需求集中在一个 小型因数中 ，数据中心设施面临着服务器集群提出的新问题。表 5 提出了对这类环境进行制冷的五种建议方法。 表 5. 大型节点环境制冷方法 方法 描述 分散负载 设备室的供电和冷却能力达到最大设备数以下的平均值，并且通过拆分多个机柜中设备的方法来分散机柜上那些负载超过设计平均值的设备。 运用规则借用闲置冷却能力 设备室的供电和冷却能力达到最大设备数以下的平均值，并且运用规则使高密度机柜能够借用周围机柜的闲置冷却能力。 补充制冷 设备室的供电和冷却能力达到最

24、大设备数以下的平均值，并且根据需要使用补充的冷却设备去冷却密度超过设计平均值的机柜。 特定高密度区域 设备室的供电和冷却能力达到最大设备数以下的平均值，在具有高冷却能力的房间内划出一块特殊限制区域，只把高密度机柜安放在那里。 全局制冷 设备室中的每个机柜都具有满足最大机柜密度的供电和冷却能力 。 空气分配系统配置 在设计数据中心的冷却系统时，其目标是创建一个从冷空气源头到服务器通风口之间的洁净通道。根据性能、成本和实施难度不同，有九种基本方法可以提供 IT 设备的进出空气流。而空气的供应和返回都有三种基本方法来完成 CRAC 装置和负载之间的空气输送：（ 1 ）洪灌方式，（ 2 ）局部管道方式

25、，（ 3 ）全管道方式。表 6 图解了九种可能的组合方式。 APC 第 55 号白皮书，“ 关键设备的空调结构选择方案 ”描述了这九种空气配送方法及其各自的优点。 表 6. 冷却系统类型 洪灌方式回风 局部管道方式回风 全管道方式回风 洪灌方式送风 小型局域网机房（功耗低于 40kW ）： 可冷却功耗最高为 3kW 的机架 安装简单 成本低 一般用途： 可冷却功耗最高为 3kW 的机架 不需要活动地板 成本低 / 安装简单 适合解决高热机架问题： 可冷却功耗最高为 8kW 的机架 不需要活动地板 可提高 CRAC 装置的效率 局部管道方式 送 风 活动地板环境 活动地板环境 活动地板环境 硬地

26、板环境 硬地板环境 硬地板环境 一般用途： 可冷却功耗最高为 3kW 的机架 一般用途： 可冷却功耗最高为 5kW 的机架 高性能 / 高效率 适合解决高热机架问题： 可冷却功耗最高为 8kW 的机架 可改型（视厂商而定） 全管道方式 送 风 活动地板环境 硬地板环境 一般用途： 有垂直气流的机柜 /大型机 适合活动地板静压室环境 一般用途、大型机： 有垂直气流的机柜 /大型机 适合活动地板静压室环境 适合解决高热机架问题： 可冷却功耗高达 15kW 的机架 需要专门安装 使用高密度服务器所致冷却问题的十种最佳解决办法 一旦冷却系统设计安装完成，为保证系统的高性能，进行后续检查工作是很重要的。

27、更重要的是，要维护从服务器排出的热空气到 CRAC 装置的回流空气管道之间的洁净通道。很多因素都会降低现有冷却系统的运作效率和功率密度能力。表 7 列出了十种最佳解决方法，按执行方式由简到难、成本由低到高的顺序排列。 表 7. 高密度服务器部署所致冷却问题的十种最佳解决办法 方法 描述 进行“健康检查” 检查总的冷却能力，确保数据中心的 IT 设备对冷却的需要没有超过总的冷却能力。 检查所有风扇和报警装置是否运行正常。确保过滤器的清洁状态。 检查冷却器和 / 或外部冷凝器、泵送系统和初级冷却回路的状况。 检查数据中心通道中重要位置的温度。 记录每套机架底部、中部和顶部的空气入口处的温度，并与

28、IT 设备生产商的推荐值进行比较。 检查可能影响冷却性能的机架间隙（没装挡板的闲置机架空间、没装挡板的空刀片插槽、未封闭的电缆开口）或多余的缆线。 启动冷却系统维护制度 应该实行定期维护制度，以达到冷却设备生产商推荐的指导方针。 在机架中安装挡板，实行电缆管理制度 机架内未被利用的纵向空间让设备底部流出的热空气可以通过捷径回到空气入口处，致使设备不必要地升温。 清除地下障碍物并封闭地板间隙 地下障碍物，如网络和电缆，会阻碍空气流动并削弱对机架的冷气供应。 将高密度机架分开 如果高密度机架紧密聚集在一起，则大多数冷却系统的冷却能力都不够用。 采用热通道 / 冷通道布置 如果机架空气入口都朝向一个

29、方向，则上一排机架排出的热空气在通道中将和供应空气或室内空气相混合，然后进入到下一排机架的前面。 将 CRAC 设备与热通道对齐 当 CRAC 设备与热通道对齐时，可达到最佳冷却效率。在这种情况下，热空气可以直接流入回风管道，而很少有机会与冷空气流混合。 管理地板通风孔 机架气流和机架布局是影响冷却性能的关键因素。送风和回风通风孔的位置如果不当，会使得热通道 / 冷通道设计的种种优点丧失殆尽。 安装气流辅助装置 在有足够平均冷却能力，但却存在高密度机架造成的热点的场合，可以通过采用有风扇辅助的设备来改善机架内的气流，并可使每一机架的冷却能力提高到 3kW 8kW 。 安装自给高密度设备 在功率密度接近或超过每机架 8kW 的场合，需要将冷空气直接供应到机架的每一层（而不是从顶部或底部），以便使从上到下的温度保持一致。 以上方法可以使得数据中心能够在其峰值效率运行，以保证其可以胜任对商务过程的支持，并预防未来可能发生的问题。前八种方法可帮助典型数据中心在 其原始 设计的界限内正常运行。最后两条是对如何扩充典型数据中心冷却密度设计界限的建议（无需进行较大的重