高性能计算中心 高性能计算中心机房设计方案.docx

1、高性能计算中心 高性能计算中心机房设计方案高性能计算中心机房设计方案 目录1.1 总述 41.1.1 设计目标 41.1.2 需求分析 41.1.3 系统特点 41.1.4 高性能机房建设方案 51.2 空调系统 71.2.1 选型分析 71.2.2 空调配置 71.2.3 空调特点与优势 81.2.4 空调性能参数 91.3 机柜系统 101.3.1 机柜配置 101.3.2 机柜特点 101.3.3 机柜规格参数 111.4 机柜配电系统 111.4.1 配电模块配置 111.4.2 配电模块规格 121.5 行级监控系统 121.6 场地条件需求 141.6.1 摆放要求 141.6.2

2、 机房环境 141.6.3 室外场地 141.6.4 UPS 151.6.5 电源接入 151.6.6 接地 151.7 配置清单 15高性能计算中心机房设计方案总述设计目标高性能计算中心的建设和稳定高效运行，需要一套可靠的信息系统基础设施作为支撑保障，确保高性能计算中心机房各种电子设备的高效、稳定、可靠运行。本方案提供一套易管理、易维护、便于扩展、高效节能的机柜级制冷、配电、布线及监控系统一体化解决方案，与高性能计算IT设备配套集成一站式服务。需求分析本项目高性能计算中心IT设备总功耗不超过31KW，可用设备装机空间为126U。根据IT设备功耗及装机空间需求，配置机柜、机柜行级空调、行级配电

3、及监控系统，确保设备散热良好、气流组织有序、系统高效节能、易于控制管理。系统特点本机房方案采用曙光云座C1000系统整体解决方案，提供机柜、空调、配电和监控四个子系统模块整合的一体化方案，做到给用户一个全面的、先进的、功能满足要求的一站式解决方案，并适应高性能计算应用对机房基础设施的节能性、扩展性、智能性及建设周期的新要求。曙光云座C1000系统具有以下几大优势。CloudBase C1000机柜排级机房基础设施系统，是曙光公司为解决高密度刀片服务器散热问题所推出的以机柜排为单位、封闭风道的、以氟利昂为冷媒，包含机柜、配电、制冷、监控等四个子系统的整体解决方案。C1000机柜排级机房基础设施系

4、统解决了服务器设备高密度安装时产生的散热问题、配电问题、线缆管理问题及监控问题，具有高制冷能力、高可用性、节能等特点。曙光C1000系统采取机柜排内循环制冷，专门针对IT设备冷却散热，可以有效解决高密度制冷瓶颈，降低机房PUE值、节能降耗，降低对机房环境的依赖。另外，C1000系统还有智能化的配电管理模块和丰富的监控管理模块，可以统一集成到曙光管理软件平台下监控，实现机房基础设施与IT系统的智能化综合控制管理。此外，C1000机柜制冷系统和服务器等设备统一为曙光自有产品，机柜在风量、风压、风温上可以实现与服务器的最佳匹配，机柜配套和IT设备均由曙光统一设计，并由曙光统一提供一站式售后服务。高性

5、能机房建设方案机房共配置4个机柜，其中3台设备机柜、1台列头配电机柜、2组行间制冷空调。机房还需配置相关的机房空调、灭火柜、UPS、电池柜和配电柜等。各台设备摆放布局见下图图 机房布置图图 C1000系统设备摆放布局空调系统选型分析随着新一代计算机的晶体管集成密度越来越高，处理器的速度越来越快，服务器的发热量也急剧增长。当前，高集成的刀片式服务器已经成为科学计算的主力，刀片式服务器在提供更高密度、更高计算能力的同时也带来了更多的功耗。对于传统机房开孔地板下送风进行制冷的方式，由于气流难以像电流一样被约束，冷热气流的混合、对流、短路等，均会造成气流组织偏离设计值，从而使部分机柜得不到足够的风量或

6、者机柜内的部分服务器得不到足够的冷量，产生局部热区或热点；而同时又有一部分冷风没有被利用。这种情况降低了系统制冷的工作效率，浪费电能。美国采暖, 制冷与空调工程师学会研究得出，这种开放式的精密空调开孔地板下送风进行制冷的机房环境，只能解决约1.100- 1.500 W/m 的热量。那么如果按照每个机柜占用3m 空间计，那么也就是仅可以解决3-5 KW/机柜的热量。本方案IT设备主要采用高密度刀片服务器，单箱刀片5U高、功耗就高达46KW，传统地板下送风方式制冷远不能解决刀片应用的高密度散热需求。曙光云座C1000系统突破传统制冷概念，采用独立的水平送风制冷空调柜，配合机柜排柜门通道封闭设计，制

7、冷效率高、系统噪音低，冷热通道分离，就近精确送风，可以提供单机柜最高10KW至30KW的制冷能力。本项目高性能计算中心IT设备制冷采用曙光云座C1000系统氟冷行间空调与柜门封闭机柜实现。曙光C1000系统采取机柜排内循环、氟利昂制冷，专门针对IT设备冷却散热，可以有效解决高密度制冷瓶颈，降低机房PUE值、节能降耗，降低对机房环境的依赖。空调配置本方案采用曙光云座C1000系统空调为机柜内IT设备制冷，由冷却环境的“冷库”方式转变为冷却设备的“冰箱”方式。C1000系统效果图见下图。图 C1000系统整体效果图IT设备总功耗不高于31KW，共配置2台C1000氟冷空调室内机模块，每台空调提供3

8、0kW显冷量，一共提供60kW显冷量，空调具有除尘除湿功能。穿插在机柜排中摆放，每台C1000氟冷空调室内机模块显冷量为30KW，机组内部双系统高可靠性设计。配套配置2台C1000空调室外机，每台室外机内压缩机均为3+1冗余设计，其中3台为定速涡旋压机、1台为数码涡旋压机，数码涡旋压机可以调节冷媒量、有效保证制冷量的稳定输出。空调特点与优势曙光C1000系统，空调机穿插在机柜排中布局，且与机柜为左右并柜布置，空调与机柜的主体框架前后均留有通道设计，机柜排两端安装侧板，机柜排内形成冷热通道分离，正面为冷通道，背面为热通道，气流组织见下图示意，有效避免冷热风混合现象，实现就近精确送风，提高机组的制

9、冷效率。图 C1000封闭系统水平送风气流组织机柜和空调前后门形成封闭的冷热通道，冷风由空调前部的风机吹出，分配到两侧机柜的服务器前端，带走服务器产生的热量，之后集中回到空调机柜的后部，通过热交换产生冷风，完成一次循环。曙光云座C1000系统采用氟冷空调模块左右两侧送风形式，配合机柜排柜门通道封闭设计，冷热通道分离，气流组织有序，就近精确送风，循环风阻小、风量大，提高制冷效率，实现高密度制冷；出风温度设定20-25C，与传统下送风空调机相比能效比提高10-15%；全正面水平送风，保证了服务器机柜不同高度进风温度的均衡性，避免了局部热点，延长设备的使用寿命；制冷效率高、系统噪音低，可以解决最高单

10、机柜30KW的散热需求；空调机并排安装在机柜排中间，占地面积小，节省空间；与机柜一体化设计，外形一致，整体统一、美观。空调性能参数云座C1000空调 技术规格室内机外形尺寸高2000mm宽600mm深1365mm室内机框架尺寸高2000mm宽600mm深1200mm全冷量38KW显冷量30KW室内机最大风量7000m3/h室内机自重305Kg温度控制精度2.5室内机电源消耗2.5KW（建议采用UPS供电）室内机工作电压220V, 50HZ室内机工作温度范围15 C至30 C室外机外形尺寸高1772mm宽1980mm深880mm室外机电源消耗16.2KW室外机净重600kg室外机运行重量720k

11、g室外机工作电压380V, 50HZ室外机工作温度范围-10 C至45 C机柜系统机柜配置机房共配置4台C1000机柜，其中3台作为设备机柜、1台作为列头机柜。机柜采用曙光C1000机柜排封闭机柜，曙光C1000机柜打破传统的网孔门机柜模式，采用独特的主体框架配合机柜排柜门通道封闭方式，机柜自带进回风通道，和行间空调有效结合实现高密度的高效制冷。机柜特点 全封闭式机柜，采用冷热通道隔离的方式，配合空调实现高密度制冷； 双侧走线单元，方便高度密度线缆有序管理； 标配顶部一体化电源/数据线槽，更方便于走线； 精心设计的走线方案有效减少线缆占用空间，保证系统散热； 表面采用静电粉末喷涂处理，效果美观

12、； 强度高、重量轻、结构坚固。机柜规格参数云座C1000机柜 技术规格框架尺寸高2000mm宽600mm深1200mm外形尺寸高2000mm宽600mm深1365mm有效空间42U立柱安装孔中心距465.1mm1.6mm立柱间开裆尺寸451mm前后立柱间距650mm（服务器导轨、托轨安装距离需按此制作）立柱方孔尺寸9.5mm9.5mm自重173KG总载承重1000kg（静载）机柜配电系统配电模块配置曙光C1000系统采用机柜排列头配电模块PDM实现配电分散控制，机柜区域的配电由机柜列头配电模块PDM分配给各个机柜配电单元PDU和空调室内机，便于控制管理。共配置1台列头配电模块、6根机柜PDU，

13、PDM放置在机柜中机架式安装。PDM通过IEC309工业连接器与机柜PDU可靠连接，机柜的配电线缆通过工业连接器安全可靠的给机柜内电源插排供电。PDM放置在列头配电机柜中机架式安装，每个机柜后部配电通道分别挂接两条PDU。图 PDM与PDU连接示意图配电模块规格PDM配置：输入端三相200A空开，配置防雷开关及防雷模块，输出配置14位IEC309 32A 3P+ E+N输出插座、4位IEC309 16A 2P+ E输出插座、14位三相32A空开、4位单相25A空开，具备输入电量（包括有功功率、无功功率、功率因数、电压、电流和电度）及各路输出电流监测功能，具备主输入防浪涌保护功能，具备RS485

14、接口。PDU（电源分配单元），是专为机柜内服务器等设备提供电力分配的机柜专用电源分配单元。相对于普通插座，PDU具有安全质量好、承载功率大、插座制式种类多、功能齐全、使用方便、智能化管理等多方面的优点。PDU总容量三相32A，每PDU含15位10A C13插座+12位16A C19插座、3个32A单相空开，含1个32A 3相5芯 IEC60309工业连接器，垂直免工具安装，用于刀片设备机柜的大容量配电。行级监控系统配置一套曙光机房基础设施监控管理系统（IMMS），IMMS监控系统可以和集群管理系统Gridview融合到统一平台管理，工作方式为：数据收集收集探测器上传的信号，收集器将数据整合转发

15、至上层软件，通过上位机进行告警及操作设置，实现与IT设备在同一监控平台下统一管理。监控系统图见下图。图 监控拓扑图监控主要内容为：机柜前后门上下温度、机柜通道内温度湿度、漏水检测、烟感检测、列头配电模块PDM工作状况检测、空调工作状态检测。主要传感器类型：温度传感器，温湿度一体传感器，漏水传感器、漏水绳，烟感报警器。由于采用柜门封闭式高密度制冷方案，在空调机故障或断电停机时，封闭机柜与传统网孔门机柜相比内部温度上升快速。C1000智能监控可以配合GridView管理软件实现机柜超温报警和超温自动开门功能，在值守人员处理前自动采取应急措施，防止超温过热损坏机器。图 IMMS监控管理界面场地条件需

16、求摆放要求机柜摆放的场地主要要求如下：序号项目要求1搬运通道净宽1.5m2机柜排间距1.2m，机柜排朝向一致摆放3机柜侧面与墙体间距1.2m4地板铺设防静电活动地板活动地板距地高度400mm5其它1） 保持良好的通风并远离热源2） 远离有倒覆可能的危险物体3） 隔离强电磁场和产生电子噪声的电子设备，例如电梯、复印机、大功率风扇、大功率电机、广播电视发射设备、大功率高频通信设备等机房环境机房所在楼层的楼板承重指标要求不低于1000Kg/m2。 机房所在房间的主梁梁下净高不宜低于3.4m。C1000系统行间空调仅用于机柜内IT设备制冷，机房环境需要单独配置的空调机，用于维护结构传热、UPS发热的冷

17、却，机房环境空调建议配置1台制冷量不低于10KW的精密空调或基站空调。室外场地机房所在建筑顶层或周边地面、裙楼应具备空调室外机组安装平台，面积12平米。平台尽量靠近主机房楼层，冷媒管单程路径长度要求低于50米，通过空调冷媒管竖井布管铺设为宜。平台楼板活动载荷不应低于4KN/m2，如不满足需要用户大楼方进行散力加固处理。空调室外机组安装平台要求通风良好，不宜在天井或阳台，不宜选择在大量南侧吸晒面。UPS为保证IT设备的不间断供电、市电稳压和抑制电网的电力干扰，要求配置UPS电源系统。此外， C1000空调室内机（单台功耗2.5KW）建议也由UPS电源供电，这样，在市电断电、空调室外机停机时，空调

18、室内机风扇可以继续运转维持气流循环散热。IT设备总功耗合计约31KW，空调室内机功耗合计5KW，机房配置1台艾默生NXR-40KVA，容量三相40KVA的UPS主机，电池后备时间30min。电源接入要求机房配置UPS输出配电柜，从UPS输出配电柜提供1路配电回路给列头配电模块供电，每路配电回路容量均不低于三相200A。要求从机房市电配电柜提供2路配电回路给空调室外机供电，每路配电回路容量均不低于三相50A。接地要求机房做等电位接地系统，一般采用联合接地方式与大楼共地连接，要求大楼接地电阻1，各台机柜、空调等设备柜体均与接地铜排（铜网）通过BVR6mm2接地线做等电位联结。配置清单1.6基础设施

19、子系统C1000机柜系统C1000服务器机柜包含C1000机柜框架，指纹板，自动开门系统，机柜电磁锁一套，机柜前门，机柜后门，设备底座，C1000线槽，包装辅材，机柜的包装箱木托，温度探头台3C1000配电系统机柜PDU每PDU含15位10A C13插座+12位16A C19插座，3个32A单相空开，含1个32A 3相5芯 IEC60309工业连接器台6三相32A工业连接器PDU接口连接器个6PDM延长线缆PDU至列头配电机柜线缆，5X6平方毫米米30PDM列头配电模块总容量三相200A，输出14位三相32A空开和防溅插座、4位单相25A空开和防溅插座，带主输入电量和分支输出电流监测功能台1C

20、1000监控系统CloudBASE RMM监控模块机柜监控模块，适用于CloudBASE全系列产品，每个机柜配备一个RMM监控模块，负责采集机柜内的温湿度，烟感，漏水等信息。台3CloudBASE ZMM监控模块机柜排监控模块，适用于CloudBASE全系列产品，每排或每个区域配备一个RMM监控模块，负责收集若干个RMM的监控信息，并提供统一管理，协议转换。台1曙光机房基础设施监控管理系统IMMSIMMS是对机房环境，机柜、空调、电力系统等进行监控和管理的软硬件一体化解决方案，可有效提高机房基础设施的管理维护效率，及时有效地处理告警事件。套3IMMS 物理介质包：加密USB密钥、软件光盘、包装

21、、使用手册等套1C1000辅材系统机柜通用侧板 个4通用并柜套件 套21U挡板个45C1000系统安装包括所有机柜、空调室内机、除尘除湿机设备安装调试，空调管路系统和配电、监控的安装调试，包含一年质保项1空调系统C1000氟冷行间空调包含空调室内机（制冷量30KW），具备除尘除湿功能，配套室外机1台，温湿度、烟感及漏水监控1套，室内机包含C1000机柜框架，指纹板，自动开门系统，机柜电磁锁一套，机柜前门，机柜后门（含监控屏），设备底座，C1000线槽，包装辅材，机柜的包装箱木托，温度探头台2UPSUPS组件艾默生NXR-40KVA台1蓄电池C&D12-75 LBT只30电池柜个1开关箱个1电池连接线套1铜鼻子及辅材套1具体实施安装的内容有： 系统设备就位、并柜安装与调平，机柜上走线线槽 机柜配电单元PDU、机柜列头配电模块PDM的安装，PDU与PDM之间的强电布线。 空调室内机与室外机、除尘除湿一体机的就位、安装，包括冷媒管路、排水管路安装、电源连接与上电调试。 机柜监控探头安装与系统调试。