上海超算中心机房基础设施建设与管理资料下载.pdf

上海超算中心机房基础设施建设与管理资料下载.pdf

《上海超算中心机房基础设施建设与管理资料下载.pdf》由会员分享，可在线阅读，更多相关《上海超算中心机房基础设施建设与管理资料下载.pdf（4页珍藏版）》请在冰点文库上搜索。

2上海超算中心机房基础设施改造建设21机房物理环境曙光5000A高性能计算机是上海超算中心目前运算速度最快的高性能计算机系统，该系统峰值速度为230TFlops（TFlops是每秒所执行的浮点运算次数的英文缩写，即每秒执行230万亿次浮点运算），Linpack浮点性能测试为180TFlops，在2008年12月TOP500排行榜上排名全球第10位，亚洲第1位。

2009年6月，曙光5000A高性能计算机系统部署到上海超算中心。

该系统共有42台计算节点机柜，机柜尺寸为800mm1300mm2200mm，荷重为1000kg/m2；

10台I/O和网络机柜，机柜尺寸为600mm1200mm2000mm。

所有机柜投影面积约为50.88m2，机房面积约为280m2。

根据GB50174-2008电子信息系统机房设计规范4.2.2条规定，已知计算机或辅助设备投影面积为S作者信息王晶，女，国家气象信息中心，工程师。

*：

国家气象信息中心2010年青年科技基金课题资助项目，项目名称：

信息中心机房信息管理服务平台的研究与实现，项目编号：

NMIC_QJ_201009。

AbstractDuetothefactthattheDawning5000Ahigh-performancecomputerwasdeployedtotheShanghaiSupercomputerCenterin2009，ShanghaiSupercomputerCenterconductedreconstructionofinfrastructureincomputerrooms.Thispaperintroducesthesituationofconstruction，operation，maintenanceandmanagementofinfrastructureintheDawning5000Acomputerroomsandsumsupproblemsexistingintheprocessofdesign.KeywordsShanghaiSupercomputerCenterDawning5000Ahigh-performancecomputerComputerroomWater-cooledcabinetInfrastructureManagement上海超算中心机房基础设施建设与管理*（王晶）*69565誖BUILDINGELECTRICITY2011年第期Sep.2011Vol.30No.99时，机房使用面积可根据AKS计算，其中K为系数，取值为57。

根据此公式，推算曙光5000A计算机房K值为5.5，空间利用率较高。

另外，系统配置了13台存储机柜（EMC），机柜尺寸为611mm992mm1908mm，机柜荷重为700kg/m2，所有存储机柜投影面积约为7.88m2，存储容量为700TB，机房面积约80m2，K值计算为10.2。

由于存储机柜为风冷冷却方式且受机房建筑平面布局所限，因此，机房空间利用率较低，但更利于机柜的散热。

曙光5000A控制机房在最内侧，为半圆形，曙光5000A主机房在控制机房外侧，呈环形，存储机房在曙光5000A主机房的外侧。

机房层高5400mm，地板尺寸600mm600mm，地板高度500mm，吊顶后净高3700mm，曙光5000A机房平均荷载1000kg/m2（含水管等），机房地板下安装钢结构支架。

22空调系统曙光5000A高性能计算机采用水冷机柜进行冷却，单机柜最大制冷量为25kW。

整个冷却系统由冷水机组、一次冷冻水泵、储冷罐、智能冷冻水热交换系统、二次冷冻水泵、水冷机柜以及管道组成，如图1所示。

外部冷水机组配置3台（2用1备）521kW的风冷式冷水机组，一次、二次冷冻水泵均为1用1备冗余配置，储冷罐的配置为2台10m3，智能冷冻水热交换机组配置为10台，每台机组热交换量为100kW。

水冷机柜工作原理如下：

水冷机柜的EC风扇安装在机柜背板门上，以柜内空气作为媒介，通过机柜内的热交换盘管实现冷冻水与计算机产生的热空气之间的热交换，为高性能计算机散热，EC风扇采用N+1冗余设计。

机柜内循环如下：

机柜前部为冷空气进风道，计算机设备从前部将冷空气吸入，冷空气吸收计算机设备产生的热量变成热空气吹出，热空气被机柜后置的风扇排至安装在水冷机柜下方的表冷器中，通过空气/水热交换器变成冷空气，再进入计算节点服务器前部的冷空气进风道。

这样的设计使冷源更加贴近计算机设备，热交换后的冷空气直接进入计算节点服务器的前部，提高了制冷效率。

其结构图和照片如图2所示。

水冷机柜的冷源首先由外部冷水机组提供712冷冻水，经过智能冷冻水热交换系统将712冷冻水转换为高于机房露点温度的1216的冷冻水，作为水冷机柜的冷源。

水冷机柜将高性能计算机产生的高温热空气通过空气/水热交换器变成70566工程综述1622的冷空气冷却计算节点服务器。

冷水机组冷冻水系统与机房冷冻水系统隔离，确保了机房设备可靠运行。

除高性能计算机采用水冷机柜冷却外，I/O和网络机柜、存储设备均由机房精密空调制冷。

I/O和网络机柜与计算节点机柜处于同一机房，机房面积280m2，配置3台（2用1备）80kW机房精密空调；

存储机房面积80m2，配置3台（2用1备）40kW机房精密空调。

23电气系统上海超算中心设计2路10kV进线，4台1600kVA变压器，两台变压器一组，单母线分段运行，设母线联络开关。

曙光5000A高性能计算机由其中2台变压器供电。

曙光5000A高性能计算机额定功率为960kW，水冷机柜风扇功耗76kW，整个主机功耗约1MW，实际运行数据为：

计算节点机柜功率约750kW，其中，单机柜最大运行功率约25kW。

I/O和网络机柜功率约20kW，存储设备约40kW，曙光5000A高性能计算机系统所有设备均由UPS供电，共配置4台400kVAUPS，“3+1”运行方式，负荷率约为56.2%，每台UPS均安装了有源滤波器。

UPS电池配置为12V，160Ah。

每台UPS配置2组电池，每组32只，共计256只电池。

冷水机组夏季运行功率约260kW；

一次冷冻水泵及10台热交换机组水泵由1台100kVAUPS供电，运行功率约为40kW；

计算节点机柜、I/O和网络设备机房精密空调夏季运行功率约100kW；

存储机房精密空调夏季运行功率约18kW；

机房应急照明系统由EPS供电，功率约6.5kW。

24消防、安防、BA系统曙光5000A高性能计算机主机房、存储机房与控制机房设置了七氟丙烷气体灭火系统，气体灭火系统采用组合分配系统。

曙光5000A主机房、控制机房以及曙光4000A主机房为一个防火分区；

存储机房为一个防火分区。

参观走道采用水喷淋灭火系统。

安防系统包括防盗报警系统、视频监控系统、一卡通系统。

BA系统对楼内以下主要机电设备进行分散控制、集中管理，包括：

a.中低压配电柜、UPS配电柜的各类电气参数和开关状态；

b.各类水泵的运行状态及水箱/水池的水位；

c.热泵机组、新风机组、空调机组及主要风机的运行监控；

d.公共照明的分区定时监控。

3上海超算中心基础设施运维管理上海超算中心不只是资源中心，同时也是技术、研究、服务中心，超算中心=基础设施+超级计算机+应用软件+高效运维管理+用户服务支持+长期运营机制。

上海超算中心的运维管理由两方面组成：

“系统运维管理”和“用户服务支持”。

系统运维管理由上海超算机房运维管理者和物业公司共同管理，管理者主要承担设计管理工作，如具体方案设计，制定维护计划、步骤，设备运行跟踪管理、技术咨询、数据分析、质量控制等工作；

物业公司主要承担对设备的具体巡视、检测维护工作。

另外，对机房基础设施设备运行状态的监视工作由外包物业公司承担。

4上海超算中心基础设施系统设计存在的问题41异型建筑上海超算中心将计算机机房设计成半圆形建筑，施工时遇到了诸多问题，如地板、吊顶难以拼接、机柜布局利用率低、线槽难以敷设、照明很难布置等。

上海超算中心案例提示我们：

建筑设计必须与功能特点相匹配。

42线缆敷设上海超算中心机房原设计将所有线缆敷设在地板下，由于曙光5000A采用了水冷机柜的冷却方式，地板下敷设了水管，因此，强、弱电线缆只能采用在机柜上方敷设的方式。

原有一次性建成的强、弱电桥架、线缆全部报废，增加成本约300万元。

笔者认为，强弱电线缆敷设在机柜上方是机房建设的发展趋势，原因主要为以下两点：

a.原有在地板下敷设线缆的模式，导致线缆密上海超算中心机房基础设施建设与管理*（王晶）71567誖BUILDINGELECTRICITY2011年第期Sep.2011Vol.30No.99集地占据地板下方空间，气流不畅，增加了空调能耗；

b.随着机柜功率越来越大，传统的风冷冷却方式已不再适合，必然采用液冷方式，因此，地板下空间需用于敷设大量水管。

43机房层高及承重上海超算中心机房层高5400mm，地板下高500mm，吊顶后机房原净高3200mm，而曙光5000A高性能计算机水冷机柜高2200mm，大量强弱电线槽需在机柜上方敷设，因此，3200mm机房净高已不能满足曙光5000A的建设要求，必须调整机房净高。

另外，上海超算中心机房载荷按照800kg/m2设计，曙光5000A部署后机房承重将达到1000kg/m2，因此，必须对机房进行加固，采用在主机机柜下做钢结构加固处理方式，如图3所示。

44变配电房、UPS机房上海超算中心在最初设计时，由于无法准确预测高性能计算机功率发展速度和规模，以设计时的机房规模考虑冗余，导致引进曙光5000A后变配电房、UPS机房面积过小，不得不在原有建筑基础上向外扩展出部分空间作为变配电房和UPS机房。

另外，原有UPS机房设计为VRV冷却方式，当UPS数量增加后，VRV冷却方式已不能满足UPS冷却需求，因此增加了强排风系统用以降低室内温度。

45应急制冷对于大功率的计算机系统，其冷却系统一旦出现问题，计算机电子器件会因为温度的上升而发生工作状态的改变，甚至会烧毁电器元件。

因此，当市电中断时，虽然UPS可以不间断地向计算机设备供电，但是，由于制冷系统的中断供电，导致计算机仍然无法正常运行。

基于这种情况，上海超算中心增设了UPS向水泵、热交换系统供电，并设计了2台10m3储冷罐，其设计压力为1MPa，净重966kg。

智能冷冻水热交换系统与冷水机组均通过储冷罐进行热交换。

这样即使冷水机组断电，由于水泵由UPS供电可以一直工作，计算机产生的热量暂时由储冷罐作为冷源与智能热交换系统进行热交换，冷却计算机设备，这样可以解决计算机短时的持续工作。

当柴油发电机启动后，冷水机组即可恢复供电，计算机冷却系统恢复正常运行状态。

46EPS应用上海超算中心机房的应急照明系统采用EPS供电，EPS为非在线式工作方式，市电正常时，由旁路直接向负载供电；

市电中断时，切换到蓄电池供电模式，切换时间约0.18s。

47水冷机柜上海超算中心采用的水冷机柜为背板风扇门形式，当水冷机柜中的部分计算节点出现故障需要更换时，更换工作非常困难。

若打开机柜背板，安装在机柜上的风扇则保护性停机，导致机柜冷却工作停止，因单机柜功率较大，在短时内无法冷却设备，将发生高温自保护停机或烧毁器件情况。

就是说，背板门安装风扇冷却致使设备无法在线从机柜后端拆卸，为更换带来极大困难。

5情况说明本文系国家气象信息中心青年科技基金课题信息中心机房信息管理服务平台的研究与实现资助项目，在成文过程中，作为课题负责人的笔者得到了上海超算中心高级工程师张颖琪、姚继峰博士（现调入中科院软件所），以及上海信投公司的大力帮助，在此表示感谢！

参考文献1中国电子工程设计院.GB50174-2008电子信息系统机房设计规范S.北京：

中国计划出版社，2009.2曙光公司.曙光5000A高性能计算机产品样本，2008.2011-07-05来稿2011-08-29修回集地占据地板下方空间，气流不畅，增加了空调能耗；

中国计划出版社，2009.2曙光公司.曙光5000A高性能计算机产品样本，2008.2011-07-05来稿2011-08-29修回72568