高性能计算集群HPCCLUSTERdoc文档格式.docx

1、以后的很多集群都采用 Beowulf类似的架构，所以，实际上，现在Beowulf已经成为一类广为接受的高性能集群的类型。 尽管名称各异，很多集群系统都是 Beowulf集群的衍生物。当然也存在有别于 Beowulf的集群系统，COW和Mosix就是另两类著名的集群系统。1.4.1 Beowulf 集群简单的说，Beowulf是一种能够将多台计算机用于并行计算的体系结构。通常 Beowulf系统由通过以太网或其他网络连接的多个计算节点和管理节点构成。管 理节点控制整个集群系统，同时为计算节点提供文件服务和对外的网络连接。它 使用的是常见的硬件设备，象普通 PC、以太网卡和集线器。它很少使用特别定

2、制的硬件和特殊的设备。Beowulf集群的软件也是随处可见的，象 Linux、PVM和 MPI。1.4.2COW 集群象Beowulf 一样，COW （Cluster Of Workstation）也是由最常见的硬件设备和软 件系统搭建而成。通常也是由一个控制节点和多个计算节点构成。COW和Beowulf的主要区别在于：COW中的计算节点主要都是闲置的计算资源，如办公室中的桌面工作站，它们 就是普通的PC，采用普通的局域网进行连接。因为这些计算节点白天会作为工 作站使用，所以主要的集群计算发生在晚上和周末等空闲时间。而Beowulf中的 计算节点都是专职于并行计算，并且进行了性能优化。 Beo

3、wulf采用高速网（InfiniBand, SCI, Myrinet ）上的消息传递（PVM或MPI）进行进程间通信（IPC）。 因为COW中的计算节点主要的目的是桌面应用，所以它们都具有显示器、键盘 和鼠标等外设。而Beowulf的计算节点通常没有这些外设，对这些计算节点的访 问通常是在管理节点上通过网络或串口线实现的。143 Mosix 集群实际上把Mosix集群放在高性能集群这一节是相当牵强的， 但是和Beowulf等其他集群相比，Mosix集群确实是种非常特别的集群， 它致力于在Linux系统上实现集群系统的单一系统映象 SSI（Single System Image） Mosix集群

4、将网络上运 行Linux的计算机连接成一个集群系统。系统自动均衡节点间的负载。因为Mosix 是在Linux系统内核中实现的集群，所以用户态的应用程序不需要任何修改就可 以在Mosix集群上运行。通常用户很少会注意到Linux和Mosix的差别。对于他 来说，Mosix集群就是运行Linux的一台PC。尽管现在存在着不少的问题，Mosix 女台终是 引人注目的集群系统2如何架构高性能计算集群在搭建高性能计算集群（HPC CLUSTER）之前，我们首先要根据具体的应用需 求，在节点的部署、高速互连网络的选择、以及集群管理和通讯软件，三个方面 作出配置。2. 1节点的部署根据功能，我们可以把集群中

5、的节点划分为 6种类型：用户节点（User Node）1“ 控制节点（Control Node）kl 管理节点（Management Node）l-l 存储节点（Storage Node）l-l 安装节点（Installation Node）kl 计算节点（Compute Node）虽然由多种类型的节点，但并不是说一台计算机只能是一种类型的节点。一台计 算机所扮演的节点类型要由集群的实际需求和计算机的配置决定。 在小型集群系统中，用户节点、控制节点、管理节点、存储节点和安装节点往往就是同一台计 算机。下面我们分别解释这些类型节点的作用。2.1. 1 用户节点（User Node）用户节点是外部

6、世界访问集群系统的网关。 用户通常登录到这个节点上编译并运行作业。用户节点是外部访问集群系统强大计算或存储能力的唯一入口， 是整个系统的关 键点。为了保证用户节点的高可用性，应该采用硬件冗余的容错方法，如采用双 机热备份。至少应该采用 RAID（Redundant Array of Independent Disks）技术保证用 户节点的数据安全性。2.1.2控制节点（Control Node）控制节点主要承担两种任务：为计算节点提供基本的网络服务，如 DHCP、DNS 和NFS;调度计算节点上的作业，通常集群的作业调度程序 （如PBS）应该运行在 这个节点上。通常控制节点是计算网络中的关键点

7、，如果它失效，所有的计算节点都会失效。所以控制节点也应该有硬件冗余保护。2.1.3管理节点（Management Node）管理节点是集群系统各种管理措施的控制节点。管理网络的控制点，监控集群中 各个节点和网络的运行状况。通常的集群的管理软件也运行在这个节点上。2.1.4存储节点（Storage Node）如果集群系统的应用运行需要大量的数据， 还需要一个存储节点。顾名思义，存储节点就是集群系统的数据存储器和数据服务器。如果需要存储 TB级的数据，一个存储节点是不够的。这时候你需要一个存储网络。通常存储节点需要如下配 置：ServerRAID保护数据的安全性；高速网保证足够的数据传输速度。2.

8、1.5安装节点（Installation Node）安装节点提供安装集群系统的各种软件，包括操作系统、各种运行库、管理软件 和应用。它还必须开放文件服务，如 FTP或NFS。2.1.6计算节点 （Computing Node）计算节点是整个集群系统的计算核心。 它的功能就是执行计算。 你需要根据你的 需要和预算来决定采用什么样的配置。理想的说，最好一个计算节点一个 CPU。但是如果考虑到预算限制，也可以采用SMP。从性价比角度说，两个CPU的SMP 优于 3 或 4 个 CPU 的 SMP 机器。因为一个计算节点的失效通常不会影响其他节点， 所以计算节点不需要冗余的硬 件保护。2.1.7集群中

9、节点的部署虽然由多种类型的节点， 但并不是说一台计算机只能是一种类型的节点。 一台计 算机所扮演的节点类型要由集群的实际需求和计算机的配置决定。 在小型集群系 统中，用户节点、控制节点、管理节点、存储节点和安装节点往往就是同一台计 算机，这台计算机通常成为主节点（Master Node）。在这种情况下，集群就是由多 个计算节点和一个主节点构成。在大型的集群系统中如何部署这些节点是个比较复杂的问题， 通常要综合应用需 求，拓扑结构和预算等因素决定。2.2 高速互连网络网络是集群最关键的部分 .它的容量和性能直接影响了整个系统对高性能计算 （HPC）的适用性。根据我们的调查，大多数高性能科学计算任

10、务都是通信密集型的 因此如何尽可能的缩短节点间的通信延迟和提高吞吐量是一个核心问题。221 快速以太网快速以太网是运行于 UTP 或光缆上的 100Mb/S 的高速局域网的总称。由于 TCP/IP 运行时对 CPU 的占用较多，并且理论上的传输速度和延迟都比较差，现 在我们在 HPC 集群中计算网络的选择上基本不考虑这个方案了。222 千兆以太网（ Giganet）Giganet 是用于 Linux 平台的虚拟接口 （VI） 体系结构卡的第一家供应商， 提供 cLAN 卡和交换机。 VI 体系结构是独立于平台的软件和硬件系统， 它由 Intel 开 发，用于创建群集。 它使用自己的网络通信协议

11、在服务器之间直接交换数据， 而 不是使用IP,并且它并不打算成为 WAN可路由的系统。Giganet产品当前可 以在节点之间提供 1 Gbps 单向通信，理论最小延迟为 7 微秒，实测延迟为 50-60微秒左右，并且运行时对 CPU的占用也比较大。2. 2. 3 IEEE SCIIEEE标准SCI的延迟更少（理论值1.46微秒,实测值3-4微秒），并且其单向 速度可达到10Gb/秒,与InfiniBand 4X的理论值一样。SCI是基于环拓扑的网 络系统，不像以太网是星形拓扑。这将使在较大规模的节点之间通信速度更快。 更有用的是环面拓扑网络，它在节点之间有许多环形结构。两维环面可以用n乘 m的

12、网格表示，其中在每一行和每一列都有一个环形网络。三维环面也类似， 可以用三维立体节点网格表示，每一层上有一个环形网络。密集超级计算并行系 统使用环面拓扑网络，为成百上千个节点之间的通信提供相对最快的路径。什么是SCI互连技术？符合ANSI/IEEE 1596-1992的SCI技术定义了点到点高速通信端口和数据包协11议集；SCI作为一种开放总线技术，实现了高带宽（10Gbit/s ）、低延迟（1.46微秒）1-1的网络通讯；SCI端口是双向连接的，保证了数据读、写操作可以同步进行；支持多种 CPU类型（Intel 、AMD Sun Alpha）;支持多种流行操作系统（Windows2000 N

13、T RedHat Linux、SuSE Linux、ISolaris、Lynx、Tru64I I Unix、VxWorks ;SCI协议支持共享存储器系统，并包含 Cache 一致性协议集；网络拓扑灵活，可支持星型网，一维环形网（Ring）及二维,三维环形网格拓扑； 为执行关键任务应用而设计，支持热插拔和多冗余结构。2. 2. 4 Myrinet互连技术Myrinet 提供网卡和交换机，其单向互连速度最高可达到 1.28 Gbps网卡有两种形式，铜线型和光纤型。铜线型 LAN可以在10英尺距离内以全速进行 通信，而在长达60英尺距离内以半速进行操作。光纤型Myrinet可以在6.25 英里长的

14、单模光纤或者340英尺长的多模光纤上全速运行。Myrinet只提供直 接点到点、基于集线器或基于交换机的网络配置，但在可以连接到一起的交换光 纤数量方面没有限制。添加交换光纤只会增加节点间的延迟。 两个直接连接的节点之间的平均延迟是5到18微秒，比以太网快。由于Myrinet板上集成可编程微处理器，能满足一些研究者的特定需要。2. 2. 5 InfiniBand 互连技术Infin iBa nd 是由Infin iBa nd 协会开发的体系结构技术，它是一种用于实现基于通道的交换式技术的通用I/O规范。由于IB的理论带宽极高业内关注Infin iBa nd 的解决方案包括络，它所定义的通信和管

15、理结构同时支持 I/O和处理器与处理器之间的通信。Infin iBa nd 即 系统可以是只有少量I/O设备的单处理器服务器，也可以是大型的 并行超级计算机。師吟 心吕InfiniBand別规范定一个主机信道适CPU I一个目标信道适配器（TCA一个网络交换机30Gbit/S, 因定义了 个基配器（HCA连接多个独立处理器和 I/O平台的系统区域网TOIL本组件:TCAInfiniBand 技术通过连接HCAs TCAs交换机和路由器而发挥作用（见图 1）。位于页节点的nfiniand设备是产生和使用信息包的信道适配器。HCA 和TCA可以提供一个无需CPU干预的高可靠端至端连接。 HCA驻留

16、在处理器节点并提供从系统内存到InfiniBand 网络的通路。它也有一个可编程的直接内存访问（DMA引擎。该引擎具有特殊保护和地址翻译特性，从而使 DMA操作可以本地进行或者通过另一个 HCA或TCA远程进行。TCA驻留在I/O单元，并提供I/O设备（如一个磁盘驱动器）或I/O网络（如以 太网或光纤通道）与InfiniBand 网络的连接。它实现了 InfiniBand 协议的物 理层、链接层和传输层。交换机放置在信道适配器之间。它们使几个甚至几千个Infin iBa nd 页节点可以在任意位置互连进一个单一网络，该网络同时支持多个连接。交换机既不产生， 也不使用信息包。它们只是根据信息包中

17、路由器报头的目的地地址， 将其传送过去。交换机对于节点而言是透明的，同时信息包完整无损地经过交换机网。与目前的通信协议如TCP/IP相比，InfiniBan d 技术的一个主要变化是InfiniBand 硬件承担了原来由CPU完成的许多I/O通信工作，因此在处理并 发的多路通信任务时没有现有通信协议所固有的额外开销。在无需系统核心层介 入的情况下，它就能够提供零数据拷贝的传输，并使用硬件提供高可靠性和容错性的通信，最终改善了系统的带宽、延迟和可靠性等问题。2. 3集群管理和通讯软件国内和国际上有多种集群管理和通讯软件可供我们挑选，一些是由 HPC集成包。我们推荐全球知名的HPC软件公司一挪威S

18、cali公司的产品挪威Scali公司的基于石Linux操作系统的集群管理软件，符合 MPI 1.2标准。 三方的软件工具， 作理界用户可以方便， 并可通过它提供的一系列整个系统的开发时间和成本，并商自己编写的专用软件，捆绑硬件销售的，也有专业的软件公司提供的通用软件Scnd二 P.I置和从千兆以太网， SCI,Myri net.到In管理软件特点性能优化：对零长度信息包，传输延迟小于 3.5微秒，在64位/66MHz的PCI 总线上，持续传输带宽超过300兆字节/秒；支持多进程：可以充分利用ScaMP，能够同时进行请求服务和通讯管理操作；容错性：ScaMPI能迅速发现暂时的网络错误，重新选择互

19、连排列或改变路由； 自动选择物理传送路径：ScaMPI可自动为MPI选择最佳的传送方式，共享存 储，利用SCI将各结点连接；UNIX命令复制：命令行自变量应用程序可自动提供全部 MPI程序，避免冗余分析；MIMD支持：ScaMPI支持多指令流多数据流；图形化前端：可视的图形界面，方便的操作和管理；调试：ScaMPI支持许多调试程序和分析工具，提供调试功能 ScaMPI完全支持 Etnus 的 TotalView 分布式调试程序和Pallas的Vampir MPI分析工具，被选中的程序能够利用 GNU 全局数据库进行调试。S系列我们在S系列集群计算机中的高速互连网络采用 SCI技术。高带宽（1O

20、Gbit/s）、 低延迟（1.46微秒）正是SCI的技术特点。特别是SCI网络的环型网格和超立 方体拓扑结构，保障了集群的高可靠性和系统扩展时成本的线形增长。节点规模：2-256个节点（2004年7月后，可支持至8000个节点）应用要求：分布计算，子任务之间联系很紧密，需要大量的数据交换，特别强 调带宽和延迟这两个关键指标。应用领域：地震预测预报、石油勘探、气候模拟与天气预报、人体基因与遗传 工程、海洋环流和超导模拟、海量存储、科学计算等。硬件系统配置清单:名称说明配置单位数量主机柜专用服务器标准机柜电源控制器，电源系统（3*20A），风扇， 机柜网络系统，系统控制机，前面板 LCI 触摸屏D

21、个系统通讯网络Cisco2950-12witch100M Ethernet个视频切换机KVM套存储系统NAS/RAIDVIA C3处理器，缓存256MB SDRAM三个10/100以太网端口和一个可选的Gigabit以太网端口，可支持 8块UltarDMA10硬盘可选UDMA33硬盘，环境监台控单元300W热更换冗余电源计算节点I NTEL/SuperMicro2X PW Xeon2.4G, 1G 内存，集成100/1000网卡，标准光驱，软驱，显卡，73G SCSI 硬盘控制节点2X PW Xeon2.4G, 1G 内存，73GSCSI 硬盘，集成100/1000网卡，标准光驱，软驱，显卡高

22、速互连网Dolphi n D33X高带宽（667MBytes/s）、低延迟（1.46微秒）的网络通讯卡块其它显示器15寸纯平鼠标、键盘、软件系统配置清单:版本号备注单位数量监控系统系统监控软件Ver2.0用于系统监控操作系统RedHatVer8.0/应用软件其它系统MPI （Message Pass ing In terface ）、Mosix最新集群管理系统Scali 集群管理软件（for InfiniBand）Ver3.1用于系统管理I系列我们在I系列集群计算机中的高速互连网络采用现在备受业内关注的Infin iBa nd 技术。凭借极高的理论带宽30Gbit/S（ Infin iBa n

23、d 12X）, 和较 低的CPU占用，InfiniBand 必将在未来的 HPC市场占据重要地位。2-1024个节点（目前，我们可以提供8-PORT 24-PORT 96-PORT 的IB交换机，大于96个节点需要级联）强调超大通讯带宽。地震预测预报、石油勘探、气候模拟与天气预报、科学计算等。电源控制器，电源系统（3*20A），风扇，机柜 网络系统，系统控制机，前面板 LCD触摸屏系统通讯网络视频切换机存储系VIA C3处理器，缓存256MB SDRAM三个 10/100以太网端口和一个可选的 Gigabit以 太网端口，可支持8块Ultar DMA100硬盘可选UDMA 133硬盘，环境监控

24、单元计算节占八、INTEL/SuperMicro2X PW Xeon2.4G, 1G内存，集成 100/1000 网卡，标准光驱，软驱，显卡， 73G SCSI硬盘控制节2X PW Xeon2.4G, 1G 内存，36GSCSI 硬盘，集成100/1000网卡，标准光驱，软驱，显卡高速互连网SBS IB Switch8-port IB Switch 或 24-port IB Switch 或 96-port IB SwitchSBS HCA cardIB4X-PCIX, IB4X-PCI, IB4X-PMC用于系统监控MPI （MessagePass ing In terface ）、集群管理系统Scali集群管理软件（forInfin iBa nd）管理G系列我们在G系列集群计算机中的互连网络采用 G igabit（千兆以太网）。千兆 以太网的延迟是SCI和InfiniBand 的10倍左右，并且运行时对CPU的占 用也相对较高。但是由于一些用户的应用是基于原有百兆以太网集群的过渡， 对延迟要求也不高，这样千兆以太网的集群就成为了成本最低的方案。2-1000 个节点高吞吐计算，任务可以分成若干可以并行计算的