大学教育云数据中心项目数据中心设计方案.doc

1、XXXXXX大学教育云数据中心项目设计方案教育信息技术中心2011年06月VER:7.6目 录1.需求概述32.数据中心设计概要53.数据中心网络设计83.1可靠性和自愈能力93.2拥塞控制与服务质量保障93.3网络的扩展能力103.4通信协议的支持103.5网络交换设备设计需求113.6数据中心网络出口设计123.7数据中心安全设计153.8网络管理与安全体系163.9数字KVM系统214.数据中心服务器设计225.数据中心存储设计255.1需求分析255.2系统设计256.服务与技术支持需求271. 需求概述XXXXX大学是XXX省教育厅直属的，运用广播、电视、文字教材、音像教材、计算机课

2、件和网络等多种媒体，面向全省开展远程开放教育的新型高等学校， 1979 年创办。学校行政上由省教育厅管理，实行统筹规划、分级办学、分级管理、分工协作的体制。我校校园网一期始建于1998年，于1999年6月18日接通中国教育和科研计算机网，当时网络结构以155M ATM 为主干，10M/100M到桌面，光纤连接各楼栋的校园综合网络系统。网络覆盖了学校各主要教学、办公场所，初步形成了一个信息化校园环境。此后，为了满足开放教育试点工作的需要，建设了“电大在线”硬件平台和全省视频会议系统。2004年6月我校启动了二期校园网全面升级改造工程，完成了原有的ATM网向万兆以太网移植改造。通过简单的网络结构，

3、建立起了一个可进行数据、语音、视频和图像实时传输的IP网络系统。二期校园网改造采用两台锐捷多业务万兆交换机6810E作为核心层交换机，锐捷3550-12G作为汇聚层交换机，锐捷2100系列作为接入层交换机，初步构成了双核心星形分布的拓扑格局。原有网络基础设施存在的主要问题有：1现有网络设施无法支撑学校当前的业务需求现有网络设施原来的设计主要是满足校园用户对外网的访问，随着学校业务的不断扩张，本次改造后的网络设施主要承担满足遍布全省的学习者对学校教学资源访问的任务，访问对象网络条件复杂，且有大量的外网视频访问要求。服务器等基础设施均已处于超负荷和老化状态，04年以前购置的18台服务器均已老化，其

4、中硬盘损坏严重，电气性能下降。有的业务系统是使用带病服务器运行，随时可能导致系统崩溃。分散在其他处室的服务器如教务处学籍管理、考试管理、图书馆的服务器更加老化，已经成为影响学校业务工作的严重隐患。虽然后来为干部在线、继续教育培训项目添置了几台服务器，均为专用设备，无法实现资源共享。此外，和校内各结点的汇聚层交换机和接入层的交换机也年久失修，故障频仍，导致信息不畅。开放教育新平台即将部署、XX学习广场的管理系统开发、干部在线进入扩展期、国家数字化资源库项目等新项目上马，信息化基础设施建设已经刻不容缓。2信息化基础设施架构技术落后，设备资源不能有效利用学校二期校园网改造采用简单以太网三层交换结构是

5、受制于当时的网络技术水平。学校虽有700M带宽（电信3条100M、联通100M、移动100M、教科网100M、省有线100M）却因为没有链路负载均衡，无法满足某项业务在某一时段较高的带宽要求。服务器数量严重不足，一有新任务就要拆东墙补西墙，开发新项目就要删除一些原有服务器中的信息，腾出空间进行项目开发，导致一些重要信息被丢失。目前系统中只有20T的SAN存贮，远远无法满足学校资源存贮的要求。按照原有网络结构，学校有的服务器负载十分繁重，有的服务器却相对空闲，瓶颈现象十分突出。3网络监控和管理一的缺乏监控和管理手段缺乏，网络安全存在隐患学校二期校园网改造时，网络管理功能设计十分薄弱。网络监控管理

6、、身份认证系统、流量控制系统、运行环境监控、应用防火墙等都需要重新建设。根据建设XX大学的需要，学校的应用业务系统将采用私有云与共有云相结合的方法来解决大规模用户访问所需的并发访问，带宽资源要求高的视频访问将主要依托社会公共云资源的基础设施，学校教育云网络数据中心必须按照其所承载核心数据和信息管理需求，运用虚拟化技术，朝私有云的方向来建设，以满足最灵活、最高效和最经济技术路线来建设，建设技术一流的信息化基础设施，满足一流开放大学建设的需要。2. 数据中心设计概要2.1 总体要求本项目为教育云架构的网络数据中心建设，主要服务XX学习广场的学分银行、国家数字化学习资源中心XX中心资源存储和管理、学

7、校教学资源总库、学校数字图书馆、培训学院和网络学院的各类教育教学平台和管理系统在线学习和考试，满足学校URP业务交互需求。一方面大量的业务系统需要对数据进行共享，另一方面由于数据的重要性，又需要相互隔离，要求对接入访问有严格的身份认证和权限控制。总体来说，学校数据中心要求网络架构清晰，同时具有良好的可靠性、安全性、易管理性和扩展性。建设目标：本次XX大学数据中心建设属于开启XX大学教育云建设的第一步，主要由虚拟化网络系统建设、虚拟化服务器系统建设、统一存贮系统建设三部分构成，其中虚拟化网络建设包括：网络核心建设，网络汇聚建设，网络安全建设，网络运维系统建设，网络出口系统建设。本次建设要求技术架

8、构先进、按需满足、可无限扩充的技术路线，彻底改善在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难的问题。通过使用虚拟化技术，采用云模式构架，增加虚拟化核心交换机、虚拟化服务器设备和虚拟化统一存储系统，建设XXXXX大学教育私有云。教育云数据中心建成后，所有的服务都在数据中心运行，新增的业务需求都由数据中心统一分配网络、服务器、存储资源，学校提供统一的运行环境。满足湖湘学习广场门户、社区教育网站、干部在线等大规模访问用户的访问需求，成为学校管理信息系统、XX教育平台、高职教育平台、国家数字化学习资源中心、学校资源中心的数据中心。建设的最终目标是构建XX大学系统的教育云，本次建设的

9、本部的网络数据中心主要性能要求如下： 系统高性能：10万兆处理性能、无收敛、吞吐量高、快速响应、构建全网无阻塞的网络架构，解决上一代数据中心架构中最难解决的N:1流量收敛问题，确保大流量突发情况下不丢包。 系统高可用：通过虚拟化技术实现关键设备的多变一，将各种故障的恢复时间缩短到毫秒级。 统一交换FCoE：利用FCoE技术将数据中心的存储资源、计算资源、网络资源整合在一起，减少系统布线、硬件设备、能源消耗，降低数据中心整体投资和日常运营维护费用。 系统高安全：基于云计算中按需资源调度的前提，各种安全控制策略需要能够智能感知业务的迁移和变化，动态实现精细化的安全访问控制，确保业务的安全。 资源可

10、调度：将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。并根据系统访问的波峰期、波谷期灵活的对数据中心的网络资源、计算资源、存储资源实现统一调度。 系统易管理：各种控制和隔离策略要灵活部署，做到对网络设备、服务器系统、存储等系统的全面管理，同时管理数据流与业务数据流保持隔离。 网络安全：构建校园安全防护体系，建设一套行之有效的安全管理机制，采用统一的接入网身份认证，主动发现、及时防御、迅速解决安全问题，并采用各种技术有效防止校园网络病毒的传播。XXX大学教育云拓扑结构本次建设分层分区设计学校数据中心为学校终身教育的湖湘学习广场建设（终身教育学习

11、平台）、大学管理信息系统建设（URP）、新型开放教育教学平台建设、国家数字化学习资源中心建设、信息化基础设施建设等服务，以及各业务的安全隔离控制。按照网络核心、汇聚和接入的模型对学校网络系统进行划分，从而完成用户接入层面与数据中心的数据接入层面的分层设计。根据网络实现的功能，从数据中心所提供业务的独立性和互访关系综合考虑，根据业务相关性和数据流访问控制的要求，将数据中心网络根据业务和功能划分为以下几个个功能区：l 核心业务区：学校核心业务数据（终身教育学习平台、国家数字化学习资源中心等）l IT公共数据区（OA）：为办公提供基础IT服务和相关数据l 外联区：与分校或其它外联单位互访接口l 互联

12、网区：门户网站和远程办公接入出口、公共服务l 网管维护区：网络的管理控制中心教育云网络数据中心拓扑图3. 数据中心网络设计XXXX大学下设市州和行业、企业分校众多，而作为校园网运转核心之一的IT系统访问量巨大，为满足学校业务扩张和数据大集中的发展需要，数据中心的建设中必须要考虑到系统的容量、性能、扩展性、安全性和易管理等诸多因素。因此，在数据中心的建设中，采用业界通用的交换网络设计，具有性能高、吞吐量大，可靠性高，扩展性好等优势。设计要求数据中心是XXXX大学最主要的业务平台，承载着学校的核心业务，供学校内部数据交换，具有系统复杂、重要性极高、访问频繁、业务流量大、安全要求高、管理控制策略复杂

13、等诸多特点，因此，数据中心网络的设计必须要做到：1、 应用系统高性能：10万兆核心、无收敛、吞吐量高、快速响应、服务器负载均衡，确保大流量突发情况下不丢包；2、 系统高可用：网络采用全冗余设计，对各种故障和误操作具有良好的鲁棒性；3、 网络高安全：对各种访问做到精细控制，防止各种非法和越权访问；4、易于管理：各种控制和隔离策略要灵活部署，做到对网络设备、服务器系统、存储等系统的全面管理，同时管理数据流与业务数据流保持隔离。3.1 可靠性和自愈能力l 链路冗余 在主干连接上具备可靠的线路冗余方式。采用负载均衡的冗余方式，即通常情况下两条连接均提供数据传输，并互为备份。主线路可实时、自动的切换到备

14、份线路,而不影响业务应用。这种高速的网络自愈特性应可以保证不会引起IP路由的重新计算，不会引起业务的瞬间质量恶化，更不会引起业务的中断。l 模块冗余 主干设备的所有模块和环境部件具备1+1或1：N热备份的功能，切换时间小于3秒。所有模块具备热插拔的功能。系统具备99.999%以上的可用性。每台核心交换机要求配置至少4块独立的交换网板（非主控或板卡集成）。l 设备冗余 提供由两台或两台以上设备组成一个虚拟设备的能力。当其中一个设备因故障停止工作时，另一台设备自动接替其工作，并且不引起其他节点的路由表重新计算，从而提高网络的稳定性。以保证大部分IP应用不会出现超时错误。l 路由冗余 网络的结构设计

15、应提供足够的路由冗余功能，在上述冗余特性仍不能解决问题时，数据流应能寻找其他路径到达目的地址。3.2 拥塞控制与服务质量保障拥塞控制和服务质量保障(QoS)是企业信息网关注的重要品质。由于接入方式、接入速率、应用方式、数据性质的丰富多样，网络的数据流量突发是不可避免的，因此，网络对拥塞的控制和对不同性质数据流的不同处理是十分重要的。n 业务分类 网络设备应支持68种业务分类(COS)。当用户终端不提供业务分类信息时，网络设备应根据用户的IP地址、应用类型、流量大小等自动对业务进行分类。n 接入速率控制 接入本网络的业务应遵守其接入速率承诺。超过承诺速率的数据将被丢弃或标以最低的优先级。n 队列

16、机制 具有先进的队列机制进行拥塞控制，对不同等级的业务进行不同的处理，包括时延的不同和丢包率的不同。n 先期拥塞控制 当网络出现真正的拥塞时，瞬间大量的丢包会引起大量TCP数据同时重发，加剧网络拥塞的程度并引起网络的不稳定。网络设备应具备先进的技术，在网路出现拥塞前就自动采取适当的措施，进行先期拥塞控制，避免瞬间大量的丢包现象。n 资源预留 对非常重要的特殊应用，应可以采用保留带宽资源的方式保证其QoS。3.3 网络的扩展能力网络的扩展能力包括设备交换容量的扩展能力、端口密度的扩展能力、主干带宽的扩展，以及网络规模的扩展能力。n 交换容量扩展 交换容量具备在规划业务水平上保证48倍容量的能力，

17、以适应IP类业务急速膨胀的现实。n 端口密度扩展 设备的端口密度应能满足网络扩容时设备间互联的需要。n 主干带宽扩展 主干带宽具备高带宽扩展能力，以适应IP类业务急速膨胀的现实。n 网络规模扩展 网络体系、路由协议的规划和设备的CPU/NP路由处理能力，在网络节点数目上应能满足35年的扩展要求。3.4 通信协议的支持n 网络通信协议以支持TCP/IP协议为主，兼支持IPX等协议。设备商应提供服务营运级别的网络通信软件和网际通用操作系统。n 域内路由协议支持RIP、RIPv2、OSPF、IS-IS等多种国际标准的路由协议。根据网络工程的规模和需求，采用OSPF路由协议来进行规划建设。并采取合理的

18、区域划分和路由规划来保证网络的稳定性。n 域间路由协议支持BGP-4等标准的域间路由协议,保证与可与广域网采用多种方式进行可靠互联。n MPLSMPLS提高网络整体交换性能，在无连接的IP环境下实现面向连接的效果，MPLS可以支持VPN功能，有效隔离不用业务网段。网络支持MPLS标准,具备3层、2层MPLS VPN的功能，可以在与未来XXXX大学MPLS VPN网络无缝对接。3.5 网络交换设备设计需求核心层核心层提供多个数据中心汇聚模块互联，并连接园区网核心、互联网出口和外联单位；具有高交换能力和突发流量适应能力，无阻塞、低收敛或无收敛，采用多条万兆链路捆绑互联，同时核心交换机要求多汇聚模块

19、扩展能力，高性能要求4-8 10GE链路捆绑。采用多级的交换网架构,交换网板必须与主控分离，独立于主控和线卡。同时核心层设备必须有大量成功部署在大型数据中心的应用案例，以保证设备的可用性。要求核心交换机能力支持16个万光端口以上的业务插卡模块, 配置虚拟化技术，要求两台物理设备的虚拟为一台逻辑设备，支持统一的管理、跨设备链路聚合，要求提供虚拟化技术的用户使用报告至少两份，至少提供一个本地可参观的虚拟化技术应用样板点；交换容量3Tbps，包转发率950Mpps；业务单板槽位数8个；要求提供冗余主控、冗余电源、满配交换网板；支持基于端口的VLAN，802.1Q Vlan封装，最大Vlan数4096

20、，支持GVRP, 支持IEEE 802.1x和IEEE 802.1x SERVER。支持STP/RSTP/MSTP协议，符合IEEE802.1D、IEEE802.1W、IEEE802.1S标准。支持PIM-DM、PIM-SM、PIM-SSM、MSDP、MBGP 、Any-RP、IGMPv1/v2/v3等协议；支持FCOE和FC；支持PIM6-DM、PIM6-SM、MLDv1等协议。支持静态路由、RIP V1/V2、OSPF、BGP，支持策略路由和VRRP 。支持IPv6静态路由，RIPng、OSPFv3、IS-ISv6、BGP4+，支持IPv6的策略路由和VRRPv3，支持IPv4向IPv6的

21、过渡技术，包括：IPv6手工隧道、6to4隧道、ISATAP隧道、GRE隧道等。板卡可以实现分布式（非集中式）二、三层MPLS VPN，支持跨域MPLS VPN，包括VRF-VRF、MP-BGP、 MultiHop-BGP三种方式。汇聚层为服务器群（server farm）对外提供高带宽出口；要求提供高密度10GE端口实现接入层互联；作为应用服务器网关层，同时提供扩展业务模块，如万兆防火墙模块、流量清洗模块，实现网络的访问控制、DDoS防御、异常检测和应用加速和负载均衡等高级功能。汇聚层与服务器群根据应用特点进行数据中心区域划分，形成功能分区，可灵活扩展，又可满足业务系统独立和隔离的需求。交换

22、容量600G，包转发率360Mbps，系统可提供万兆接口24个，支持FCOE和FC，满配万兆多模光模块，提供4个千兆电接口，支持内置电源冗余，配置双冗余电源；支持跨设备链路聚合，单一IP管理，虚拟化后所有设备路由表项统一，未来可以通过虚拟化技术实现多台汇聚虚拟成一台大汇聚，支持IPv4/IPv6静态路由、RIP V1/V2/ng、OSPFv2/v3、BGP-4，支持策略路由。3.6 数据中心网络出口设计根据XXX大学的数据中心的访问需求、业务系统类型、数据流特点，将数据中心出口分为三部分进行设计：1、 互联网区：提供学校的网络出口：学校WEB网站系统、终身教育的XX学习广场（终身教育学习平台）

23、、新型开放教育教学平台、国家数字化学习资源中心、学校教师通过互联网接入的移动办公、通过Internet对外的业务交互等；出口路由器与ISP骨干网直连，需要高带宽接口，同时提供较高的接口密度和汇聚能力。2、 外联区：与地州市和行业分校的业务互联功能区、视频会议等；一般通过专线或VPN进行接入汇聚。3、 内网区：包括大学管理信息系统建设（URP）、学分银行系统、教务管理系统、财务系统、一卡通系统等，可根据具体的应用做详细的服务器群划分。3.6.1. Internet互联网区互联网区作为XXXX大学的数据中心出口，其作用主要有：u 学校面向公众的展示平台Web网站（前端平台）包括：终身教育的XXX学

24、习广场（终身教育学习平台）、新型开放教育教学平台、国家数字化学习资源中心、终身教育数字化公共图书馆等。设计访问量在50万人并发访问；u 公网访问电子图书馆系统；u 出差办公接入、URP系统访问：主要通过SSL VPN接入；为满足Internet区域访问需要，提高网络和应用系统安全性，将Internet访问的服务器及应用系统规划在DMZ区域，下挂在Internet区域，Internet区域部署VPN设备、IPS、防火墙，对各种访问进行控制，同时对各种DDoS攻击、嗅探、扫描、欺骗进行防御，进行病毒过滤，对SSL VPN访问。Internet区域需要部署出口链路负载均衡系统和防火墙设备，杜绝单点故

25、障；部署SSL VPN设备，实现安全接入校园网络。1、出口链路负载均衡系统：采用多核或多CPU架构，如为多核，CPU核数目8个；如为多CPU架构，CPU数量不少于2个；固定接口：10/100/1000以太网口16个；千兆SFP接口4个；吞吐量4Gbps；最大并发连接数200万；支持真实服务器个数16384；支持健康检测个数16384；配置VRRP双机热备，支持设备内部以及设备之间的双机热备；LB模块发生故障时，数据流能够避开故障模块，业务保持正常转发；支持Inbound/Outbound双向链路负载均衡；支持链路的失效切换；支持无限hops多路径链路健康检查方式；支持静态地址列表匹配，要求基于

26、电信/网通+联通/移动+铁通等运营商的IP地址库；支持智能DNS解析，512条DNS表项；支持负载均衡算法：轮询、加权轮询、最小连接、加权最小连接、随机、加权随机、源地址HASH、目的地址HASH、HTTP内容、RTSP URL；支持ICMP、TCP、FTP、HTTP、DNS等多种方式的健康检测技术；支持和网络无缝融合，可以通过网络设备进行统一管理；支持服务器负载均衡；支持防火墙负载均衡；能够同时支持服务器和防火墙负载均衡；支持多链路负载均衡；支持NAT方式的服务器负载均衡；支持DR方式的服务器负载均衡；支持路由模式的防火墙负载均衡；支持透明模式的防火墙负载均衡；支持在线部署和旁挂部署模式2、

27、服务器负载均衡系统：硬件架构，采用基于每个端口的ASIC芯片；系统内核，采用封闭式的专有操作系统，无已知安全漏洞；硬件配置要求，背板带宽48G ；CPU双核2.6 GHz；内存4GB；端口密度， 总端口数14个；性能指标，四七层业务吞吐能力8G，并发会话数量400万，四层新建会话能力25万，七层新建会话能力12万设备；设备可靠性，满足双机冗余，采用VRRP冗余协议；双交流电源配置；主要功能，支持负载均衡算法：轮询、加权轮询、最少用户数、HASH、最少流量，支持会话保持方式：cookie，session ID，URL，Http Header等，可以通过license升级到支持全局负载均衡功能，支

28、持RIP、RIP2、OSPF，BGP等路由协议；网管功能，支持管理方式：CLI，WEB（HTTP/HTTPS），Telnet，SSH，GUI界面管理，同一GUI界面下可以同时管理多台设备，支持第三方网管软件的插件，IBM Tivoli， CA Unicenter, HP Openview；IPS安全防护功能，可通过购买License的方式，启用设备的IPS功能模块，可以实时过滤不少于1600种目前最流行的病毒，蠕虫，木马，后门等入侵攻击， 要求具备特征库自动升级的能力，DOS/DDOS防范攻击，提供集成DOS Sheild以及基于行为模式分析的BDOS 拒绝服务攻击防范技术,集成针对syn f

29、lood的攻击防范功能（需要DOS License）；带宽管理功能，可通过购买License的方式，启用设备的带宽管理功能模块，系统可支持带宽管理功能，带宽管理的粒度 = 1k bit，系统可支持对P2P软件数据包的拦截或者带宽限制，特征库备识别常用P2P下载的软件:MSN，BITTORRENT，SKYPE，EDONKEY，KAZAA，EMULE等，以节省链路出口带宽，要求具备特征库自动升级的能力。3、SSL VPN系统：独立多核硬件设备，提供4个百兆电口，可扩展支持2个千兆端口；可满足至少300用户同时在线；RC4加密性能不小于120Mpps；支持包括WEB、TCP、IP等免客户端接入方式；

30、支持RSA数字签名算法、MD5、SHA1摘要算法、支持RC4、DES、3DES、AES等加密算法；支持客户端退出缓存清除功能，可清除网页缓存、Cookie、下载程序、配置文件等信息；支持本地认证、Radius认证、双因子证书认证、LDAP认证、AD认证等多种认证方式；支持浏览器和操作系统类型、版本、补丁等主机安全状态检查；防火墙：需要提供灵活的报文准入过滤、基于状态的安全检测，提供病毒防御和邮件扫描等高级应用层功能。3.6.2. 外联区外联区主要为与地州市和行业分校的业务互联功能区、视频会议等；一般通过专线或VPN进行接入汇聚。对内与数据中心核心互联，进行业务的交互处理。除部署交换机和服务器外

31、，该区域需要部署出口防火墙。3.6.3. 内网区（各类教学业务系统服务后端网络）流量特点内网区的主要出口流量包括：学校内部URP系统访问；DMZ区访问,如SMTP服务器,WEB服务器等；学校教务等服务数据同步；校园一卡通；学校IT运维管理；在这个区域主要部署防火墙。3.7 数据中心安全设计3.7.1. 防火墙根据XXX大学的网络结构，在XXX大学数据中心进行如下防火墙部署设计：各个不同区域的安全隔离u 互联网出口、广域网出口安全控制：我们在学校互联网出口，以及与下级分校广域网连接处部署防火墙，两台防火墙与核心交换机以及出口路由器之间采取全冗余连接，保证系统的可靠性，同时设置两台防火墙为双机热备方式，在实现安全控制的同时保证线路的可靠性；u Extranet跟Intranet各业务系统安全隔离，Intranet内部各业务系统彼此之间安全隔离：我们学校数据中心核心层交换机上部署高性能的防火墙插卡，至少每个业务系统保证1G以上安全转发的吞吐量。同时采取线路全冗余和设备双机热备方式，以保证数据中心的高可靠性。防火墙需求 u 要求为独立万兆防火墙或集成在核心交换机中u 独立防火墙必须为中国移动或者中国电信10G以上防火墙入围产品u 独立防火墙必须提供8千兆电口和4个千兆光口，可以扩展8个万兆口u 支持无限制用户数u 防火墙吞吐量10Gbpsu 并