数据中心设计方案.docx
《数据中心设计方案.docx》由会员分享，可在线阅读，更多相关《数据中心设计方案.docx（71页珍藏版）》请在冰点文库上搜索。
数据中心设计方案
经历了ISP/ICP飞速发展，.COM公司的风靡后，一种新的服务模式--互联网数据中心（InternetDataCenter，缩写为IDC）正悄然兴起。
它在国外吸引着像AT&T、AO-、IBM、Exodus、UUNET等大公司的巨资投入；国内不但四大电信运营商中国电信、中国网通、中国联通、中国吉通开始做跑马圈地，一些专业服务商如清华万博、首都在线和世纪互联等，也参与了角逐。
IDC（InternetDataCenter）-Internet数据中心，它是传统的数据中心与Internet的结合，它除了具有传统的数据中心所具有的特点外，如数据集中、主机运行可靠等，还应具有访问方式的变化、要做到7x24服务、反应速度快等。
IDC是一个提供资源外包服务的基地，它应具有非常好的机房环境、安全保证、网络带宽、主机的数量和主机的性能、大的存储数据空间、软件环境以及优秀的服务性能。
IDC作为提供资源外包服务的基地，它可以为企业和各类网站提供专业化的服务器托管、空间租用、网络批发带宽甚至ASP、EC等业务。
简单地理解，IDC是对入驻（Hosting）企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的基础设施，也是支持企业及其商业联盟（其分销商、供应商、客户等）实施价值链管理的平台。
形象地说，IDC是个高品质机房，在其建设方面，对各个方面都有很高的要求。
IDC的总体结构如下图所示:
IDC的建设主要在如下几个方面：
网络建设
IDC主要是靠其有一个高性能的网络为其客户提供服务，这个高性能的网络包括其-AN、WAN和与Internet接入等方面。
IDC的网络建设主要有：
-IDC的-AN的建设，包括其-AN的基础结构，-AN的层次，-AN的性能。
-IDC的WAN的建设，即IDC的各分支机构之间相互连接的广域网的建设等。
-IDC的用户接入系统建设，即如何保证IDC的用户以安全、可靠的方式把数据传到IDC的数据中心，或对存放在IDC的用户自己的设备进行维护，这需要IDC为用户提供相应的接入方式，如拨号接入、专线接入及VPN等。
-IDC与Internet互联的建设。
-IDC的网络管理建设，由于IDC的网络结构相当庞大而且复杂，要保证其网络不间断对外服务，而且高性能，必须有一高性能的网络管理系统。
服务器建设
IDC的服务器建设可分为多个方面，总体上分为基础服务系统服务器和应用服务系统服务器，主要有：
-基础系统服务器：
这类服务器是保障IDC为用户提供各种服务的前提，这类服务器有DNS服务器、目录服务器、网络管理服务器、防火墙服务器、各类安全服务器、IDC系统性能监控服务器等等。
-数据库服务器：
它是保证IDC可以为用户提供各种应用服务的基础，IDC的数据库服务器必须能支持大容量访问、多种数据库等。
-数据备份服务器：
它是IDC为客户提供安全服务的内容之一，保证客户的数据安全可靠。
由于IDC的服务器种类繁多、有多种数据库，所以数据备份要支持多机型、多种数据格式等等，而且容量要大。
-应用服务器：
是IDC为用户提供相关应用服务的服务器。
由于IDC的业务扩展，所以应用服务器应具有很好的扩展性，以及支持各类应用软件的数量要多。
-服务器的负载均衡：
这是IDC提供高性能、高可靠性服务的重要方法之一，服务器的负载均衡可由硬件设备（如网络交换设备）或软件的方法实现。
存储系统的建设
存储系统是IDC的重点建设内容之一，作为一个IDC，其存储系统是相当庞大的，特别是在现在的企业中，数据的容量以由GB级增长到TB级，如此大的数据需要有一个更加安全、可靠的存储系统，由于访问的数量也是相当庞大的，所以对存储系统的效率也有很高的要求；而且存储系统应具有很好的扩展性，以满足IDC的发展的需求。
软件系统的建设
软件系统的建设是IDC需要大量投入的方面，它是在前面网络、服务器和存储系统建设的基础上，IDC开展对外服务的手段。
IDC在软件建设的主要有：
-Web系统：
IDC开展Web-Hosting服务内容之一，Web系统软件应支持在一个系统上能建立为多家企业服务的Web系统功能等。
-电子邮件系统：
电子邮件系统应支持多种电子邮件协议，如SMTP、POP3、IMAP4、Web-Mai-和Voice-Mai-等，同时电子邮件系统应有很好扩展性等。
-数据库系统：
IDC应建立多厂家的数据库系统，如应有Orac-e、Informix、SQ-Server、SyBase等厂家的数据库，以满足不同用户的需求。
-安全系统：
如防火墙软件（硬件防火墙除外）、防黑客入侵、防病毒软件等。
这是保证IDC为用户提供安全服务器的前提。
-数据备份软件:
支持多备份设备、多种厂家的机器、多种数据库等等。
-应用开发系统：
IDC应提供相应的开发系统平台，提供相应的开发工具，满足用户或IDC开发相应应用的需求。
IDC自身服务系统建设
IDC是靠其优质的服务来占有市场和赢得客户的，为了做到优质高效服务，IDC在其自身服务器系统的建设上也必须有大量的投入。
IDC自身服务系统主要有：
-客户关系管理系统（CRM）:
CRM是IDC与客户建立良好关系的基础服务系统，它为IDC提供的用户的发展动态以及用户的新的需求等。
-计费系统：
计费系统是IDC收入的保证。
-网络与服务器管理系统：
IDC有庞大的网络和服务器系统，要管理好这些系统，必须有一个功能强大的网络、服务器和应用管理系统，此能保证IDC对外的服务质量。
-IDC的内部管理系统：
保证IDC内部各部门能够统一协调工作，完成高质量的服务。
机房场地建设
机房场地的建设是IDC前期建设投入最大的部分。
由于IDC的用户可能把其重要的数据和应用都存放在IDC的机房中，所以对IDC机房场地环境的要求是非常高的。
IDC的机房场地建设主要在如下几个方面：
-机房装修：
机房装修主要考虑吊顶、隔断墙、门窗、墙壁和活动地板等。
-供电系统：
供电系统是IDC的场地建设重点之一，由于IDC的大量设备需要极大的电力功率，所以供电系统的可靠性建设、扩展性是极其重要的。
供电系统建设主要有：
供电功率、UPS建设（n+1）、配电柜、电线、插座、照明系统、接地系统、防雷和自发电系统等。
-空调系统：
机房的温度、通风方式和机房空气环境等。
-安全系统：
门禁系统、消防系统和监控系统。
-布线系统：
机房应有完整的综合布线系统，布线系统包括数据布线、语音布线、终端布线。
-通信系统：
包括数据线带宽、语音线路数目等。
IDC网络建设
IDC网络功能结构
我们建议的IDC网络结构如下图所示：
·核心交换层：
由两台CISCO6509多层交换机构成，实现双机容错工作，保证数据的高速、无阻塞的交换。
·策略分布层：
可以由一组CSS11000系列内容交换机组成，负责完成服务器负载均衡和策略分布任务。
·服务器访问层：
由一组Cat3524交换机组成，完成托管服务器的高速接入工作。
·后端网络：
由两台CISCO6509构成，实现双机容错工作，实现IDC管理中心，数据库、邮件、应用等服务器和存储系统的连接，托管服务器通过第二块网卡和后端网络相连，保证独立和高速的数据访问。
同时，后端网络通过防火墙和前端的核心网络连接，实现IDC管理中心对前端网络的管理，防火墙则为后端网络提供更严格的保护。
·用户访问层：
由若干台Cat4000和一组Cat2924组成，提供企业和个人用户接入，提供INTERNET上网，企业用户还可以通过VLAN和自己的托管服务器连接实现日常的维护工作。
IDC网络建设
方案设计描述
1．Internet接入网络结构
由于本系统Internet接入服务用户主要来自于各写字楼内的公司和高级酒店、公寓内的客人和住户，且各写字楼相距较近，所以全部采用LAN结构为这些用户提供接入服务，如下图所示:
LAN采用流行的以太网络结构，
核心交换：
Cat6509多层交换机
分布层交换或周边建筑物内主干：
Cat4006交换机
接入层交换机：
Cat2924XL交换机
由于考虑到在酒店和写字楼内重新进行数据布线有一定困难，所以采用TDSL技术实现楼内的数据传输，所有数据交换设备都集中在中央机房内，但网络的总体结构不变。
核心交换使用两台Catalyst6509构成，形成全冗余的高速网络核心。
分布层交换机Catalyst4006使用两条千兆线路分别与两台6509相连，形成冗余的千兆主干。
楼层交换机使用Catalyst2924XL交换机。
Cat6509上的千兆端口还用来连接其他的节点，与其他节点的LAN一起构成一个分布式的城域范围的数据中心的结构。
2．用CACHE加速INTERNET访问
Internet的发展趋势是尽可能地将内容在地理上靠近用户，由于本方案中INTERNET接入用户的大都来自与商务写字楼和酒店公寓，其对INTERNET的访问具有很大的重复性，所以有效地部署CACHE可以大大地降低INTERNET接入的带宽负荷，提高内容的相应速度。
另外，由于现在INTERNET上出现越来越多的多媒体形式的内容，指望拓宽INTERNET出口带宽来提高用户对这些内容的访问速度是根本不现实的，而使用CACHE技术对INTERNET上的这些内容进行缓存，不但可以使这些内容对用户变得现实可用，提高用户的忠诚度，而且还可以通过定期定制一些多媒体节目在CACHE中，以有偿的方式向用户提供，这就演化成了一种增值服务。
总之，CACHE对IDC以及ISP都是必不可少的，经营者可以通过灵活地使用CACHE来最大限度地降低成本，提升利润。
我们建议使用NETAPP公司的NetCacheC1105来提供缓存服务，将其连接在INTERNET接入路由器上提供服务。
NetCacheC1105的特点：
可靠性/可用性/可扩展性
专用的体系结构专注于内容可用性的提供
微码的核心系统，在增加数据可用性的前提下达到最小的开销
WAFL（WriteAnywhereFileSystem）NetApp专利的文件系统优化了磁盘到网络的传输
冗余的热插拔电源
ECC内存保护
OS的冗余拷贝
简化的管理
专用的内容管理和送达软件
大型部署时的多系统管理
应用分析与报告的日志
快速的安装与启动
企业框架软件集成提供集中的应用管理
基于WEB与CLI的管理
温度、电源监控提供可预测的系统管理
安全
加固了的TCP/IP协议栈在没有防火墙的保护下也能抵御一般的网络攻击
Icap-enabled过滤和病毒检测
本地支持的第三方过滤表
NTLM、LDAP与RADIUS认证支持
ACL
多协议
支持HTTP、FTP、NNTP
支持主要的流技术（MMS，RTSP，QuickTime）
iCAP-enabled应用提供灵活的对增值服务的访问
3．服务器负载均衡的实现
对于大部分站点而言，采用多个服务器而不是一台大型服务器，可以提高服务器的响应性能，减少服务器的单点故障。
但多台服务器的采用，必须考虑服务器的负载均衡问题。
在本方案中服务器置于CSS11800内容服务交换机之后，所以由CSS11800完成服务器的负载均衡。
CSS11000系列通过ACA（ArrowpointContentAssureprotocol）制定负荷参数，选择最小负荷的服务器提供用户所需的内容。
同时CSS11000系列还支持加权轮询-WeightedRoundRobin；最小连接机制；最大连接数限制等多种算法实现负载均衡。
CiscoCSS11000系列内容服务交换机是业界唯一的动态负载均衡交换机，采用具有专利权的ACA算法，可以根据Cache服务器的命中率、流建立数和RTT（RoundTripTime）选择最合适的服务器应答用户的请求。
与其他的负载均衡设备比较，CSS具有更高的负载均衡能力，因为它是一种基于流的交换机，其他厂家的负载均衡设备则是基于包的交换机。
基于包的解决方案通过检测对某一特定内容的请求时的每个包来做转发决定，这样严重增加了CPU的负担。
而作为基于流的交换机的CSS，一旦流建立起来后，该流所有的流量都将以线速转发。
CSS以下面的多种方法支持负载均衡：
·具有专利权的ACA负载均衡算法
·轮询（RoundRobin,RR）
·加权轮询（WeightedRoundRobin,WRR）
·最少连接（LeastConnection,LC）/最大连接（MaxConnection）
·目的IP地址
·源IP地址
·域/域Hash算法（Domain/Domainhash）
·URL/URLHash算法
考虑到建设初期，负载均衡交换机不是必须的设备，而且也不是所有的托管站点都需要负载均衡功能，所以，我们建议先不采用负载均衡设备，等到有需求的时候再增加。
4．WEB服务器的连接
我们为IDC中的每台托管服务器都配置两组网卡，一组用于前端网络的连接，提供WEB访问；另一组用于后端网络的连接，提供对数据库、邮件等服务器以及存储系统的访问。
通过使用不同的网络通道进行数据库等后台应用访问，可以使服务器更充分的利用网络带宽来相应WEB请求；同时，后端网络与前端网络的分离可以让数据库访问、文件存取等要求高速、大容量的数据访问享有更多的网络带宽。
服务器通过一组接入交换机Cat3524连入主干交换网络。
5．后端网络的设计
由于后端网络连接IDC管理中心，数据库、邮件等服务器和大容量存储系统，需要高速的交换系统，所以我们使用两台Cat6509交换机作冗余的核心，连接一组Cat3524提供和WEB服务器的连接；对于数据库等服务器和存储系统，可以采用千兆以太端口或千兆以太通道提供高达数Gbps的直接连接。
6．用户的远程维护
一般情况下，IDC用户会要求远程维护自己的托管服务器，由于用户只允许对自己托管的服务器进行访问，因此，必须采用如：
VPN、VLAN等技术保证这一点。
通过连接到后端网络的广域网路由器可以提供用户通过专线、拨号、VPN等各种方式实现远程维护。
对远程维护的行为进行可以通过以下几种方式进行：
·DDN专线：
用户通过DDN专线连接到IDC中心，通过策略路由或VLAN被限制只能访问自己的服务器，进行维护。
·PSTN或ISDN拨号：
用户通过拨号线路访问IDC中心，身份认证由AAAServer进行，并进行行为授权，保证用户只能访问到自己的服务器进行维护。
·VPN：
用户可能距离IDC中心太远，从各方面不具备通过DDN或PSTN线路访问IDC中心的条件，这是可以通过INTERNET采用VPN的方式与IDC中心连接并维护服务器。
这种情况下，由VPNServer或VPN路由器保证连接的安全性和可靠性。
VPN的实现可以采用IPSec隧道和MPLSVPN技术，在保证信息正确可达的情况下，对用户信息进行高强度的加密，保证用户信息的不被窃取和完整性。
对于本地接入的公司所托管的服务器，由于公司LAN和托管服务器处于一个LAN结构之内，所以，服务器运行维护可以通过定义VLAN进行。
7．网络安全的考虑
网络的安全主要通过防火墙和入侵检测系统来体现，通过部署防火墙系统，可以将网络划分成几个安全等级不同的部分，对于要求安全等级高的部分，还可以通过部署多级防火墙来提供安全保护。
入侵检测系统则可以对恶意的入侵行为进行探测，进行记录。
这部分内容参见第三章第二节"安全性建设"。
8．网络的扩展性
网络良好的扩展性可以让供应商在相当长一段时间内持续提供一致服务，而无需进行新的投资，我们在网络设计中也充分考虑到了这一点。
网络主交换机Cat6509采用模块设计，最多可以支持到384个10/100个快速以太端口，或130个千兆以太端口。
其交换带宽可以从32Gbps（15Mpps）扩展到256Gbps（150Mpps），用户可以根据需要选配端口。
建筑物主交换机Cat4006也采用模块设计，支持六个接口插槽，最多可以扩展到240个快速以太端口，72个千兆以太端口。
楼层交换机Cat2924支持10/100自适应端口速率，而且2924支持多交换机堆叠，在端口数不够时，可以简便地扩充端口而无需增加上层交换机的端口。
Cat4006可以通过千兆以太通道技术来提升主干连接速率，Cat2924也同样支持快速以太通道和千兆的主干连接，可以在需要的时候平滑地从现在的10M/100M/1000M的交换结构升级到100M/1000M/n*1000M的交换结构，成10倍地提升网络速率。
IDC基础系统建设
IDC在前期建设中，首要任务之一是建设其基础服务系统，IDC的基础系统主要有DNS系统、目录服务系统、数据备份系统、安全系统等。
DNS建设
在Internet上计算机和网络设备使用IP地址来表示的，但IP地址很难记忆，所以采用和IP地址相对应的域名（Domain）来表示主机和网络，DNS（DomainNameService）即域名服务就是把主机名字和IP地址作相互匹配，供Internet上用户以主机域名的方式相互查询。
DNS是向用户提供域名查询或域名登录服务，其与Internet中的其它域名服务器形成全球域名服务体系。
通常DNS服务器采用两台或多台的方式来运行，其中一台主服务器（Primary），其它为次服务器（Second）,当主服务器不能工作时，有任何一台次服务器来接管其工作，这样保证了DNS系统运行的可靠性，主次服务器之间采用自动信息更新方式。
IDC的DNS系统除了要为IDC自身服务之外，还要为其客户提供相应的域名定义、为用户开设虚拟域名服务等。
所以在IDC的DNS服务器上可能要定义和管理上百个或更多域名，由于有如此多的域名，其每天接受的查询量也是相当庞大的。
为了保证IDC的DNS域名的可靠性和安全性，我们采用SplitDNS技术来设计IDC的DNS系统，即把IDC的DNS系统划分为内部和外部两部分，其中外部DNS系统位于公共服务区，负责IDC正常对外解析工作，如IDC的Web服务器、IDC用户的Web服务器等解析工作全由外部DNS服务器来完成；内部DNS系统主要有两项工作，一是负责解析IDC内部网络的主机，如目录服务器、邮件服务器等，另一工作是负责当内部要查询Internet上域名时，其把查询任务转发到外部DNS服务器上，然后由外部DNS服务器完成查询任务，返回结果。
由于把DNS系统分内外两部分，Internet上用户只能看到外部DNS系统中的服务器，而看不见内部的服务器，而且只有内外DNS服务器之间交换DNS查询信息，从而保证了系统的安全性。
如下图说明了DNS解析流程，
我们采用两台SunE420R服务器作为外部DNS服务器，两台SunE420R服务器作为内部DNS服务器，所有两台服务器之间以主次方式运行，DNS软件可采用Solaris系统中的，也可使用Internet上公开的Bind。
具体的服务器配置如下表所示。
DNS服务器
机器型号
配置
备注
外部DNS
主DNS服务器
SunE420R
2x450MHzUltraSPARCCPU
1GBMemory
2x18.2GBInternalDisk
次DNS服务器
SunE420R
2x450MHzUltraSPARCCPU
1GBMemory
1x18.2GBInternalDisk
可选
内部DNS
主DNS服务器
SunE420R
2x450MHzUltraSPARCCPU
1GBMemory
2x18.2GBInternalDisk
次DNS服务器
SunE420R
2x450MHzUltraSPARCCPU
1GBMemory
2x18.2GBInternalDisk
可选
安全性建设
系统安全架构的设计将包括两个方面：
防止IDC网络外部用户对IDC网络系统可能的攻击，以及防止IDC网络内部各子系统之间可能的攻击。
这两个方面所采用的技术和思路是一致的。
系统安全架构将从三个层次来考虑：
网络层、主机/服务器系统及应用层。
·网络层的安全主要是防范对于整个网络的非法访问，一般通过防火墙来实现。
通过配置了多级防火墙，以隔离IDC网络各个组成部分相互之间的非法访问（合法访问可以通过）；对于Internet用户来讲，如果想非法侵入IDC内部网络，必须突破防火墙的防范。
另外，各级防火墙可采用不同的产品，以提高网络整体的安全性。
·主机/服务器系统的安全是针对个别机器的。
除了主机/服务器的操作系统自身的安全性之外，目前有多种产品可供选择，包括SUN公司的SecurityManager和CA公司的UnicenterTNG等产品。
·应用层的安全将从三个方面来考虑：
增强应用服务器系统的安全；采用身份认证机制，以保证应用的可靠性；采用数据加密技术和防病毒软件，以保证应用的安全性。
1.操作系统的安全规划
操作系统的安全性建设应是整个系统安全性建设的基础。
操作系统的安全性建设主要包括用户的管理、超级用户的管理、文件系统安全管理、远程对系统的访问等。
用户管理：
对用户的管理主要有用户的账号口令管理，设置用户账号的有效期，用户账号口令的存活期限等。
如果需要可以规定用户只能在指定的时间内才能登录系统，并对登录系统的用户进行审核（audit）。
超级用户的管理：
严格限制有普通用户变成超级用户（如使用su、rlogin等命令），如果需要可以使用如CAUnicenterTNG这样的软件来控制系统超级用户的权限。
文件系统的安全管理：
控制用户对系统内特殊文件的访问权限，特别是删除、移动等权限，对使用NFS系统可以采用kerberos方式认证。
远程对系统的访问：
封闭系统的telnet、ftp、r-访问（rsh、rlogin、rcp）等功能；但可以对系统管理员开放相应的telnet、ftp功能，以便利于对系统的管理和维护。
2．防病毒（Anti-Virus）
目前病毒在网络和Internet上传播主要以电子邮件和Web浏览的方式传播，以及内部网络上员工的共享文件的传播。
防病毒可以分为集中防病毒和分散防病毒两种方法。
集中防病毒的方法是在主要的服务器上安装防病毒软件，此软件先对进出此服务器的数据进行检查，然后再把通过检查的数据发送给客户；分散防病毒是只在客户端安装防病毒软件，它只检查进出客户端的数据是否有病毒感染。
由于IDC主要为客户服务，数据主要集中在服务器上，所以在IDC系统的防病毒体系中主要采用集中防病毒方法，但同时对一些与服务器相交户的内部客户段（如管理客户段）也采用分散的防病毒方法。
集中防病毒主要是对进出的邮件和HTTP流数据进行防病毒；分散是保护内部网的单个终端用户。
3．防火墙（Firewall）
防火墙（Firewall）是保证网络安全的重要手段之一，在建设IDC基础网络系统安全性时，首先是要考虑防火墙的建设。
在Internet/Intranet上，通过防火墙来在两个或多个网络间加强访问控制，其目的是保护一个网络不受来自另一个网络的攻击，隔离风险区域与安全区域的连接，但不妨碍人们对风险区域的访问。
防火墙要完成如下主要功能：
·通过对IP包的检查，过滤对网络安全有潜在威胁的IP数据包。
·屏蔽对于网络不必要且有安全漏洞的服务，如Telnet、FTP等。
·控制从Internet上过来的IP数据的流向，如数据包其目的地址只能是某个区域的DNS、WWW等服务器。
·屏蔽对于某些Internet站点的访问。
·完成系统内部IP地址到Internet合法IP地址的转换，保证能够
升级会员 