上海市规划和国土资源数据中心的技术架构.docx
《上海市规划和国土资源数据中心的技术架构.docx》由会员分享，可在线阅读，更多相关《上海市规划和国土资源数据中心的技术架构.docx（20页珍藏版）》请在冰点文库上搜索。
上海市规划和国土资源数据中心的技术架构
上海市规划和国土资源数据中心的技术架构
摘要：
本文主要介绍了上海市规划和国土资源管理局数据中心建设目标、设计原则和主要特点，并对网络、主机、数据库、存储、应用服务器等IT组件的结构和功能进行了较为详细的说明。
关键词：
数据中心；基础架构；数据交换；安全；容灾；虚拟化
中图分类号：
P23 文献标识码：
A 文章编号：
1674-3695-（2010）01-13-11
1概述
数据中心的目标是为业务应用提供安全、可靠和高效的IT基础支持架构。
为了配合本市规划和国土资源全生命周期的精细化管理需要并考虑到规划、国土资源基础数据的高度支撑作用和高度的共享性，我们在整个数据中心的规划和建设中都是紧密围绕着“统一共享IT基础设施”这一中心进行的。
以此出发我们建立了上海全市集中统一的网络（所有应用共用内外网网络设备）、集中统一的数据库和信息存储管理、集中统一的应用服务器（采用虚拟化技术）以及集中统一的信息安全防护，并逐步建立和完善了“生产中心、灾备中心、指挥监测中心和测试中心”四个中心，为我局行政管理统一平台的贯彻执行起到了很好的技术支撑作用。
数据中心的整体架构如图一所示，从区域上可分为浦西和浦东两个部分，其中浦西是主数据中心，日常的业务运作、指挥监测和开发测试等都在这里进行，浦东主要起到容灾作用。
从功能逻辑上可划分为四个功能中心区域，它们之间密切关联、相互依赖。
生产中心作为核心，其容量和能力也是最强的，它为业务应用系统提供了强大保证，主要的日常运作业务应用系统都部署在生产中心，同时生产中心还可根据管理要求适时地将生产数据信息进行抽取、过滤、转换和汇总（ETI），为指挥监测中心提供了数据支持，确保管理决策支持有据可查。
测试中心建立了小型而又完整的的生产模拟环境可供应用开发进行功能测试、压力测试和联调测试，从而保证上线应用稳定、可靠并与其他应用兼容；测试中心可根据测试要求同步生产数据，使应用测试获得与正式环境差不多的运行感受，并且不会影响真实的生产数据。
灾备中心为生产中心和指挥监测中心提供异地容灾，确保生产数据和指挥监测数据的可靠性，并确保关键业务应用在异常灾难环境下的可用性。
在上述四个中心的建设中我们秉承“统一共享IT基础设施”这一中心原则，在确保满足安全等要求的条件下在各个IT基础组件层次进行充分的共享，包括：
指挥中心、测试中心和生产中心共享同一网络资源；生产中心和测试中心在日常运行中使用灾备中心的计算能力；灾备中心利用存储设备EMCSNAPVIEW和开发的脚本建立了独立的统计查询和报表数据库，极大减轻了生产库的压力并极大地提高了统计工作的效率等。
通过上述方式达到了充分利用和共享了整个系统资源，降低投资和运行成本的目标。
我局在数据中心的建设中充分运用现代IT最新技术和方法手段，提高整个基础架构的稳定性、可用性和伸缩性，确保数据的高可靠性，这主要表现在：
1.1严格物理隔离条件下的内外网数据交换平台
针对生产内网和外网数据交换和共享的需要，同时根据政府机关信息安全的规定内外网之间必须满足严格物理隔离的要求，设计和开发了基于网闸和Oracledataguard的内外网核心数据交换平台。
整个同步和交换过程可根据业务需要进行设置，而且完全自动化易于控制。
该数据交换平台在内网和外网通过Oracledataguard建立了对端的镜像数据库（Standby），并开发专门程序实现基于网闸的日志传输和满足业务要求严格受控的日志恢复同步功能模块，实现基于数据库级的内外网数据共享和交换。
其主要机理如下：
专门程序利用网闸文件摆渡功能进行归档日志的近实时发送和接收，并利用时间戳、校验和重传确认机制解决了文件丢失、文件内容错误等问题，根据业务的要求在规定时刻发送同步信号并进行日志logapply操作将镜像数据库恢复到当天，并最后以只读方式打开。
图2所示为内外网数据交换平台物理拓扑图，为了保证数据库系统的高性能和高可用，内外网的生产数据库和dataguard镜像数据库都用有两个节点的真正应用集群（Realapplicationcluster简称RAC），并对网闸也进行了双机热备（图中未显示）以确保基础平台数据交换的可靠性。
业务应用系统可在生产数据库上以dblink方式访问镜像数据库，也可直接访问镜像数据库。
1.2多层次的数据保护体系
根据业务应用的需要，我们在存储层面基于EMCMIRROWVIEW技术实现了生产数据中心到容灾中心的实时数据同步；在生产数据库通过Oracleflashback技术可对于2-4小时以内的数据操作实现在线回溯；通过在远地（张江）利用oraclephysicaldataguard实现了数据库级的异步数据复制，进一步保证数据的可靠性并通过参数配置实现了8小时以内数据的回溯；通过采用EMCSNAPSHOT技术为每周7天拍快照可以追溯到一周内任意一天的数据。
此外我们还利用oracleRMAN和IBMTIVOLI实现了传统的磁带备份，通过备份窗口设置确保拥有足够的数据库全备份和归档日志使我们可以基本回溯到两个月以内的数据。
1.3统一的应用级灾备中心
考虑到房地业务信息和数据覆盖面广，关系到广大人民群众的切身利益，在数据级灾备的基础上，通过实施了一整套完备的技术框架和方案对网络、主机、存储、数据库和应用服务器等进行了完善和改进，并制定了相应配套的管理制度和演练计划，初步建立和实现了应用级灾备中心，对于IT核心基础架构和关键业务实现了站点（SITE）级的异地容灾，并对核心数据库服务器、存储、网络等可能出现的重大故障建立相应的应急技术方案和应对流程，进一步提高了生产数据中心的抗风险能力。
1.4虚拟化技术等
利用虚拟化技术建立了统一的应用服务器部署和分发策略，大大地提高了设备利用率、降低了应用间的相互干扰，提高了可用性，并极大地简化了灾备中心的建设。
在IT基础架构——网络、数据库、主机、存储和应用服务器等各组件层次，通过冗余和均衡负载策略，充分发挥设备的利用率，提高基础架构的可用性和可靠性。
在设备选型和采购中还充分考虑了余量和扩展性，可根据业务的需要在较大的范围内进行扩充，确保系统平滑升迁并避免投资浪费。
此外我们还进一步加强了机房环境建设，建立统一的监控平台和基于业界标准的ITSM流程规范（ITIL），以确保数据中心的安全、有效和有序地运行。
在如下部分我们将从IT组件的各个层次和环节对数据中心的结构和功能进行详细说明。
2网络和安全
2.1网络
网络系统的建设着重考虑到了数据中心的高效、安全与稳定性和纵向业务网络的覆盖面的广度与深度。
2.2数据中心网络
针对数据中心核心网络的建设，我们以建设高性能、高可用性、高安全性、健壮性、先进性与可扩展性为设计的准则。
如图3所示，数据中心横向划分为生产数据中心主核心网络与异地灾备网络两部分；纵向又分为核心数据区、应用服务发布区、业务访问区三块独立的安全层面。
生产数据中心主机房与灾备中心机房间通过100Mbps速率的裸光纤互联。
通过先进的光波波分复用技术，逻辑上将1路光纤分为了8路光纤独立使用，最大化的降低了线路互联的成本。
主中心网络与灾备网络各安全层面间均为二层透传网络，其最大的优点在于逻辑上的一致性，可以将服务器透明的部署在生产主机房和灾备机房。
二层网络的低延迟，高稳定性的特点也迎合了先进的数据中心网络的要求。
生产和灾备数据中心中的网络节点与线路均采用冗余部署模式，不存在单点故障。
2.3业务接入网络
针对覆盖全市各区县、街道、乡镇的信息业务接入网络的建设，我们以建设稳定、安全、高效、经济为设计的准则。
如上图所示，信息业务接入网络依据接入点层次、职能不同，将其划分为区县房地交易中心、区县房地管理局、区县土地科、街道房地办事处和乡镇土地所5块。
区县房地交易中心和区县房地管理局均采用100Mbps速率的电信光纤作为接入主线路，2Mbps速率的帧中继专线作为接入的备份线路。
主线路与备份线路分别连接至位于生产数据中心主机房的核心汇聚路由器及灾备数据中心机房的核心汇聚路由器上。
通过先进的OSPF动态路由协议冗余技术，当遭遇可能发生的广域网主线路异常中断时，备份线路能迅速接管，对房地业务系统的正常运行无任何影响。
在网络安全技术运用方面，引人了先进的OSPF路由加密算法，对非授权节点的准入进行严格控制，保障了边界网络接入的安全可靠。
街道房地办事处和乡镇土地所均采用2Mbps速率的EDSL电信专线作为接入线路。
其稳定的线路质量与充足的线路带宽完全满足了日常业务的需求。
由于房地街道办事处和乡镇土地所点位数量多、分布广故在建设过程中，着重考虑了边界网络的安全性与网络的整体管理性。
通过在接入节点部属UTM一体化网络安全接入设备，通过中心统一监控平台，实时地监控所有节点的运行状况与流量分析报告，提升了运维管理的质量。
2.4外网网站
我局网站对外提供政府政策信息发布、业务受理、舆情等主要应用。
如图4所示，网站网络为我局门户网站提供了高可用、高安全的基础支撑平台。
网站网络从设备资源到线路资源，均满足关键节点的双核心高可用性部署。
同样的，浦东、浦西分开的两个运管中心可以同时对外提供服务。
借助于F5负债均衡设备和动态DNS解析技术，实现了灵活的访问流量分配和冗余。
2.5安全
根据《信息安全等级保护管理办法》和《定级指南》的有关内容，我局信息系统满足国家信息系统三级等保要求。
安全系统建设要按照国家有关电子政务安全策略、法规、标准和管理要求进行，以风险评估和需求分析为基础，坚持适度安全、技术与管理并重、分级与多层保护和动态发展等原则，保证网络与信息安全和政府监管与服务的有效性。
安全系统建设内容包括信息安全管理规章制度、资源安全、应用安全、系统安全、网络安全和物理安全等方面。
安全系统设计按照基础设施层、数据访问层、信息交换层、应用层划分层次。
如图5所示。
网络安全系统主要遵循了隔离、控制、保护三个原则。
如图6所示。
核心业务内网按重要级别不同分为3个层次区域，通过防火墙策略控制与物理DMZ相结合方式对各层面间的访问进行控制；核心业务内往与Internet物理隔离，仅部分数据交换应用通过安全网闸文件摆渡的方式实现。
业务核心内网与国土资源主干网之间部署安全网闸物理隔离，仅通过文件摆渡方式实现数据交换。
数据交换服务器对核心业务库的访问受到防火墙安全策略的严格控制。
同时，在核心网络区域部署有多个入侵检测探头和网络行为录像机，对外界的访问行为记录、审计，必要时可进行回滚重放，确保数据安全万无一失。
在技术方面，目前已经完成的工作有以下方面：
（l）物理安全：
物理位置的选择、物理访问控制、防盗窃和防破坏、防雷击、防火、防水和防潮、防静电、温湿度控制、电力供应、电磁防护。
（2）网络安全：
结构安全、访问控制、安全审计、边界完整性检查、入侵防范、恶意代码防范、网络设备防护。
（3）主机安全：
身份鉴别、访问控制、安全审计、入侵防范、恶意代码防范。
（4）应用安全：
身份鉴别、访问控制、安全审计。
（5）数据安全及备份恢复。
3主机系统
房地局的核心业务系统位于浦西生产中心机房，分为内网和外网两部分，内外网之间通过Oracle数据库的DataGuard每天相互进行业务数据同步。
因此房地局核心业务总共有4套AIX小型机系统：
内外网各有1套核心生产系统以及1套对方的镜像系统，基础架构如图7:
从图中可以看到每套系统都采用OracleRAC，也就是双机并行的HACMP，两个汽点可以同时对外提供数据库服务。
任何单节点故障只会导致该节点的服务中断，而另一个节点会在最短的时间内恢复故障节点占用的系统资源以及数据库资源，代替故障节点对外提供服务。
这种容错设计最大程度的降低了单机故障可能对业务连续性造成的不利影响，有力保障了系统的7*24不间断运行。
为了整合系统资源，提高资源利用率，房地局在部署外网业务系统时采用了IBM当时新推出的先进的分区技术LPAR。
LPAR来源于IBM的MainFrame,可以高效地将单台Power4物理小型机分割为多台相互独立的逻辑机器。
因此外网业务系统虽然有2套RAC，但是只有2台IBM旗舰产品p690，每台p690划分成2台逻辑机器。
不同p690之间的逻辑机器做RAC，避免了单台p690故障可能导致的业务中断。
在解决了单机故障对业务连续性造成的不利影响之后，还要考虑诸如机房失火或者供电故障等影响机房内所有设备的情况。
因此在构建IT系统时除了浦西的核心业务系统外还在浦东以及张江构建了2套独立的灾备系统。
浦西-浦东之间采用基于存储硬件复制的同步技术，浦东灾备系统是应用级灾备。
而浦西-张江之间采用基于OracleDataGuard的数据库同步技术，张江灾备系统是数据级灾备。
2个采用不同同步技术，并且位于不同物理位置的灾备系统从根本上避免了由于同步技术存在bug，或者机房范围的故障可能导致的业务数据丢失。
而且浦东应用级灾备可以在浦西主机房发生故障的情况下迅速接管对外业务。
4存储系统
房地局存储系统采用全光纤通道、全冗余、异地容灾的SAN架构。
为了确保数据的安全性（内、外网物理隔离），分为内、外网络，每个网络都有自己的SAN，每个网络的SAN架构相同，如图8所示：
SAN基础架构中的互连设备——光纤通道交换机，采用的是4Gb、多端口的BrocadeDS5000系列。
其内部的可替换部件（电源、风扇、端口）都是冗余的，避免了这些部件的单点故障而导致整个光纤交换机不可用。
同时为了避免单个交换机的失效对整个SAN的连通性的影响，采用的是冗余交换机、双Fabric架构。
配合主机上的冗余HBA卡和多路径管理软件，任一交换机的失效不会造成主机中断对存储系统的访问。
极大提高了整个SAN互连的可用性。
同时，光纤交换机上采用的是设备硬件地址的认证，未经认证的设备无法接入SAN，提高了SAN的安全性。
存储设备采用的是可用性达到5个9（99.999%）的EMCCX系列，该系列在可用性、性能、管理、复制和可靠性方面在中端存储领域处于领先地位。
该系列存储内部组件（控制器、硬盘、端口、连接卡和连接线缆），配合主机上的冗余HBA卡和多路径管理软件，避免了这些组件的单点故障对整个存储系统访问的影响，从而提高整个存储的可用性。
为提高数据的可用性，使用双控制器来保证主机尽可能地能连接到存储系统；使用RAID技术来避免单个磁盘的损坏而导致重要的数据不可访问和数据丢失。
为提高整个存储系统的安全性，CLARiiON存储采用了LUN，确保未经许可的主机无法访问受保护的数据。
为提高存储的可用性、避免存储的失效导致数据不可访问，在灾备中心配置了同系列的存储，利用存储上的MirrorView软件通过容灾线路，将数据实时复制到灾备中心的存储上。
当生产中心存储失效或者生产中心整个站点失效时，可在最短时间内切换到灾备中心的存储，提高存储的可用性。
为避免人为误操作、病毒或者其它意外导致数据损坏而业务时，需要将数据恢复到以前的某个时间点，在存储上对重要的数据进行了快照，需要时可以快速地将数据恢复到快照时的情形。
为提高存储的可用性，每台主机上至少配置2块光纤通道HBA卡，避免任一HBA卡的失效导致主机无法连接到SAN。
同时在每台主机上安装EMC的多路径管理软件——PowerPath，它是主机上用来增强性能和可用性的解决方案。
它具有多路径存取、平衡负载、切换有故障的路径和优化性能的功能。
最大的功能就是提高可用性和性能。
为避免因火灾、地震、建筑物倒塌等意外发生造成生产中心SAN基础设施失效、数据丢失、业务中断等，在异地建设了灾备中心，同时配备相关的基础设施、技术人员和灾难恢复预案。
生产中心和灾备中心的数据复制链路采用的是与协议无关的电信裸光纤，采用ZGbSFP保证在存储上可以采用同步复制，当灾难发生时，数据丢失可以降以最低。
5数据库系统
房地局的数据库系统使用ORACLE9.2版本数据库软件，分内网业务应用（交易登记、地理信息系统等）、外网网站应用（一手房、二手房业务系统等）和指挥监测中心（监测、报告、展示系统等）三大模块。
内、外网的数据通过网闸在保证物理隔离的情况下进行数据交换；指挥中心通过ETL工具抽取内网生产库及外网镜象库的数据用于监测及展示。
具体结构见图9:
基于数据的重要性、安全性以及整个数据库系统的可用性和连续性，我们在数据库系统中使用了许多新技术：
5.1内、外网数据同步
内、外网的镜象数据库通过使用ORACLE的技术来实现。
由于审核部门需要审核前一日的各种交易数据，并从历史数据中进行报表查询工作，同时不允许其擅自修改交易信息，因此采用了内、外网数据库在其对应的层面生成只读镜象库的方式来完成这样的业务要求（即内网数据库在外网产生一个镜像库，外网数据库在内网产生一个镜像库）。
同时又要兼顾数据的安全，严格要求内、外网数据物理隔断，因此使用网闸这一产品在内、外网之间充当中转站来传输数据库归档日志，从而实现数据库的镜象同步，保证了内、外网的镜象库数据能够在第二天提供给各自的审核部门审核、报表查询等基本的业务操作。
5.2RAC技术
内、外网的生产以及镜象数据库都使用了RAC技术，都具有双节点，各应用按照自身的应用类型及与其他应用之间的钩稽关系分布在两个节点之上，看到的却是同一份数据。
另外将最核心的应用分节点部署，从可用性角度来说也是为了避免一个节点当机造成最核心的应用全部瘫痪的情况。
RAC技术能确保即使在一个节点的实例发生意外当机的情况下，另一个节点仍能负担起整个业务的负载。
5.3DATAGUARD技术
DATAGUARD是一种数据库级别的HA方案，最主要功能是冗灾、数据保护、故障恢复、报表查询等。
在数据库系统的日常运行过程中，DATAGUARD技术大量应用于我们的环境中。
首先，前面我们已经介绍过，内、外网的镜象库就是使用DATAGUARD技术搭建的，目的是为了报表只读查询；除此之外，张江灾备以及指挥中心的灾备同样使用DATAGUARD来搭建，目的是为了冗灾、数据保护以及故障恢复。
5.4FLASHBACK技术
在数据库安全方面，我们不允许开发人员擅自登录数据库修改数据内容或数据结构，有专门的工程师在固定时间段对此类操作审核并集中处理；另外部署了数据库监控产品对数据库操作进行审计，对于违规操作我们会给予警告或是处分，这极大的降低了数据误操作的风险性。
即时在这种情况发生了不应该的数据修改，我们仍能快速完成对象级别的数据恢复：
采用日志挖掘技术分析定位误操作的时间点并使用FLASHBACK技术实现对象级别的数据恢复。
5.5数据库备份
不管是什么结构的数据库，还是安全性高低要求不同的数据库，都应当会有一套数据库备份系统方案。
对于24*7提供服务的数据库系统来说，我们设计使用联机热备方案，就是在业务低峰期间（如每天夜间）不关闭数据库的情况下，把数据库备份到可靠的介质中去，我们配备了磁带库做为备份介质。
为了提高备份效率，减少备份时间，我们只在周五晚上或周六白天做数据库全备份，其余时间使用增量备份策略，这样，当数据库需要恢复的时候，只需要恢复最近的一次全备份，然后再恢复日志即可，只要条件许可，可以做到完全恢复。
5.6张江数据库级容灾备份
考虑到业务应用数据的重要性，为了防止整套系统发生灾难性故障，造成所有数据无法挽回的情况，我们除了在灾备中心基于EMCMIRR0WVIEW在存储级上进行实时灾备外，还在张江对内外网核心数据库另外配备了一个STANDBY数据库，实现了数据库级的容灾。
实现原理是，使用oracle的dataguard川技术，自动同步生产库上已经归档的数据（接收到的归档数据相隔8小时后才会应用到灾备环境使其同步，这是为了便于回溯数据），这样，当主机完全不能使用，如机房焚毁、塌陷等等不可抗灾难情况时，数据的损失几乎是最小化的。
另外，如果生产库的数据结构发生了误更改，通过张江灾备库基于时间点的恢复技术仍能找回之前的状态。
6虚拟机和应用服务器
目前信息中心机房的虚拟机主要使用vmware公司的vSphere4.0及vCenter管理中心。
VMwarevSphere4.O是一种企业级虚拟化工具。
它利用能够管理许多虚拟机的服务程序进行工作，由于vSphere4.O运行在“裸机”商，这在本质上意味着将vSphere4.O软件直接安装在计算机上，不需要有一个让它可以运行在其上的操作系统。
VMwarevCenter是一套虚拟架构的管理软件，通过vCenter能够单点管理上千台WindowsNT/2000/2003/Linux服务器。
vCenter接口提供了一个强大的浏览功能，能够浏览数据中心的所有虚拟资源，通过调整每个软件服务器占用的资源，监视和最优化数据中心资源的使用，在维护应用服务的级别上最小化资源的浪费。
目前机房总计有33台VSphere4.0服务器及两台vCenter管理服务器分别部署在内、外网，分布于DellPowerEdge1955刀片服务器两组及三台DellR710服务器，而虚拟机的数据文件都是统一存放在EMCCX系列存储中，其中内网由2组DellPowerEdge1955刀片服务器及1台DellR710服务器组成。
下图10是单台VSphere4.0服务器的拓扑图：
VSphere4.0服务器主要安装了Windows、Linnux操作系统并部署大量的应用系统为局属二级、二级单位的终端用户提供服务。
因为虚拟机的数据文件都是存放在EMCCX存储中的，所以数据文件的安全性得到了保障，并且可以充分利用VMware提供的各种优势功能来最大限度保证应用系统的正常运行，例如当一台VSphere4.0服务器的硬件资源使用率太高而影响到应用系统可能宕机时，就可以使用VMotion功能在不停机的状态下，通过VCenter对虚拟机操作系统进行快速的在线迁移，让该应用系统在另一台服务器上正常运行，使应用系统提供服务的连续性得到了保证。
由于虚拟操作系统不是运行在真实的物理硬件上，因此可以很容易的修改操作系统配置，从而优化物理硬件资源配置做到物尽其用。
在安全方面，通过安装Trendmicro趋势防病毒服务器及Landesk补丁分发服务器，对VSphere4.0服务器上Windows系统虚拟机进行实时的病毒防护及补丁管理，将由于病毒、漏洞引发的宕机危险降低到最低限度。
在容灾方面，在浦东容灾机房中有一组安装了VSphere4.0软件的DellPowerEdge1855服务器用作中心机房VSphere 4.0服务器的容灾备份，而全部虚拟机数据文件都是存放在EMCCX系列存储上的。
当中心机房全部的VSphere4.0服务器因停电等各种不可抗拒的原因发生宕机影响到应用系统无法正常提供服务时，可在较短的时间内在灾备存储上找到全部应用系统的虚拟机数据文件并通过vCenter管理服务器将全部数据文件加到浦东容灾机房的容备vSphere4.0服务器的目录中，根据应用系统的重要性及影响范围依次恢复全部应用。
7统一监控管理平台
房地局使用的监控管理平台基于IBMTivoli解决方案，该解决方案提供各种基础设施的监控、管理功能的整合，整个方案围绕事件管理，将所有的管理报警信息、以事件的方式报告到统一事件管理平台，管理人员通过直观的事件信息监控，就可以了解基础设施
升级会员 