省级政务云平台-虚拟化计算资源池规划.docx

省级政务云平台-虚拟化计算资源池规划.docx

《省级政务云平台-虚拟化计算资源池规划.docx》由会员分享，可在线阅读，更多相关《省级政务云平台-虚拟化计算资源池规划.docx（27页珍藏版）》请在冰点文库上搜索。

省级政务云平台

虚拟化计算资源池规划

目录

第1章建设目标、范围、任务 1

1.1建设目标 1

1.2建设范围 1

1.3建设任务 2

第2章省级云计算中心方案 4

2.1整体架构 4

2.2虚拟化计算资源池方案 5

2.2.1弹性设计原则 5

2.2.2计算场景设计方案 6

2.2.3虚拟化技术选型 9

2.2.4资源池架构设计方案 10

2.2.5资源池功能设计 12

2.2.6计算容量设计 12

2.2.7计算资源设计方案 13

2.2.8可靠性设计 20

2.2.9可扩展性设计 23

2.2.10性能设计方案 25

第1章 建设目标、范围、任务

1.1建设目标

以《国务院办公厅关于促进电子政务协调发展的指导意见》为指导，统筹推进省电子政务基础设施提升、电子政务业务系统协同发展、信息资源共享共用和数据开放利用；按照湘府阅[2015]53号文件要求，以资源整合、集约建设、稳步推进为原则，建成安全可靠、统一高效、国内领先的云计算平台并开展示范应用，为全省各级部门提供弹性的云计算和云存储能力、政务外网承载服务与应用能力，基本满足省直部门“十三五”期间非涉密业务的统一网络、计算资源、存储资源、数据库服务、备份服务、安全服务等需求，提升政府效能，促进政府管理创新，达到简政、兴业、惠民的目标。

1.2建设范围

省级电子政务外网主要满足各级政府部门社会管理、公共服务等方面的需求，为各省直部门的非涉密电子政务业务提供承载服务。

本次建设省级电子政务外网统一云平台，总体框架为“1+2+N”，即“1网、

2中心、N多应用云”，省本级政务大数据中心，初步形成“8+3+5”的基本框架。

具体业务目标主要包括：

“一个网络”——优化升级电子政务外网平台，满足省直部门间以及省到市、市到县网络传输和承载的需求；

“两个中心”——建设云计算中心、大数据中心，满足省直部门十三五期间非涉密业务需求，为政府领导提供科学、合理的决策支持。

“N朵应用云”——建设基于云平台的N个全省性应用系统，包括政务服务、政务管理、政务行业、政务决策和政务办公等领域。

“8大基础数据库、主题数据库”——完成人口、法人、宏观、地理空间、

25

政务服务信息、工商企业、信用信息、电子证照等8大基础数据库、主题数据库的建设、迁移、备份共享；

“3大平台”——完成大数据智能分析平台、数据交换和共享平台、数据开放平台3大平台；

“5大示范工程”——完成全省旅游大数据分析、12345服务平台、区域经济脸谱大数据分析、省互联网产业发展状况分析、省政府网站群智能监测分析5大示范工程；

建设建设统一的安全体系；

建设统一运维管理机制；

设计迁移策略，完成部分系统的迁移；

明确云平台建设、管理、运营模式，节约投资，提升服务质量。

1.3建设任务

充分考虑省级电子政务外网统一云平台计算、存储资源需求的阶段性和应用系统建设的复杂性，为了保证投资的有效使用，采用分期建设的原则。

（一）第一期——2016年

1.完成省电子政务外网的升级改造；

2.建设40%的计算、存储资源；

3.启动大数据中心建设；

4.启动N朵云建设。

（二）第二期——2017年

1.建设60%的计算、存储资源；

2.完成灾备中心建设；

3.完成大数据中心建设；

4.完成N朵应用云的部分建设。

（三）第三期——2018年-2020年

1．全面完成N应用朵云建设。

其中，本期云平台基础设施部分的建设任务具体包括以下：

完成省电子政务外网升级改造（含安全平台）；

建设主数据中心、同城双活数据中心40%的计算、存储资源，数据交换和共享平台；

建设政府协同办公平台、政务安全邮箱；提供省政府门户网站群五年的运维服务；

提供统一的运维管理服务（五年），确保本期建设的政务外网、安全体系、云计算中心安全稳定运行。

第2章 省级云计算中心方案

2.1整体架构

互联网

市-县网络

广域网

厅-局网络

城域网

互联网

异地灾备中心

城域网

核心交换机-1

城域网

裸光纤

防火墙

核心交换机-2

防火墙

裸光纤

IPS

DWDM

波分设备

DWDM

波分设备

IPS

互联网出口区

防毒墙

互联网出口区

防毒墙

WAF

WAF

核心交换机

核心交换机

核心交换机

核心交换机

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

全局、应用负载均衡

TOR交换机TOR交换机TOR交换机

TOR交换机TOR交换机TOR交换机

TOR交换机TOR交换机TOR交换机

TOR交换机TOR交换机TOR交换机

物理机 数据库

资源池计算资源池

虚拟化计算资源池

Hadoop服务器 物理机 数据库

资源池 资源池计算资源池虚拟化计算资源池

物理机 数据库

资源池计算资源池

物理机 数据库

虚拟化计算资源池

资源池

计算资源池

虚拟化计算资源池

FC存储网络

IP存储网络

FC存储网络 IP存储网络

FC存储网络

IP存储网络

FC存储网络 IP存储网络

FC存储资源池

分布式存储资源池

FC存储资源池分布式存储资源池

FC存储资源池

分布式存储资源池

FC存储资源池分布式存储资源池

外部数据中心

内部数据中心

内部数据中心

外部数据中心

主数据中心机房

同城双活数据中机房

（图示：

数据中心架构设计）

湖南政务云数据中心采用标准化、开放和高扩展的云计算架构，支撑省政府各部门的政务外网、互联网等多种不同业务服务。

（1）网络资源设计：

网络采用扁平化二层架构，分为核心层和接入层，提高性能，减少时延；网络大二层部署，保证虚拟机在资源池内部的热迁移能力；核心交换机旁挂负载均衡器，提供负载均衡增值服务；防火墙支持虚拟防火墙能力，实现业务系统之间的安全隔离。

外网服务区与互联网服务区之间网络通过部署数据交换平台实现不同业务域之间的安全隔离。

（2）计算资源设计：

采用标准化的X86物理服务器，构建计算资源池。

采用OpenStack开放架构，支持Xen、KVM等主流虚拟化平台。

X86服务器根据业务系统对资源的不同需求，配置不同的产品型号及物理配置，划分高性能计算区、通用性能计算区，分别作为虚拟化资源和物理机资源。

（3）存储资源设计：

多样化存储部署，满足不同业务系统的需求，降低存储的投资成本。

对于数据库、VM文件系统采用FC SAN进行承载；对于非结构

化数据、虚拟化镜像等数据存储，建议采用分布式文件系统存储承载，保障存储性能和扩容能力。

（4）业务云化设计：

根据各政府部门业务对云资源的不同需求，以及业务云化的难度，分批逐步的将现网业务系统迁移至云服务商政务云，实现更多政务业务的云化。

（5）云管理平台设计：

构建统一云管理平台，通过对政务云基础资源的抽象和资源池化，提供自助式的IaaS、PaaS、SaaS服务。

政府客户可通过云管理平台统一门户自助申请云服务，并进行灵活的管理。

同时，云管理平台也负责对政务云所有基础资源进行统一的运维管理。

2.2虚拟化计算资源池方案

2.2.1弹性设计原则

弹性是指整个云平台是否可以承载较大波动的负载，以及是否容易实现更高负载的扩容。

同时，根据需要从建设到使用，多个方面满足弹性的要求。

1.设计原则

本次设计方案中，云平台的弹性部分，需要满足以下三个方面：

（1）按需建设

按需建设是指，该云平台需要有良好的架构和足够的扩展性，在初次建设时，根据当前实际的业务需要，以较合理的成本，建设符合本期负载的云平台，而无需提前考虑后续多期，提前预留。

本次云平台中，虚拟化集群，数据库集群，存储集群都应满足按需建设要求。

（2）按需扩展

在按需建设的前提下，随着业务负载的变化，整个云平台可以按需进行扩展，扩展的过程在线进行，采用增加节点的方式横向扩展，对性能与容量都要求能够线性扩展。

整个扩展过程需要在线完成，对应用透明，且对现有运行的系统，不产生影响，服务不中断。

本次云平台中，虚拟化集群，数据库集群，存储集群都应满足按需建设要求。

（3）弹性资源

云平台在运行的过程中，可以根据负载策略进行资源的弹性调整。

支持管理员指定相关阈值，当系统负载到达某阈值的时候，动态的触发相应的动作，如增加或者回收相关资源。

弹性资源调整动作对上层应用透明。

本次云平台中，虚拟化集群、数据库集群、存储集群都应满足资源动态调整的要求。

2.2.2计算场景设计方案

2.2.2.1物理服务器

物理服务器是传统数据中心使用的计算系统，它能够很好的将系统软件的性能表现出来。

以下介绍物理服务器在相关场景的具体应用场景。

下表将按照应用的类型，同时针对对应的业务场景进行描述。

应用资源需求及业务场景分析

应用类型

应用需求

CPU需

求

内存

需求

常见业务场景

推荐服务

器类型

通用管理应用系统

通用类型

L

L

一般基础管理系统（WEB、检索引擎、

DNS、DHCP、AD、FTP、FileSe

rver）

二路

工具类应用系统

工具类型

L

L

基本的工具类应用系统（如打印控制、报表、OCR、流媒体、

网页抓取、）

二路

大访问量

应用系统

浏览密集

型

H

H

政府门户网站、气象查询系统

WEB中间件服务器等

、

四路

大数据量应用系统

大IO小数

据量

M

H

联机处理数据库

二路

小IO大数

据量

M

M

数据仓库分析

二路

访问读密

集型

M

H

影视播放网站

二路

计算密集型

H

H

高性能计算集群数据库应用服务器数字城管

GIS地理信息系统等

图像渲染

四路

应用类型

应用需求

CPU需

求

内存

需求

常见业务场景

推荐服务

器类型

访问写密集型

H

H

流媒体数据库

数据仓库

四路

其他¹

特殊需求

H

H

数据库

中间件

一体机或

小型机

说明：

H：

高；M：

中；L：

低。

其他：

此种为用户的特殊需求，主要从三个方面体现。

继承性：

是用户系统需要升级，而在升级同时考虑利旧因此使用一体机或小型机部署；

用户指定：

用户的大部分业务系统的核心应用服务器均采用一体机或小型机，因此在新建业务系统时，考虑到技术人员对Unix服务器的熟练程度、稳定性等方面要求还比较高，也会选用一体机或小型机；

计算能力：

针对一些电子政务数据中心，通过TPC的计算得出的TPMC

值，只有一体机或小型机能够达到要求，因此选用一体机或小型机。

2.2.2.2虚拟化

对于不同业务的服务器需求，首先需要判断该业务服务器是否能够采用虚拟化方案，不能虚拟化的则需要采用满足实际需求的服务器进行配置，其他的则建议统一采用虚拟化方式，根据采集或预估的计算资源需要采用相应配置的虚拟机来满足该需求。

下列条件下，建议直接使用物理机来满足业务对计算资源的需要：

·对服务器运算性能要求特别高，在单个物理服务器上配置最大计算能力的虚拟机依然不能满足业务应用的计算能力要求；

·对显卡处理能力要求特别高的业务应用；

·现有软件许可加密方式不支持虚拟化的场景；

·业务应用对服务器有特别板卡要求且板卡不支持在虚拟化环境中运行。

根据业务应用的特点，对应用的虚拟化建议如表所示：

虚拟化适应性分析

应用类型

应用需求

CPU

需求

内存需求

网络带宽需求

存储空间需求

存储

IO需

求

存储带宽需求

虚拟化适应性

通用管理

应用系统

通用类

型

L

L

L

L

L

L

适合

大计算量

应用系统

计算密

集型

H

H

M

L

M

M

适合

大访问量

应用系统

浏览密

集型

H

H

H

M

M

L

适合

大数据量应用系统

大IO小

数据量

M

H

M

M

H

M

一般不建议

小IO大

数据量

M

M

H

H

M

H

适合

访问写

密集型

H

H

H

H

M

H

一般不建议

访问读

密集型

M

H

H

H

M

H

适合

说明：

H：

高；M：

中；L：

低。

对应用虚拟化的适应性也可以采用当前主流的应用分层（Web服务器、

App服务器、DB服务器）来进行考虑，通常情况下虚拟化比较适合Web服务器和App服务器，DB服务器需要根据业务应用对存储I/O的需求来评估，如果业务应用的DB服务器I/O要求大或DB服务器有HA或集群需要，建议将该种业务应用的DB服务器部署在物理服务器上。

根据服务器功能分类和业务应用的性能需求，经过评估业务应用可以虚拟化后，就可以分别选择不同的虚拟机规格类型。

省级各厅局业务系统均存在大量对性能要求较低的业务系统，适合虚拟化部署场景。

经过对13个重点厅局55个应用系统的调研，其中明确有迁移需求的应用系统有29个，占全部调研系统的60%。

“十三五”期间，省直部门拟新建的系统64个全部部署到云平台，新建应用系统尽量共用、复用云平台中的应用中间件和数据库。

如下典型应用系统可虚拟化部署。

厅局

业务系统名称

部署方式

规格需求

省安监局

省职业卫生监管系统

虚拟机部

署

6个系统共需64vcpu，512G内存，40TB存储，电子政务外网2000M，互联网200M

省安全监管基础业务平台

虚拟机部

署

厅局

业务系统名称

部署方式

规格需求

省应急救援指挥平台和在线动态

监管系统

虚拟机部

署

省安全生产行政许可、审批（备

案）管理系统

虚拟机部

署

省安全培训考试系统

虚拟机部

署

省档案局

馆藏档案资源管理系统

虚拟机部

署

2台应用服务器，4台数据库服

务器，2台备份服务器

电子文件接收和长期保存系统

虚拟机部

署

2台应用服务器，4台数据库服

务器，2台备份服务器

全省档案数据集中共享利用和备

份系统

虚拟机部

署

2台应用服务器，4台数据库服

务器，2台备份服务器

省金融

办

协同办公子平台

虚拟机部

署

8核32G，千兆光纤

省人社厅

全省公共就业信息系统

虚拟机部

署

32核CPU，256GB内存，43TB存

储

省机关事业单位养老保险信息系

统

虚拟机部

署

8核32G

省住建厅

省城镇个人住房信息系统

虚拟机部署

预计市县部署一台前置机和服务器，网络带宽10兆，省厅机

房扩容

2.2.3虚拟化技术选型

虚拟化技术是云计算底层核心技术之一，它是将各种计算和存储资源充分整合和高效利用的关键技术。

虚拟化技术能够形成低成本、高可用、高安全、高扩展性及有弹性的资源池来服务于各种云运算平台的需求。

目前市场上主流的虚拟化厂商和产品有VmwarevSphere、微软Hyper-V、CitrixXenServer、华为FusionSphere、中兴ZXCLOUD和浪潮云海OS。

xen和kvm是开源免费的虚拟化软件；vmware是付费的虚拟化软件；hyper-v是微软windows2008R2附带的虚拟化组件，如果买了足够的授权，hyper-v（包括hyper-v2008core）都可以免费使用。

如果是vmware或hyper-v虚拟windows系统，不管是虚拟化软件本身，还是其中的子系统，都要支付许可费用。

如果是vmware或hyper-v虚拟

linux，虚拟化软件本身要支付许可费用，子系统可以用linux来节省成本。

如

果是xen或kvm虚拟windows，其中的子系统要支付许可费用。

如果是xen

或kvm虚拟linux，那么虚拟化软件本身和其中的子系统无需产生任何费用。

从性能上来讲，虚拟windows，如果能得到厂商的支持，那么性能优化可

以不用担心，这几款软件全都能达到主系统至少80%以上的性能（磁盘、

CPU、网络、内存），使用hyper-v来虚拟windows，微软自身的产品，虚拟

windows是绝对有优势的。

如果是虚拟linux，一是推荐xen，支持linux的半虚拟化，可以直接使用主系统的cpu和磁盘及网络资源，达到较少的虚拟化调度操作，可以达到非常高的性能，但xen操作复杂，维护成本较高；二是推荐

kvm来虚拟linux，linux本身支持kvm的virtio技术，可以达到少量的虚拟化调度操作，得到较高的系统性能。

不推荐使用hyper-v来虚拟linux，太多的不兼容性导致linux基本无法在hyper-v上运行。

综上所述，虚拟化技术选型原则为：

在有授权的情况下，虚拟windows，建议使用hyper-v；在有授权的情况下，虚拟linux，建议使用xen，考虑到需要降低管理维护成本，建议使用kvm；在没有授权的情况下，虚拟windows，建议使用KVM。

根据以上对比说明和选型原则，本次省电子政务云平台的建设建议采用基于KVM或者XEN虚拟化技术进行定制化开发的方案。

2.2.4资源池架构设计方案

虚拟化云计算平台是在单台物理机虚拟化的基础上增加集群的模式，将加入集群的众多物理机进行资源池化，通过hypervisor管理统一调度，实现业务运行环境的快速部署、运行资源大小的及时动态调整、运行环境的在线快照和归档环境的快速恢复等功能。

虚拟化云计算主要适用于要求资源相对较少且规格种类多、使用虚拟化可以重新分配调度资源的环境，便于资源的合理、充分利用，也便于后期业务扩展所需的资源动态调整。

本方案计算资源池分为外部数据中心与内部数据中心：

外部数据中心包括：

数据库单独建池，采用FCSAN磁阵集中互连；虚拟化服务通过分布式存储系统创建虚拟化服务器资源池；其他的物理服务器创建

物理资源池；

内部数据中心包括：

数据库单独建池，采用FCSAN磁阵集中互连；虚拟化服务通过分布式存储系统创建虚拟化服务器资源池；其他的物理服务器创建物理资源池；另创建Hadoop服务器资源池。

本次方案设计的虚拟化云计算平台构造如下图所示：

外部数据中心

数据库服务 虚拟化服务 物理服务器器资源池 器资源池 资源池

内部数据中心

数据库服务 虚拟化服务 物理服务器 Hadoop服务器资源池 器资源池 资源池 器资源池

统一管理控制

存

存储节点

存储节点

存储节点

储资源池

存储节点

存储节点

存储节点

存储节点

虚拟化架构设计方案示意图

1.“两朵云”虚拟化：

根据“两朵云”的设计要求，本次虚拟化平台可分成了2个子平台，每个子平台都是一个虚拟化集群。

两朵云统一管理，逻辑隔离，满足数据安全保障的需求。

2.虚拟化冗余：

虚拟化平台需要实现多层冗余，排除单点故障。

3.虚机实机结合：

除了对虚拟机进行管理外，结合实际情况，对部分不进行虚拟化的物理机也需要统一的管理调度。

例如：

有些部门的系统，资源开销需求大，需要配置较好物理机，而该应用在物理机上负载就已经很高，因此本着不影响性能，且资源合理使用的原则，此类应用的物理机不再进行虚拟化切分。

4.按需弹性调整：

虚拟化云计算平台根据物理设备资源的利用情况，合理的进行虚拟资源的启用与休眠，在保证系统性能的同时，最大限度的降低整个系统的能耗。

动态调整物理资源的使用率，使得管理员可以通过监控不同时期不同系统的负载情况，可以动态的进行资源的分配，确保所有的资源都得到最合理、最有效的利用。

以服务为单位，通过监控服务负载状况，动态的进行资源调整：

在整个服务处于高负载状况下，从弹性池中分配空闲的计算资源给对应的服务；在服务处于空闲状态时，回收相应的资源到资源池中，降低能耗。

5.多租户：

需要考虑接入的各个省直部门相互独立、各自管理的需求，因

此虚拟化平台应能够实现多租户，将同一个虚拟化平台虚拟成为多个按部门划分的虚拟数据中心，按需分配给各省直部门使用。

2.2.5资源池功能设计

1.分类原则

对于关系型数据库采用数据库集群，搭建数据库资源池；

对于要求资源相对较少且规格种类多、使用虚拟化可以重新分配调度资源的环境，便于资源的合理、充分利用，也便于后期业务扩展所需的资源动态调整，搭建分布式虚拟化服务器资源池；

对于有些部门的系统，资源开销需求大，需要配置较好物理机，而该应用在物理机上负载就已经很高，因此本着不影响性能且资源合理使用的原则，搭建物理服务器资源池；

对于存储较大的文件及结构简单但数据量庞大数据，采用基于Hadoop的平台进行大数据存储，搭建Hadoop服务器资源池。

2.资源池功能分类设计

资源池类别

数据库服务器资源

池

分布式虚拟化服务器资源池

物理服务器资源池

Hadoop服务器资源池

要求资源相对较少且规

资源开销需求大，需要配置较好物理机，而该应用在物理机上负载就已经很高，因此本着不影响性能且资源合理使用的原则

存储较大的文件及结构简单但数据量庞大数据，采用基于Hadoop的平台进行大数

据存储

格种类多、使用虚拟化

适用场景

关系型数据库

可以重新分配调度资源的环境，便于资源的合

理、充分利用，也便于

后期业务扩展所需的资

源动态调整

外部数据

机房搭

建位置

中心；内

部数据中

外部数据中心；内部数

据中心

外部数据中心；内部

数据中心

内部数据中心

心

2.2.6计算容量设计

本次需求调研共抽样调研13个省直属部门（分别是统计局、卫计委、教

育厅、国土厅、工商局、财政厅、住建厅、人社厅、质监局、地税局、交通厅、民政厅、旅游局），调研系统55个，能够迁移到云平台的系统共29个，省共

有46个省直部门，本次抽样调研13个省直部门，比率约为四分之一，全部迁移的系统约为29*4=116套。

据前期需求调研统计各直属单位拟新建应用系统

64套，示范工程和省级应用系统10个。

因此云平台全部部署的系统约为

116+64+10≈200套。

根据当前统计的各业务系统的服务器的CPU总核数进行评