云计算平台建设方案知识分享.docx
《云计算平台建设方案知识分享.docx》由会员分享,可在线阅读,更多相关《云计算平台建设方案知识分享.docx(38页珍藏版)》请在冰点文库上搜索。
云计算平台建设方案知识分享
云计算平台建设方案
云计算平台方案设计
1.1设计方案
1.1.1平台架构设计
XX高新区云计算平台将服务器等关键设备按照需要实现的功能划分为两个层面,分别对应业务层和计算平台层。
业务层中,功能区域的划分一般都是根据安全和管理需求进行划分,各个部门可能有所不同,云数据中心中一般有公共信息服务区(DMZ区)、运行管理区、等保二级业务区、等保三级业务区、开发测试区等功能区域,实际划分可以根据业务情况进行调整,总的原则是在满足安全的前提下尽量统一管理。
计算平台层中分为计算服务区和存储服务区,其中计算服务区为三层架构。
计算服务区部署主要考虑三层架构,即表现层、应用层和数据层,同时考虑物理和虚拟部署。
存储服务区主要分为IPSAN、FCSAN、NAS和虚拟化存储。
云计算平台中计算和存储支持的功能分区如下图所示:
图云计算平台整体架构
图平台分层架构
基础架构即服务:
包括硬件基础实施层、虚拟化&资源池化层、资源调度与管理自动化层。
硬件基础实施层:
包括主机、存储、网络及其他硬件在内的硬件设备,他们是实现云服务的最基础资源。
虚拟化&资源池化层:
通过虚拟化技术进行整合,形成一个对外提供资源的池化管理(包括内存池、服务器池、存储池等),同时通过云管理平台,对外提供运行环境等基础服务。
资源调度层:
在对资源(物理资源和虚拟资源)进行有效监控管理的基础上,通过对服务模型的抽取,提供弹性计算、负载均衡、动态迁移、按需供给和自动化部署等功能,是提供云服务的关键所在。
平台即服务:
主要在IaaS基础上提供统一的平台化系统软件支撑服务,包括统一身份认证服务、访问控制服务、工作量引擎服务、通用报表、决策支持等。
这一层不同于传统方式的平台服务,这些平台服务也要满足云架构的部署方式,通过虚拟化、集群和负载均衡等技术提供云状态服务,可以根据需要随时定制功能及相应的扩展。
软件即服务:
对外提供终端服务,可以分为基础服务和专业服务。
基础服务提供统一门户、公共认证、统一通讯等,专业服务主要指各种业务应用。
通过应用部署模式底层的稍微变化,都可以在云计算架构下实现灵活的扩展和管理。
按需服务是SaaS应用的核心理念,可以满足不同用户的个性化需求,如通过负载均衡满足大并发量用户服务访问等。
信息安全管理体系,针对云计算平台建设以高性能高可靠的网络安全一体化防护体系、虚拟化为技术支撑的安全防护体系、集中的安全服务中心应对无边界的安全防护、利用云安全模式加强云端和用户端的关联耦合和采用非技术手段补充等保障云计算平台的安全。
运营管理体系,保障云计算平台的正常运行,提供故障管理、计费管理、性能管理、配置管理和安全管理等。
图平台网络结构图
网络负载均衡设计
链路负载均衡器将多条互联网线路进行虚拟化处理,保障用户仍最好的线路访问内外部资源。
任意一条ISP线路中断,都不会对服务造成仸何影响。
通过链路负载均衡器可实现ISP接入线路的无缝扩展。
1)OutBound流量负载均衡
访问互联网的流量到达链路负载均衡器时,将通过链路负载均衡器多种链路状态检测结果选择最佳出口链路,提升用户体验。
2)InBound流量负载均衡
为使用户通过不同互联网链路访问互联网接入区应用系统,链路负载均衡器的智能DNS解析功能将不同用户访问的域名解析成不同的公网IP地址,加速应用访问,提升用户体验。
1.1.2资源规划
(1)云服务规划
50台弹性云服务器(ElasticCloudServer)承载XX高新区市园区智慧服务业务系统。
50T云硬盘服务(ElasticVolumeService)做为50台云服务器的存储。
400T对象存储服务(OBS,ObjectStorageService)用于视频监控、GIS数据存储等。
Anti-DDoS流量清洗服务(Anti-DDoSService)防护50台云服务器的流量攻击安全。
(2)资源配置
50台弹性云服务器(ElasticCloudServer),每台云服务器4VCPU,16GB内存,80G系统盘,弹性IP服务,保障因网络不通,业务正常运行,租用年限2年。
50T云硬盘给50台云主机做存储使用,每台云主机分配云硬盘1T,租用年限2年。
400T对象存储用于视频监控、GIS数据存储使用,下行流量50G,保障正常高清视频的接入带宽,租用年限2年。
Anti-DDoS流量清洗服务防护上述所有云服务资源。
1.1.3云服务
(1)计算服务
Ø云主机
弹性云服务器是由CPU、内存、镜像、云硬盘组成的一种可随时获取、弹性可扩展的计算服务器,同时它可以结合VPC、虚拟防火墙、数据多副本保存等能力,打造一个高效、可靠、安全的计算环境,确保服务的持久稳定运行。
弹性云主机基于OpenStack的OpenStackNova、Cinder和Neutron服务进行编排。
通过实现OpenStack原生API、自动API和组合API(基于多种自动API的组合)为管理员和云服务控制台在云平台上提供弹性计算服务和运行新的云应用。
云服务资源主机具备以下功能:
安全:
弹性云服务器利用资源隔离,网络隔离,安全组规格,Anti-DDos流量清洗、Web应用防火墙、Web漏洞扫描提供多维度防护去提供一个安全的环境。
可靠:
故障自动迁移,服务可用性达99.95%,保障业务连续;数据多副本,数据持久性达99.99995%,保障数据不丢失。
灵活:
支持随时调整主机规格和带宽,高效匹配业务要求、节省成本;支持“云服务器+物理机”的混合组网模式,提供卓越计算性能+灵活组网方式。
易用:
产品种类全面,提供通用型,计算密集型,高内存型,高计算,存储密集型,GPU等多种类型的弹性云服务器,可满足不同的使用场景,统一管理控制台,一站式开通部署。
利用弹性云服务器,用户可以轻松获得各种功能。
支持多类型,多规格云服务器的选择和变更。
提供多种类型的弹性云服务器,可满足不同的使用场景;每种类型的弹性云服务器包含多种规格,同时支持规格变更。
混合组网,支持物理设备租赁/托管。
支持“云服务器+物理机”混合组网模式;提供卓越的计算性能、灵活的组网方式。
海量存储,弹性扩容,支持备份与恢复,让数据更加安全。
支持多种性能的云硬盘,提供超高IO,高IO,普通IO三种性能规格供用户选择;支持云硬盘的扩容,当磁盘空间不足时,可以通过扩容原有磁盘空间满足需求;支持云硬盘备份,在磁盘故障或数据错误时可快速恢复,使您的数据更加安全可靠。
弹性伸缩,快速增加或减少云服务器数量。
用户可以根据业务需求自行定义伸缩配置和伸缩策略,降低人为反复调整资源以应对业务变化和高峰压力的工作量,帮助用户节约资源和人力成本。
Ø镜像服务
镜像是一个包含了软件及必要配置的云主机模版,至少包含操作系统,还可以包含应用软件(例如数据库软件)和私有软件。
用户可以基于镜像申请云主机,也可以将已有云主机制作成为新镜像。
镜像服务(ImageManagementService)提供简单方便的镜像自助管理功能。
用户可以灵活便捷的使用公共镜像或者私有镜像申请弹性云主机。
同时,通过已有的云主机,用户还能创建私有镜像。
镜像分为公共镜像和私有镜像,公共镜像为系统默认提供的镜像,用户可直接根据情况选用并创建云主机。
私有镜像为用户自己创建的镜像,同样可以根据私有镜像创建云主机。
公有云镜像提供了自制镜像内容服务的同时支持平台配置,丰富了镜像,使镜像的更新更容易管理。
对于想要快速部署应用的用户,在云服务有丰富灵活的私有镜像。
用户可以通过批处理迅速启动包含同样内容的应用程序所需的弹性云主机。
公有云镜像服务提供公共镜像服务和私有镜像服务。
公共镜像服务方面,有一些包含普通操作系统的公共镜像,比如windows和linux。
私有镜像服务方面,用户可以通过使用云主机或云主机备份文件定制私有镜像。
私有镜像存储在用户的UDS存储空间内。
通过镜像服务,用户可以更加便捷、安全、灵活、统一地创建和管理镜像,以满足业务需求。
(2)存储服务
Ø云硬盘
云硬盘为云主机提供块存储功能,独立于云主机使用。
云硬盘是一种基于分布式架构的,可弹性扩展的虚拟块存储设备。
用户可以在线进行操作,使用方式与传统服务器硬盘完全一致。
同时,云主机的损坏不会影响云硬盘,云硬盘具有更高的数据可靠性,更高的I/O吞吐能力和更加简单易用等特点,适用于文件系统、数据库或者其他需要块存储设备的系统软件或应用。
一台弹性云主机可以挂载多块云硬盘。
一块云硬盘同时只能挂载到一台弹性云主机上。
多存储类型,满足不同性能要求的业务场景;提供普通IO(SATA)、高IO(SAS)、超高IO(SSD)3种性能的硬盘,满足不同业务场景需求。
弹性可扩展,可随时扩容硬盘容量;单盘最大可扩容至32TB,单台云服务器最多可挂载10块云硬盘,满足数据容量扩容需要。
副本存储,数据可靠性高达99.99995%;分布式存储技术,多副本保存,安全可靠,保障数据不丢失。
备份与恢复,防止误删除、被篡改而导致数据丢失;支持云硬盘备份,可随时备份,以及基于时间点恢复硬盘数据。
实时云监控,随时掌握硬盘健康状态;实时监控云硬盘读写速率及吞吐信息,帮助您及时了解云硬盘运行状况。
Ø对象存储服务
对象存储服务是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:
创建、修改、删除桶,上传、下载、删除对象等。
OBS适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。
对象存储服务是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地在任意可以连接至Internet的电脑上,通过对象存储服务管理控制台或客户端访问和管理存储在对象存储服务中的数据。
此外,对象存储服务兼容AmazonS3大部分原生接口,用户可以通过调用对象存储服务RESTAPI接口、多语言的SDK开发工具包开发上层适配应用软件,或对接AmazonS3存储,从而可以使用户聚焦业务应用,而无需关注底层存储实现技术。
对象存储服务为用户提供了超大存储容量的能力。
对象存储服务配套提供了基于浏览器的可视化统一管理控制台(B/S架构)、基于主机的客户端(C/S架构)、多语言的SDK开发工具包(Java、.NET、Python、PHP、Android、C++、Ruby)、以及兼容AmazonS3原生接口的RESTAPI接口,可使用户方便管理自己存储在对象存储服务上的数据,以及开发多种类型的上层业务应用。
对象存储服务主要面向海量存储资源池,企业云盘,静态网站托管,云硬盘备份,视频监控归档,弹性大数据等应用场景提供存储服务。
(3)安全服务
ØAnti-DDoS流量清洗
Anti-DDoS流量清洗服务(以下简称Anti-DDoS)是对IP地址进行DDoS(DistributedDenialofService)攻击防护的一种网络安全服务。
通过对访问IP地址的数据流量进行实时监控,在网络出口对访问流量进行检测,及时发现进行DDoS攻击的异常流量。
在不影响正常业务的前提下,根据用户配置的防护策略,清洗掉异常流量。
同时为用户生成监控报表,清晰展示网络流量的安全状况。
Anti-DDoS具有以下功能:
提供针对以下攻击的防护:
SYNFlood攻击、CC(ChallengeCollapsar)攻击、慢速连接类攻击、UDPFlood攻击、ACKFlood攻击、TCP类攻击等。
为单个IP地址提供监控记录,包括当前防护状态、当前防护配置参数、24小时内流量情况、24小时内异常事件。
为用户所有进行防护的IP地址提供拦截报告,支持查询四周内的统计数据,包括清洗次数、清洗流量、弹性云服务器被攻击次数Top10排名和共拦截攻击次数。
Anti-DDoS引导用户针对5G以下的流量自主配置防护参数,通过调用Anti-DDoS管理中心的能力在网络出口对访问流量进行检测和清洗,调用API下发策略到检测中心;按用户生成报表,并呈现给用户。
对大于5G的流量,设置为黑洞状态或建议用户自主购买第三方清洗中心服务,从第三方获取报表。
Anti-DDoS对弹性云服务器提供攻击防护,检测中心根据用户配置的安全策略,检测网络访问流量。
当发生攻击时,将数据引流到清洗设备进行实时防御,清洗异常流量,转发正常流量。
1.1.4功能设计
(1)平台处理能力分析
1)计算处理能力
CPU
计算输入:
每分钟业务交易量(TASK),复杂程度比例(S),CPU利用率(C),业务发展冗余(F),峰值交易时间(T)。
计算过程:
tpmC=TASKxSxF/(TxC)
内存
计算输入:
关于内存的配置,根据我们以往的经验,认为内存的消耗主要包括如下几个部分:
主机系统正常运行所需消耗(主要指操作系统消耗);
数据库运行所需开销;
数据库SGA运行所需正常开销;
联机事务处理消耗;
计算过程:
内存=操作系统+数据库管理系统+数据库SGA运行+连接数*3M。
虚拟化
本节主要介绍虚计算虚拟化中的VCPU和物理CPU之间的换算关系。
计算虚拟化主要从两方面来考虑,一种是同构虚拟化,一种是异构虚拟化。
其中同构指的是华为平台的服务器,异构是其他品牌的服务器。
计算输入:
物理CPU的CINT和CFP,现网CPU利用率,IntelXeonE5620的性能基线值
计算过程:
a)同构服务器,如使用RH2285、T6000、E6000可使用如下公式
b)异构服务器,可使用虚拟化折算系数来估算:
2)存储能力分析
业务通常会从三个维度提出存储的需求:
●存储的性能维度
●存储架构维度
●存储容量维度
业务提出存储资源的需求后,需要对设备的IOPS、存储容量、存储带宽进行计算。
(2)计算存储场景设计
1)物理服务器
物理服务器是传统数据中心使用的计算系统,它能够很好的将系统软件的性能表现出来。
以下介绍物理服务器在相关场景的具体应用场景。
表应用资源需求及业务场景分析
应用类型
应用需求
CPU需求
内存需求
常见业务场景
通用管理应用系统
通用类型
低
低
一般基础管理系统(WEB、检索引擎、DNS、DHCP、AD、FTP、FileServer)
工具类应用系统
工具类型
低
低
基本的工具类应用系统(如打印控制、报表、OCR、流媒体、网页抓取、)
大访问量应用系统
浏览密集型
高
高
政府门户网站、气象查询系统、WEB中间件服务器等
大数据量应用系统
大IO小数据量
中
高
联机处理数据库
小IO大数据量
中
中
数据仓库分析
访问读密集型
中
高
影视播放网站
计算密集型
高
高
高性能计算集群
数据库应用服务器
数字城管
GIS地理信息系统等
图像渲染
访问写密集型
高
高
流媒体
数据库
数据仓库
其他¹
特殊需求
高
高
数据库
中间件
2)虚拟化
对于云计算平台业务的服务器需求,首先需要判断该业务服务器是否能够采用虚拟化方案,不能虚拟化的则需要采用满足实际需求的服务器进行配置,其他的则建议统一采用虚拟化方式,根据采集或预估的计算资源需要采用相应配置的虚拟机来满足该需求。
根据业务应用的特点,对应用的虚拟化建议如下表所示:
应用类型
应用需求
CPU需求
内存需求
网络带宽需求
存储空间需求
存储IO需求
存储带宽需求
虚拟化适应性
通用管理应用系统
通用类型
L
L
L
L
L
L
适合
大计算量应用系统
计算密集型
H
H
M
L
M
M
适合
大访问量应用系统
浏览密集型
H
H
H
M
M
L
适合
大数据量应用系统
大IO小数据量
M
H
M
M
H
M
一般不建议
小IO大数据量
M
M
H
H
M
H
适合
访问写密集型
H
H
H
H
M
H
一般不建议
访问读密集型
M
H
H
H
M
H
适合
3)存储场景设计
存储虚拟化特性能够将不同品牌、型号的存储设备整合为统一的存储池,既能灵活利用旧存储设备,又能增加新存储设备。
虚拟化后可以对原有数据进行灵活的管理,包括数据整合、迁移、镜像、远程复制等。
适用于存储虚拟化的场景如下:
●要求异构SAN/IP-SAN存储系统的开放性
●要求存储产品利旧
●要求异构存储系统之间有效的数据迁移
●要求异构存储系统的资源管理
●对服务器和存储整合
●存储池的性能提升
●异构存储环境数据保护与恢复
●异构存储环境灾备能力
(3)业务区安全防护
Ø用户身份鉴别
本方案采用统一运维审计系统和双因子强认证系统来实现用户的身份标识和鉴别。
在对每一个用户注册到系统时,采用用户名和用户标识符标识用户身份,并确保在系统整个生存周期用户标识的唯一性;在每次用户登录系统时,采用受安全管理中心控制的口令、令牌、基于生物特征、数字证书以及其他具有相应安全强度的两种或两种以上的组合机制进行用户身份鉴别,并对鉴别数据进行保密性和完整性保护。
对统一运维审计系统做如下的安全策略,能够实现上述安全要求。
1)对各种不同角色的管理员进行身份标识,并保证身份标识的唯一性,账户与自然人相对应,禁用默认账户;
2)用户登录身份认证要采用双因子强认证系统,其中口令必须具备一定的长度和复杂性,并定期更换;
3)启用登录失败处理功能,登录失败后结束会话,并限制登录失败的测试,自动锁定账户,记录日志向管理员告警;
4)远程管理系统时,采取SSH等加密的数据传输方式,禁止鉴别信息和管理系统明文传输;
5)设定主机、网络设备和数据库等管理对象拒绝非“统一运维审计系统”进行管理;
Ø访问控制
本方案采用主机核心安全增强系统并对操作系统的安全增强配置,共同实现对系统资源的自主访问控制和和强制访问控制。
自主访问控制是指在安全策略控制范围内,使用户对其创建的客体具有相应的访问操作权限,并能将这些权限的部分或全部授予其他用户。
自主访问控制主体的粒度为用户级,客体的粒度为文件或数据库表级和(或)记录或字段级。
自主访问操作包括对客体的创建、读、写、修改和删除等。
强制访问控制是指在对安全管理员进行身份鉴别和权限控制的基础上,应由安全管理员通过特定操作界面对主、客体进行安全标记;应按安全标记和强制访问控制规则,对确定主体访问客体的操作进行控制。
强制访问控制主体的粒度为用户级,客体的粒度为文件或数据库表级。
应确保安全计算环境内的所有主、客体具有一致的标记信息,并实施相同的强制访问控制规则。
对主机核心安全增强系统做如下的安全策略,能够实现上述安全要求。
1)对重要的主机,部署主机核心安全增强系统,提升主机操作系统的安全性;
2)开启访问控制功能,根据“最小授权原则”的安全策略要求,分别对主体和客体进行安全标识,严格限定用户对文件、数据库等访问,主体的控制粒度限定为用户级,客体的控制粒度为文件、数据库表级,实现强制访问控制;
3)开启权限管理功能,根据“三权分立”的安全策略要求,严格限定主体用户对客体目标的操作权限,同时参考“最小授权原则”的安全策略,在不同种类用户之间形成相互制约关系的基础上,赋予用户正常完成工作所需的最小权限。
Ø系统安全审计
本方案采用主机核心增强系统、网络审计系统和数据审计系统来实现系统安全审计,记录系统的相关安全事件(审计记录包括安全事件的主体、客体、时间、类型和结果等内容,并提供审计记录查询、分类、分析和存储保护),对特定安全事件进行报警,确保审计记录不被破坏或非授权访问,并为安全管理中心提供接口,对不能由系统独立处理的安全事件,提供由安全管理中心调用的接口。
对主机核心安全增强系统、网络审计系统和数据库审计系统做如下的安全策略,能够实现上述安全要求。
(1)对重要的主机,部署主机核心安全增强系统,实现对主机系统的安全审计;
主机审计的内容包括:
1)对重要的服务、进程、硬件操作和重要的文件系统进行监控;
2)对打印机、USB接口等重要外部设备及其接口进行监控;
3)对浏览器访问外部网站和非法外联拨号进行监控;
4)对用户账户变更记性审计。
(2)对重要的网络通信区域部署网络审计系统,实现对网络通信的安全审计;
网络审计的内容包括:
1)重要的网络通信协议:
Telnet、SSH、FTP、HTTP等进行审计;
2)非法的、异常的网络IP地址参与的网络通信进行审计。
(3)对重要的数据库,部署数据审计系统,实现对数据的安全审计;
数据库审计的内容包括:
1)对数据库关键表、字段的读、写、插入和删除等操作和执行结果;
2)对数据库的重要设置操作和执行结果;
3)对数据库的异常读、写、插入和删除等操作和执行结果。
用户数据完整性与保密性保护
本方案采用数据库加密系统和文档安全管理系统,通过密码等技术支持数据的完整性校验机制和保密性保护机制,检验存储和处理的用户数据的完整性、保密性,以发现其完整性是否被破坏,且在其受到破坏时能对重要数据进行恢复。
对数据库加密系统和文档安全管理系统做如下的安全策略,能够实现上述安全要求。
1)部署数据库加密系统,并设置对用户数据库中重要的表、记录、字段进行自动的加密和解密操作;
2)部署文档安全管理系统,并设置对用户敏感的文档进行保护,通过加密和解密等手段,保证其完整性和保密性。
Ø客体安全重用
本方案采用主机核心安全增强系统保护用户客体资源重用的安全性。
主机核心安全增强系统通过剩余信息完全删除等技术手段,使客体资源重新分配前,对其原使用者的信息进行清除,以确保信息不被泄露。
对重要的主机部署主机核心安全增强系统,利用其剩余信息完全删除等功能实现客体安全重用的安全要求。
Ø程序可信执行保护
本方案采用主机核心安全增强系统,构建从操作系统到上层应用的信任链,实现系统运行过程中可执行程序的完整性检验,防范恶意代码等攻击,并在检测到其完整性受到破坏时采取措施恢复。
对重要的主机部署主机核心安全增强系统,并配置其对应用程序完整性校验,可满足程序可信执行的安全要求。
对Windows操作系统和Linux操作系统部署主机恶意代码防范系统客户端软件,在防病毒管理中心的统一监控管理下,防护来自病毒、木马等恶意软件的威胁。
(4)平台管理
Ø集中监控管理
集中监控管理从架构层次上包括:
数据采集层、数据分析处理层和数据展现层三层,三个层次相互依赖、紧密结合,实现集中的监控管理功能。
下面分别进行阐述。
1)数据采集功能
数据采集层,主要是完成各类数据的采集工作,建立相关的数据采集接口,并能够根据需要定制在特定的时间(或周期性)进行数据的采集,并为数据处理层提供相关的数据。
目前采集可以支持的手段有:
RPC、SNMP、SYSLOG、专用Agent、脚本方式、以及一些标准的协议如WMI、SSH、Perfmon、JMX等来实现无代理的数据采集。
这一层主要是由通过设置在各个点的各类采集设备组成。
通过在各类系统上安装CAAgent或者采用特定Agent或技术来对系统运行的软件环境进行监控与管理,包括对系统、数据库、中间件、应用、存储等;通过与华为U2000网络管理系统、华为ISM存储管理系统的集成对网络和存储进行监控,最终将相关信息提供给数据处理层,并在同一用户界面上进行展现。
采集的数据包括配置数据、告警数据、性能数据等。
对于不同的管理对象的采集方式如下:
云平台的监控:
通过HuaweiG