文物局大数据云平台整体解决方案Word文件下载.docx
《文物局大数据云平台整体解决方案Word文件下载.docx》由会员分享，可在线阅读，更多相关《文物局大数据云平台整体解决方案Word文件下载.docx（329页珍藏版）》请在冰点文库上搜索。
第二章总体架构设计................................................................................................... 36
2.1总体架构 36
2.2数据架构视图 37
2.3创新的业务模式 37
第三章基础资源平台设计............................................................................................ 38
3.1网络设计 38
3.1.1系统现状 38
3.1.1.1网络结构现状.................................................................................................... 38
3.1.1.2系统资源现状.................................................................................................... 38
3.1.1.3网络带宽现状.................................................................................................... 39
3.1.1.4路由协议现状.................................................................................................... 40
3.1.2需求分析 40
3.1.2.1网络结构需求.................................................................................................... 41
3.1.2.2网络分区需求.................................................................................................... 41
3.1.2.3网络带宽需求.................................................................................................... 42
3.1.2.4网络高性能需求 44
3.1.2.5网络负载均衡需求 44
3.1.3数据中心网络系统设计 45
3.1.3.1系统设计原则.................................................................................................... 45
3.1.3.2网络结构规划.................................................................................................... 46
3.1.3.2.1网络层次规划 46
3.1.3.2.2网络分区规划 48
3.1.3.3网络总体结构设计 51
3.1.3.4数据中心核心层设计 53
3.1.3.5数据中心接入层设计 57
3.1.3.6lP地址规划....................................................................................................... 61
IP地址规划原则........................................................................................................... 61
3.1.3.7数据中心路由设计 63
3.1.3.7.1路由协议选择 63
3.1.3.7.2数据中心内部路由设计 64
3.1.3.7.3数据中心与外部网络路由设计 65
3.1.3.8负载均衡系统设计 66
3.1.3.8.1全局负载均衡系统设计 66
3.1.3.8.2应用负载均衡系统设计 68
3.1.3.9可靠性设计........................................................................................................ 68
3.1.3.9.1网络总体结构可靠性设计 68
3.1.3.9.2数据中心设备冗余设计 70
一、核心层设备冗余..................................................................................................... 70
二、数据中心内部接入层设备冗余................................................................................ 70
三、安全接入区设各冗余.............................................................................................. 70
3.1.3.9.3链路冗余设计 71
一、DWDM系统链路冗余................................................................................................. 71
二、链路聚合协议的使用（802.3AD）.............................................................................. 71
三、容灾专线冗余........................................................................................................ 72
3.1.3.10带外管理网络设计........................................................................................... 72
3.1.3.10.1带外管理简介 72
3.1.3.10.2带外管理的必要性 73
3.1.3.10.3数据中心带外管理网络设计 74
3.1.3.11NTP（网络时间同步）系统设计 74
3.1.3.11.1NTP概述................................................................................................. 74
3.1.3.11.2NTP的工作原理 75
3.1.3.11.3NTP系统设计 75
3.1.4同城DWDM系统设计 76
3.1.4.1传输网的需求.................................................................................................... 76
3.1.4.2传输技术的选择 77
3.1.4.3同城数据中心DWDM传输网络设计 78
3.1.4.4可靠性设计........................................................................................................ 80
3.2文物局云大数据平台基础设施建设需求分析 80
3.2.1建设需求分析 80
3.2.1.1系统现状........................................................................................................... 80
3.2.1.1.1关键业务系统 80
3.2.1.1.2数据系统.................................................................................................. 81
3.2.1.1.3备份系统.................................................................................................. 81
3.2.1.2容灾建设考虑因素 82
3.2.2文物局云大数据平台基础设施建设技术方案建..议 1
3.2.2.1总体架构平台概述 1
3.2.2.2文物局云计算平台设计 2
3.2.2.2.1文物局云平台基础架构 2
3.2.2.2.2文物局云计算管理平台 3
3.2.2.2.3文物局云计算安全 8
3.2.2.3计算资源池建设方案建议 9
3.2.2.3.1主机资源池建设 9
3.2.2.3.2虚拟化资源池建设 11
3.2.2.3.3数据库平台建设 13
3.2.2.3.4资源管理平台 13
3.2.2.4存储资源池建设方案建议 14
3.2.2.4.1存储资源池建设原则 14
3.2.2.4.2存储数据类型 15
3.2.2.4.3数据存储模式 17
3.2.2.4.4存储资源池建设方案 18
3.2.2.5备份系统建设方案建议 20
3.2.2.5.1数据备份系统建设方案 20
（2）备份技术.............................................................................................................. 22
（3）备份方式.............................................................................................................. 23
1）全备份..................................................................................................................... 23
2）增量备份................................................................................................................. 23
3.2.2.6系统资源管理平台建设方案建议 24
3.2.3文物局云大数据平台基础设施平台两地三中心建设方案建...议 0
3.2.3.1两地三中心建设依据 0
3.2.3.2两地三中心建设目标 1
3.2.3.3容灾技术的选择 2
3.2.3.4两地三中心总体架构设计建议 3
3.2.3.4.1总体架构描述 4
3.2.3.4.2资源池功能描述 5
3.2.3.4.3总体架构设计 5
RTO/RPO与灾难恢复能力等级的关系............................................................................... 5
（1）数据复制流程......................................................................................................... 7
（2）数据恢复流程......................................................................................................... 7
第四章大数据支撑平台设计......................................................................................... 11
4.1设计思路 11
4.1.1轻量服务化架构 11
4.1.2弹性可扩展 12
4.1.3开放共享 12
4.1.4安全可靠 12
4.1.5自主可控 12
4.2设计内容 13
4.2.1数据存储 15
4.2.1.1分布式文件系统 15
4.2.1.2分布式数据库.................................................................................................... 18
4.2.1.2.1基于MySQL的关系数据库集群 18
4.2.1.2.2基于HBase的NoSQL数据库集群 19
4.2.1.3分布式缓存........................................................................................................ 22
4.2.1.3.1基于Memcached的缓存 22
（2）MEMCACHE客户端程序库........................................................................................ 24
（3）MEMCACHED............................................................................................................ 24
4.2.1.3.2基于Redis的缓存 24
4.2.1.3.3缓存分片路由控制器 24
4.2.2计算能力 25
4.2.2.1离线计算Map/Reduce 27
4.2.2.2离线计算Hive................................................................................................... 28
4.2.2.3流式计算Storm 28
4.2.2.4内存计算Impala 29
4.2.2.5图计算............................................................................................................... 29
4.2.3高速服务框架 29
4.2.3.1服务注册中心.................................................................................................... 30
4.2.3.2服务监控中心.................................................................................................... 31
4.2.3.3服务引擎........................................................................................................... 31
4.2.4垂直搜索引擎 32
4.2.5开放服务 34
4.2.5.1云服务器........................................................................................................... 34
4.2.5.2云存储............................................................................................................... 34
4.2.5.3关系数据库........................................................................................................ 34
4.2.5.4海量结构化存储 35
4.2.5.5云搜索............................................................................................................... 35
4.2.5.6消息推送........................................................................................................... 35
4.2.5.7负载均衡........................................................................................................... 35
4.2.5.8云监控............................................................................................................... 36
4.2.6分布式应用服务器 36
第五章大数据创新平台设计......................................................................................... 37
5.1采集整合服务 37
5.1.1现状分析 37
5.1.2设计思路 37
5.1.2.1爬取方式........................................................................................................... 38
5.1.2.2购买方式........................................................................................................... 38
5.1.2.3合作方式........................................................................................................... 38
5.1.2.4数据整合........................................................................................................... 39
5.1.3设计内容 39
5.1.3.1互联网原始数据采集 39
5.1.3.2互联网合作伙伴数据采集 41
5.1.3.3其他部门数据采集 41
5.1.3.4社会机构和商业组织数据采集 41
5.1.3.5数据整合........................................................................................................... 42
5.1.4分步建设 42
5.1.4.1互联网原始数据 42
5.1.4.2互联网合作伙伴数据 42
5.1.4.3国家其他部门数据 43
5.1.4.4社会机构和商业组织数据 43
5.1.5运营方式 43
5.2质控治理服务（云平台） 44
5.2.1质量规则 46
5.2.2自动化监控数据流转 46
5.2.3数据比对 47
5.2.4数据检测 48
5.2.5数据质量评分 48
5.3数据资源服务（云平台和智慧城市） 48
5.3.1架构设计 48
5.3.2服务总线 50
5.3.2.1服务总线架构.........................................................
升级会员 