集团企业大数据云平台建设方案.docx

集团企业大数据云平台建设方案.docx

《集团企业大数据云平台建设方案.docx》由会员分享，可在线阅读，更多相关《集团企业大数据云平台建设方案.docx（185页珍藏版）》请在冰点文库上搜索。

集团企业大数据云平台建设方案2020年3月

集团企业大数据云平台建设方案

集团企业大数据云平台建设方案2020年3月

目录

第1章方案总述 1

1.1项目背景.................................................................................................................................1...................

1.2项目目标.................................................................................................................................2...................

1.3项目建设原则.........................................................................................................................2..................

第2章系统建设规划 4

2.1项目建设目标的理解.............................................................................................................4................

2.1.1项目建设范围.......................................................................................................4.......................

2.1.1.1业务范围 4

2.1.1.2组织范围 4

2.1.1.3数据范围 4

2.1.2项目建设内容.......................................................................................................4.......................

2.1.2.1基础数据平台 5

2.1.2.2集团级指标体系 6

2.1.2.3统一报表平台 6

2.2集团（企业）数据平台的建设目标.....................................................................................7............

2.2.1集团（企业）数据平台一期建设目标..................................................................7..............

2.2.2集团（企业）数据平台二期建设目标..................................................................7..............

第3章整体设计方案 8

3.1系统设计方法论.....................................................................................................................8.................

3.1.1方法论..................................................................................................................8..........................

3.1.2设计原则.............................................................................................................1..0......................

3.1.2.1标准规范......................................................................................................................1..1......................

3.1.2.2开放性...........................................................................................................................1..2......................

3.1.2.3可扩展性......................................................................................................................1..2......................

3.1.2.4高性能...........................................................................................................................1..3......................

3.1.2.5可管理性......................................................................................................................1..4......................

3.1.2.6高可用性......................................................................................................................1..5......................

3.1.2.7安全性...........................................................................................................................1..6......................

3.1.2.8可重用性......................................................................................................................1..7......................

3.2数据平台技术体系...............................................................................................................1..8..............

3.2.1数据平台逻辑架构..............................................................................................1..8...................

3.2.1.1数据集成区...................................................................................................................1..8.....................

3.2.1.2集团分析型数据区.......................................................................................................1..9...................

3.2.1.3管理平台区...................................................................................................................1..9.....................

3.2.1.4统一报表展现平台.......................................................................................................2..0...................

3.2.1.5ETL设计关键技术点说明..............................................................................................2..0................

3.2.1.5.1.1ETL处理策略............................................................................................2..0.................

3.2.1.5.1.2ETL处理流程............................................................................................2..1.................

3.2.1.5.2质量检核............................................................................................................2..1....................

3.2.1.5.2.1ETL处理原则............................................................................................2..1.................

3.2.1.5.2.2ETL处理方法............................................................................................2..1.................

3.2.2数据采集设计.....................................................................................................2..1.....................

3.2.2.1T+1数据采集................................................................................................................2..2.....................

3.2.2.2数据补录......................................................................................................................2..3......................

3.2.2.2.1检核规则管理.....................................................................................................2..4..................

3.2.2.2.2录入任务管理.....................................................................................................2..4..................

3.2.2.2.3数据录入............................................................................................................2..6....................

3.2.2.2.4查询操作............................................................................................................2..7....................

3.2.2.2.5录入任务审批.....................................................................................................2..8..................

3.3数据平台数据体系...............................................................................................................2..8..............

3.3.1数据架构设计.....................................................................................................2..8.....................

3.3.1.1源系统数据落地区.......................................................................................................2..9...................

3.3.1.2缓冲数据层（ODM）.........................................................................................................3..0...................

3.3.1.3基础整合层（FDM）.....................................................................................................3..0..................

3.3.1.4共性加工层（ADM）.....................................................................................................3..1..................

3.3.1.5数据集市层（MDM）.....................................................................................................3..1..................

3.3.1.6各层次数据特点对比....................................................................................................3..2.................

3.3.2数据模型设计.....................................................................................................3..4.....................

3.3.2.1基础整合层...................................................................................................................3..4.....................

3.3.2.2共性加工层...................................................................................................................3..4.....................

3.3.2.2.1共性层模型设计思路..........................................................................................3..4...............

3.3.2.2.2共性加工层模型建设方法.................................................................................3..6..............

3.3.2.2.2.1存储什么数据：

存储具有一定程度汇总的指标....................................3..6.....

3.3.2.2.2.2数据如何获取：

指标分类和指标ID.........................................................3..7........

3.3.2.2.2.3数据如何存储：

星型模型........................................................................3..7............

3.3.2.2.2.4如何适应多应用系统共性数据存储的需求：

与业务需求轻耦合 3.8

3.3.2.2.2.5如何适应指标频繁变化的要求：

具有高度的扩展性..............................3..9..

3.3.2.2.3共性加工层当前目标..........................................................................................4..1...............

3.3.2.2.4共性加工层远景目标..........................................................................................4..2...............

3.3.2.2.4.1完善贵公司数据平台及之上的应用系统数据架构.................................4..2....

3.3.2.2.4.2扩展共性加工层指标数据........................................................................4..3............

3.3.2.2.4.3关于共性加工层主题划分........................................................................4..3............

3.3.2.3集市数据层...................................................................................................................4..3.....................

3.3.3灵活查询功能架构..............................................................................................4..4...................

3.3.4数据备份与恢复.................................................................................................4..5....................

3.3.4.1数据备份与恢复实施思路...........................................................................................4..5................

3.3.4.2数据备份机制...............................................................................................................4..6....................

3.3.4.3数据恢复机制...............................................................................................................4..6....................

3.3.4.4数据清理机制...............................................................................................................4..7....................

3.3.4.5存储空间规划....