XX银行数据仓库建设项目方案.docx

上传人:b****8 文档编号:12314347 上传时间:2023-06-05 格式:DOCX 页数:44 大小:999.86KB
下载 相关 举报
XX银行数据仓库建设项目方案.docx_第1页
第1页 / 共44页
XX银行数据仓库建设项目方案.docx_第2页
第2页 / 共44页
XX银行数据仓库建设项目方案.docx_第3页
第3页 / 共44页
XX银行数据仓库建设项目方案.docx_第4页
第4页 / 共44页
XX银行数据仓库建设项目方案.docx_第5页
第5页 / 共44页
XX银行数据仓库建设项目方案.docx_第6页
第6页 / 共44页
XX银行数据仓库建设项目方案.docx_第7页
第7页 / 共44页
XX银行数据仓库建设项目方案.docx_第8页
第8页 / 共44页
XX银行数据仓库建设项目方案.docx_第9页
第9页 / 共44页
XX银行数据仓库建设项目方案.docx_第10页
第10页 / 共44页
XX银行数据仓库建设项目方案.docx_第11页
第11页 / 共44页
XX银行数据仓库建设项目方案.docx_第12页
第12页 / 共44页
XX银行数据仓库建设项目方案.docx_第13页
第13页 / 共44页
XX银行数据仓库建设项目方案.docx_第14页
第14页 / 共44页
XX银行数据仓库建设项目方案.docx_第15页
第15页 / 共44页
XX银行数据仓库建设项目方案.docx_第16页
第16页 / 共44页
XX银行数据仓库建设项目方案.docx_第17页
第17页 / 共44页
XX银行数据仓库建设项目方案.docx_第18页
第18页 / 共44页
XX银行数据仓库建设项目方案.docx_第19页
第19页 / 共44页
XX银行数据仓库建设项目方案.docx_第20页
第20页 / 共44页
亲,该文档总共44页,到这儿已超出免费预览范围,如果喜欢就下载吧!
下载资源
资源描述

XX银行数据仓库建设项目方案.docx

《XX银行数据仓库建设项目方案.docx》由会员分享,可在线阅读,更多相关《XX银行数据仓库建设项目方案.docx(44页珍藏版)》请在冰点文库上搜索。

XX银行数据仓库建设项目方案.docx

XX银行数据仓库建设项目方案

 

XX银行

EDW/数据仓库项目方案

 

第一章系统总体架构

一.1总体架构设计概述

一.1.1总体架构的设计框架

XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。

这三个部分共同组成了XX银行EDW系统。

在基础技术架构中,包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。

⏹执行架构描述系统大的框架和模块区域,以及之间的逻辑关系;是确定生产环境的建设要求及指导原则。

⏹逻辑架构描述EDW各个模块之间的数据的接口、数据流向、工具使用和采用具体的技术实现手段或方式情况,用于规范本项目最终生产环境的建立。

逻辑架构是建立应用架构、执行架构、运维架构的基础,也是建立执行架构、应用架构以及运维架构的原型系统。

⏹功能组件架构描述确定系统各个大的组件组件区域的功能模块框架,以及提供的某种服务类型。

⏹运维架构是描述EDW项目的运维架构标准,包括运维架构设计的内容、设计原则、各构成组件的设计考虑因素、约束、要求等。

运维架构通过相应的流程和工具实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管理。

而数据架构和应用架构的主要描述:

⏹应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计,其中业务需求是应用架构设计的基础,最终的应用架构将以应用系统的形式体现在执行架构中,主要包括:

应用服务和数据服务。

⏹数据架构描述于EDW系统相关的数据流动策略,即数据在EDW系统的执行架构下的抽取、转换、储存策略以及应采用的流程,包括数据层次和总分行之间的数据分部情况等。

数据架构是建立执行架构标准的需求定义。

下图是EDW项目总体架构的框架:

一.1.2总体架构的设计原则

⏹总体架构在着重考虑实施要求的同时,需要为后续阶段进行规划,以保证项目最终能够达到目标架构的设计;

⏹总体架构的设计要基于包括XX银行数据现状分析、实施阶段数据源情况分析、第一阶段实施EDW设计建议做为参考;

⏹总体架构设计架构时充分考虑及现有系统兼容,充分利用已有成果,避免重复开发和建设。

⏹总体架构设计过程中应遵守XX银行的IT管理规程,保证最终的系统可以顺利的部署并移交给XX银行的运行维护部门。

一.1.3总体架构的设计特点

⏹权衡功能、性能、可扩展性、易用性、可管理性和性价比。

⏹根据XX银行的数据情况和分析需求,采用多层次的企业EDW系统架构来保证在存在复杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和性能等方面的要求。

⏹多级/自动的增量ETL加载机制,有效提高ETL并发度、加载效率,降低错误处理的复杂性。

⏹通过用户入口支持用户采用Web浏览器使用查询和分析工具,统一的信息服务界面,提高系统易用性,减少技术支持工作量。

⏹利用企业信息集成和Web数据服务,提高系统的数据支持能力和接口的一致性。

统一的数据增强平台也减少数据增强的复杂度。

一.2EDW执行架构

执行架构的主要内容是描述EDW项目执行架构的建设要求及指导原则,用于规范本项目最终生产环境的建设。

EDW项目的生产环境的建立需要参考并遵循执行架构部分提出的要求。

一.2.1执行架构概述

执行架构是EDW的概念环境,主要包含:

源数据、数据落地区、ETL、数据准备区、数据存储区EDW、业务应用、用户环境、数据管控、系统安全性以及EDW基础设施平台(包括:

服务器、存储、网络)等功能组件。

从技术层面上来说,EDW系统的执行架构应实现多种技术平台及应用之间的无缝集成。

一.2.2执行架构设计原则

在EDW项目实施的过程中,系统执行架构的建设应遵循以下技术原则:

Ø开放性原则:

EDW项目的生产环境的建设应基于业界开放标准,对系统中使用的网络协议、硬件接口、数据接口等应进行统一规划,EDW系统应支持主流的应用软件包及其部署的各种硬件平台。

Ø灵活性及可扩展性:

EDW系统的基础设施平台应能够根据未来系统的发展需要以及应用需求,方便的扩展设备容量和提升设备性能;具备支持多种组件模块、多种物理接口的能力;具备技术升级、设备更新的灵活性;具备支持业务功能的扩展及重构的灵活性。

如:

系统容量可以随着ETL系统数据量的扩展以及应用系统的不断扩展、用户量不断扩展而进行平滑的扩展。

Ø高性能原则:

系统应达到数据处理时间窗口的要求,用户定义的查询效率、响应时间的要求,满足业务系统的要求;对现有业务系统影响小。

Ø自动化原则:

EDW项目建设的核心任务之一是数据抽取、转换、清洗和加载(ETL),在这个过程中应采用自动化的设计原则,避免手工操作。

同时对于元数据管理过程应采用元数据管理平台来实现对元数据集中、自动化的管理。

Ø安全性原则:

EDW项目建设中的数据迁移过程都必须保证数据的安全性,例如:

在系统建设过程中应对数据中敏感字段进行安全处理、同时整个系统还应采用网络隔离、用户身份认证及访问控制、数据库安全、操作系统安全以及完善的安全审计机制。

一.2.3执行架构框架

上图是EDW系统执行架构,其中包含EDW系统中涵盖的功能框架以及框架之间的逻辑关系。

在以下的内容中将对执行架构中的功能框架以及框架之间的关系进行详细描述,具体内容包括:

Ø数据源:

包括XX银行的多个业务系统,主要有核心系统、个贷系统、信贷系统、国际业务系统、财务系统和各类渠道系统等。

Ø数据落地区:

此部分内容说明数据落地的用途,同时对数据落地区应具备的功能进行了标准定义以及数据落地区及其他功能组件之间的关联关系;

ØETL:

此部分内容描述ETL系统中数据抽取、转换、加载等功能的需求,同时定义了ETL系统建设的标准以及ETL及系统中其他功能组件之间的关系;

Ø数据准备区:

此部分描述数据准备区应具备的功能,以及数据准备区在建设过程中的标准需求。

Ø操作型存储区:

此部分内容描述EDW系统在建设的过程中操作型存储区应遵循的标准以及系统建设过程中应满足的需求;

Ø数据仓库存储区:

此部分内容描述EDW系统的数据仓库存储区应遵循的标准以及系统建设过程中应满足的需求;

Ø业务应用:

此部分内容描述BI应用系统建设的系统需求,包含对应用环境、分析环境、静态报表环境;

Ø用户环境:

此部分的内容描述用户在EDW系统中应具备运用的能力,包括:

利用通用展现平台进行信息展现、驾驶舱应用、报表应用等;

Ø时间窗口和性能的定义:

此部分描述整个EDW项目中关于时间窗口的定义以及相关系统的性能指标要求;

Ø元数据管理:

此部分描述在系统执行架构中元数据管理的内容以及元数据管理系统的建设的标准定义;

Ø系统安全性:

此部分内容主要描述EDW系统中的安全性管理内容,包括应用安全、网络安全、数据安全、系统安全等,同时描述系统安全在建立过程中遵循的原则;

Ø基础设施平台(服务器、网络、存储):

此部分内容主要描述生产系统中的硬件资源,包括:

服务器,网络以及存储的资源需求,容量规划应满足的系统指标等内容;

一.2.3.1数据源

源数据系统是报表、关键指标、灵活查询、主题分析等应用系统的基础数据来源。

在系统建设初期,源数据系统应提供能满足初始业务需要的数据以及业务系统需要提供完整数据的时间窗口,在EDW系统扩展的过程中,各个源数据系统中的数据将逐渐的加载到EDW系统当中。

源数据无法满足应用需求时,系统应提供手工方式通过手工数据补入平台将需要的数据补入到EDW系统中。

目前数据源包括XX银行的多个业务系统,主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。

一.2.3.2数据落地区

数据落地区是为了保证多系统对源系统数据抽取的需求,在数据从源数据系统抽取后在统一的数据集成环境中整合。

数据落地区应建立及各相关源数据系统的接口,将这些系统定期卸载的数据以固定的格式接收、存放到落地区,考虑数据传输和加载的速度,源数据系统应以文本文件格式将数据定期传输给数据落地区进行处理。

数据落地区的数据存储格式原则上是及数据源的存储格式保持一致

一.2.3.3数据ETL架构

ETL是数据的抽取、转换、加载的全部过程,它是数据从数据落地区到ETL服务器以及从ETL服务器到EDW的数据迁移过程以及数据从EDW向数据集市的数据迁移过程中必须使用的过程和方法,ETL系统应包括以下三个主要功能:

⏹数据抽取:

从数据落地区系统抽取EDW中需要的数据;

⏹数据转换:

将从源数据系统获取的数据转换成EDW要求的形式,同时按照业务需求对数据进行转换;

⏹数据加载:

将助转换后的数据装载到EDW的物理模型中;

一.2.3.4数据准备区

数据准备区是数据存储的临时存储区域,数据在其中只作暂时性保存,数据经转换后导入到EDW的物理模型中。

数据准备区的功能包括:

格式转换、排序去重/筛选、通用基础清洗、连接/合并/分割、业务转换等

一.2.3.5操作型存储区

操作型存储区是数据仓库系统一个重要的环节。

该区有着承上启下的作用,从数据形态来看,该区的数据定义贴近业务源系统;从数据标准来看,该区的数据标准是遵循数据仓库系统的标准。

所以该区一般分为两个层次,第一个层次称之为良好质量的、统一格式的数据贴源层,第二个层次为统一的、规范的、遵循数据仓库系统标准的数据标准层。

数据贴源层可以继续为行内现有的一些报表系统或者分析系统提供数据,而数据标准层为数据仓库中的企业数据模型的落地扫清了道路。

所以该存储区在整个EDW系统起到了一个承上启下的关键作用。

一.2.3.6EDW存储区

EDW存储区是面向主题的、集成的、面向企业的、最明细的数据存储,其内容是依据最终用户应用和分析需求来进行组织。

数据存储区中的数据模型对标准层数据、基础整合数据、汇总数据和面向应用的集市数据按数据层次进行管理,每个数据层有自己的数据管理重点。

对于每个数据层次,再按主题进行分类组织。

这样就可以有效的将银行企业的操作型数据、汇总型数据和分析型数据以清晰的架构组织、管理起来,并相辅相成。

数据层的内容相互促进发展,组成银行完善的数据集合,为各种主题管理应用的构建提供良好的数据架构基础。

一.2.3.7业务应用

业务应用是EDW系统向业务用户提供应用功能支持,根据应用服务提供的形式和所采用的应用系统的不同,业务应用主要定义在以下几个技术环境。

数据集市:

在业务应用层中包含了应用系统中需要的应用集市、OLAP、静态报表等数据集市。

数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。

这些数据需要针对用户的快速访问和数据输出进行优化,优化的方式可以通过对数据结构进行汇总和索引。

通过数据集市可以保障EDW的高可用性、可扩展性和高性能。

应用环境:

应用环境是为满足业务需要在数据EDW环境中配置的应用软件包。

分析环境:

数据分析环境为EDW的高端用户提供即时的数据分析功能等。

报表环境:

报表环境是于来产生和发布静态报表的环境,包括:

产生的静态报表、OLAP产生的报表、KPI指标展现以及其他系统产生的报表。

一.2.3.8用户环境

用户环境是EDW系统最终向用户提供的某种应用服务的集合,主要有三种应用服务的表现形式:

通用展现平台:

通过此平台将报表、KPI展现、灵活查询、分析等多个应用集成到一个平台中,进行统一的展现和信息的管理,包括如:

报表生命周期的管理等。

数据分发环境:

在数据分发的过程中应提供大容量数据批量分发的能力。

给其他需要某个系统的数据提供数据交换功能。

报表分发环境:

报表的分发应可以满足系统定义的安全性,如按照不同的用户类型、不同的组织进行分发,不同的用户和组织只能看到属于自己的报表的数据,数据的分发将通过数据传输平台进行。

一.2.3.9元数据管理

元数据管理是对数据信息的收集和发布的集成管理,数据信息包括:

数据的业务含义和技术特性。

数据仓库系统架构中的各个部分中都含有元数据信息,应对其进行主动式管理,以保证它正确的定义、收集和使用。

元数据是“关于数据的数据”。

应包括文件结构定义,数据库字段名称,数据模型中的长度和标准,以及在域-域或域-报表对应关系中的计算和公式等内容。

元数据管理的架构如下图所示,系统的最终架构应实现对元数据的集中的管理方式:

一.2.3.10系统安全性

EDW系统中的数据和报表信息均为敏感信息。

因此必须采用适当的安全策略以保证其系统和数据的安全性。

数据仓库系统的安全性应涵盖如下四个方面:

⏹验证:

系统应对用户进行访问控制,保证只有合法的用户才能进入到系统中;

⏹授权:

系统应根据用户角色对其进行授权,包括对数据的访问权限,对功能的使用权限等。

⏹机密性:

所有的敏感数据必须被严格控制,禁止未授权访问,并保障其安全性。

⏹一致性:

数据和程序只能在授权模式下进行修改。

针对上述6个方面,数据仓库分系统应按照以下的6个方面的标准进行建设:

应用层

EDW应用系统是建立在OLAP软件平台的基础上,应用层应实现用户访问控制的功能,针对不同的用户访问不同的系统资源来保证整个应用系统的安全性控制。

对于未来的数据仓库系统来说,应及统一门户平台整合,实现整体安全性管理的策略;

数据库层

只有被授权用户才能访问和修改数据库中的信息并且数据在传输过程中应对敏感信息进行加密处理来保证数据的安全。

数据库管理员应按照角色对数据库用户进行划分,并且通过赋予角色权限的方式实现对用户安全性访问控制的管理,如:

针对用户组或耽搁用户分配特定数据表访问权限。

系统层

系统应防止未授权访问和系统调用,及时进行系统安全补丁的更新。

对于系统主机应采用服务器加固的方法,来保证整个系统的安全性。

网络层

网络层安全是保证网络节点之间数据传递的安全性,以及网络环境不受恶意攻击。

XX银行数据仓库环境建立在企业内部网络中,不同功能的服务器应部署在不同网段中,网段之间相互隔离,对网段之间的访问应通过防火墙并定义严格的访问控制策略。

整个系统的网络环境应得到实时监控,对入侵进行检测和处理,并在发生入侵时通知系统管理员。

物理层

物理层安全保障物理设备(主机、路由器等)不受非法用户攻击。

目前物理设备的安全性由运行中心负责。

管理

管理部分及上述的所有安全问题相关,对安全问题的管理必须由多个部门共同协作完成。

管理层面包括:

⏹安全资源:

实现各种安全使用的资源,如:

防火墙,入侵检测和处理设备,反病毒软件等;

⏹安全策略和规划:

各种安全规则,组织和责任人;

⏹突发事件处理:

在发生安全威胁时的应急处理流程,包括:

事件记录、时间报告制度等流程;

⏹安全审计:

对安全策略的审核和检查;

⏹灾难恢复计划:

发生问题后的系统和数据恢复;

一.3EDW逻辑架构

一.3.1逻辑架构框架

如上图所示的XX银行EDW的逻辑体系架构,这一架构是在联科可扩展的EDW系统框架的基础上,结合XX银行信息系统建设的实际情况而设计出来的多层、可扩展框架结构。

架构的核心上包括源数据层、ETL流程调度、数据平台层、数据集市层、应用服务层、访问控制层、用户层和数据消费传输通道七个大部分,另外,元数据管理和安全管理也是系统必不可少的部分,这2部分会涉及到所有核心层次。

在明确定义各层之间的接口后,多层框架结构具有高度的扩展能力和方便的系统开发和维护性能,符合目前流行的多层应用结构,适合EDW系统多阶段、多层次的应用特点。

一.3.1.1源数据层

【功能及作用】

总行的各个业务系统为整个EDW系统提供原始数据支持,首先作为ETL层的数据抽取源。

【组成部分】

目前总行的数据源包括XX银行的多个业务系统,主要有核心系统、个贷系统、对公信贷系统、国际业务系统、财务系统和各类渠道系统等。

一.3.1.2ETL流程调度层

【功能及作用】

该层为EDW数据流向的主要环节,EDW系统数据流动的流程调度核心层,流程调度主要针对下面几个方面:

⏹EDW系统将数据源的数据抽取到数据落地区

⏹EDW系统对数据执行格式转换、排序去重、通用数据清洗、业务转换后等操作,最终完成数据准备区加载。

⏹EDW系统再将数据准备区的数据按照EDW数据模型的方式加载到数据存储区中。

⏹在数据存储区中进行基础数据层、加工汇总层和应用集市层的数据加载。

⏹EDW中的数据准备区和数据存储区可以为为其它系统提供数据服务。

⏹总行EDW可以为分行EDW提供数据服务。

【组成部分】

上面的逻辑架构图淡绿色色矩形部分为ETL调度管理技术架构图,其作用是让许多的任务在作业的执行条件满足时自动地执行。

ETL调度管里最基本的可执行元素是单元,每个单元是完成某一特定功能的程序,相关单元组合在一起构成了可以调度的最小组件——任务。

由上面的技术架构图可知,ETL调度管里包含下列组件:

⏹知识库

建立在DB中的一个数据库,包含了及流程调度相关的一组表,保存ETL流程调度服务器、任务、任务之间的依赖触发关系、任务组、调度计划等多种类型的信息。

⏹侦测器

驻留在后台的服务,基于定义的触发规则和调度计划监测是否触发任务的执行。

⏹任务调度引擎

接受侦测器的信息调度任务执行(可以使本服务器任务也可以是其它服务器的任务)。

⏹任务执行代理

调用任务包含的每个单元执行的服务,同一服务器上可以有多个任务执行代理同时运行。

⏹任务

封装在Perl程序中,执行数据加载、整合、立方体生成等工作的一组程序。

⏹日志管理引擎

记录ETL调度管理各个服务器组件以及每个任务的执行日志,日志按天保存,可以定期清理。

⏹管理监控器

Java应用程序,用于定义任务、任务组合触发关系等信息,同时可以实时监控任务执行情况查看日志。

作为专门为数据仓库系统设计的流程调度管理具有如下特点:

⏹任务执行代理可分布在多台服务器上。

⏹结构简单、伸缩性强。

⏹支持多种执行任务。

1)加载数据

2)整合数据

3)数据质量检查和清洗

4)数据转换

5)OLAP数据生成

6)数据挖掘模型的执行

7)定制报表的产生

8)定制页面的产生

9)数据库备份、告警等系统作业

10)调用其他ETL/ELT工具产生的任务

11)数据导出到指定的渠道系统

⏹执行的任务可以是另一个任务调度引擎触发(如:

EDW)。

⏹可以启动其它的ETL引擎的任务。

一.3.1.3数据平台层

【功能及作用】

作为本系统的数据核心部分,它负责存储和管理来自各种源数据系统的数据,并为访问用户提供数据服务。

这些数据是按照在逻辑数据模型分主题存放的。

【组成部分】

本层由操作型存储区、仓库存储区和集市应用层四个部分组成。

详细内容参见“EDW数据架构”

一.3.1.4数据集市层

【功能及作用】

数据集市是一组特定的、针对某个主题域、部门或用户分类的数据集合。

这些数据需要针对用户的快速访问和数据输出进行优化,优化的方式可以通过对数据结构进行汇总和索引。

通过数据集市可以保障EDW的高可用性、可扩展性和高性能。

【组成部分】

包括:

驾驶舱报表系统和灵活查询以及其他应用集市系统。

一.3.1.5应用服务层

【功能及作用】

通过对数据平台层中的数据进行适当的提炼、汇总,利用通用展现平台向用户提供包括报表服务、查询服务、决策仪表盘等相关服务。

该层为用户对中央数据的访问提供各种方式的服务(C/S、B/S),从而实现访问方式的多样化和信息存取的透明化。

【组成部分】

通用展现平台主要包括的功能模块有:

第一个层次是核心模块包括:

框架、引擎,核心模块作为报表集成开发环境的基础、核心和框架存在。

报表集成开发环境核心功能和模块组装由核心模块统一提供,只暴露给开发人员;

第二个层次是管理模块包括:

报表信息、基本管理、代理、信息推送、连接信息,管理模块为报表集成开发环境提供管理服务,它提供报表集成开发环境的用户、权限等的统一管理,管理模块也是报表集成开发环境必选模块,它的很多功能调用由核心模块提供,管理模块包括5个子模块;

第三个层次是应用模块包括:

仪表盘、灵活查询、数据录入、报表、复杂报表,应用模块提供报表集成开发环境最终用户(非管理人员)的用户体验,可以和管理模块相结合有选择地灵活部署。

一.3.1.6访问控制层

【功能及作用】

访问控制层主要包括WEB、认证、安全、门户四方面的服务。

该层位于用户层和中间服务层之间,为用户层成提供HTTP服务、门户的单点登录、用户统一认证、提交用户层请求到中间服务层,对用户实施安全策略,为用户管理报表、查询文档,提供个性化定制等。

一.3.1.7用户层

由上面的逻辑架构图可知用户层包括各种最终用户。

按照用户使用EDW系统的方式和特点,可以划分为业务分析人员、高级分析人员和管理决策人员。

所有用户统一通过用户门户访问EDW系统各类应用,从而实现了EDW系统的应用界面、安全管理统一,同时用户可以对门户进行个性化定制以方便自己使用。

实际上,EDW系统还包括进行系统建设的开发人员、系统运行人员和系统管理人员,这里所指的用户层主要针对业务用户进行描述。

⏹业务分析人员

主要指总行各业务部门、各分行的业务用户,如:

客户经理。

该类人员直接使用模块化的应用界面访问EDW系统,生成或预览预定义报表,进行相对固定的查询以及多维分析。

这类用户会使用B/S和C/S两种客户端访问EDW系统。

⏹高级分析人员

是指总行各业务部门、各分行的较为高级的用户。

除能够执行一般业务分析人员进行的操作外,可以对指定的主题、指标进行自定义的灵活分析和比较。

分析的方式包括自定义查询、自定义报表、多维旋转和穿透钻取等等。

这类用户会使用B/S和C/S两种客户端访问EDW系统。

⏹管理决策人员

主要包括各部门的领导、分行领导和总行领导。

EDW系统为管理决策人员分配专门的系统资源,建立最为直观和方便的存取界面,为决策人员赋予最大的信息访问权限,实现决策人员对信息的自由访问。

同时,EDW系统将决策人员最为关心的信息主动发布到决策人员的访问界面上,简化信息访问的方式,使得决策人员在第一时间获得经营管理的各种重要信息和指标。

这类用户只会使用B/S客户端访问EDW系统。

一.3.1.8消费数据传输通道

在数据仓库系统建立以后,会有很长一段时间旧有的报表系统和分析系统需要逐步迁移,在此期间,需要有一个消费数据传输通道来支持旧有系统的良好运转。

一.3.1.9安全管理体系

安全管理体系主要包括以下四个方面:

⏹网络安全

主要包括在不同网络层次设置不同级别的防火墙及IDS系统,同时在每一个安全层次下通过部署不同的安全原则,这完全符合XX银行的安全级别规定。

⏹操作系统安全

系统所有应用或数据库服务器均采用Unix操作系统,操作系统本身有着严密的系统安全认证及用户权限管理体系,并具备登录、审核以及资源访问的审计及跟踪。

⏹数据安全

提供各种基于数据库的安全保护机制。

⏹应用安全

应用是直接面对用户的,虽然应用系统能够持续提供服务是涉及到系统安全的问题,但是因为这些问题更多的是由系统的安全问题来保证的。

所以就应用级的安全策略更多的是保证对数据访问的合法性。

一.3.1.10元数据管理体系

在机构内关于数据的信息称为“元数据(Metadata)”。

清楚地区分数据库中的数据和元数据是很重要的,所谓元数据,是指关于数据的数据,即用来描述数据的类型、来源、定义、存储位置,使得可以正确地使用数据仓库。

元数据仓库(MetaDataRepository)对业务人员来说是很重要的,是业务人员及数据仓库的数据交流的传达手段。

IT人员可能已经拥有许多有效的工具进行数据存取。

但对业务人员,他们需要一种手段和工具来理解他们存取的数据。

在本期EDW系统的建设中,包括技术元数据和业务元数据两类,其数据源涵盖了EDW系统的各个环节,包括:

数据源系统、EDW数据库、EDW逻辑数据模型、ETL系统、业务应用系统等,同时,还将涉及数据的业务含义和业务规则等相关业务文档。

在架构上,元数据系统包括:

元数据应用、元数据

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > IT计算机 > 电脑基础知识

copyright@ 2008-2023 冰点文库 网站版权所有

经营许可证编号:鄂ICP备19020893号-2