中国xx银行风险数据集市项目技术方案(报批稿)Word文档格式.docx
《中国xx银行风险数据集市项目技术方案(报批稿)Word文档格式.docx》由会员分享，可在线阅读，更多相关《中国xx银行风险数据集市项目技术方案(报批稿)Word文档格式.docx（74页珍藏版）》请在冰点文库上搜索。
3.2.3优先级排序 13
3.2.4明确性 13
3.3用户类别分析 13
3.4业务功能总体描述 14
3.4.1数据模型 14
3.4.2ETL功能 16
3.4.3调度管理 19
3.4.4数据质量管理 23
3.4.5元数据管理 24
3.4.6数据补录 25
3.4.7数据分析与查询 26
4架构方案 28
4.1系统定位和范围 28
4.2系统上下文 28
4.3系统交互关系 29
4.4应用功能架构 31
4.4.1应用功能架构图 31
4.4.2功能清单 32
4.5数据架构 35
4.5.1数据流向要求 36
4.5.2数据流向分析 37
4.6技术要求 38
5系统非功能性需求 40
5.1性能需求 40
5.1.1业务量分析 40
5.1.2系统可用性 41
5.1.3性能测试 41
5.2质量需求 42
5.2.1安全可靠性 42
5.2.2高效性设计 45
5.2.3可扩展性 46
5.2.4数据结构设计及数据处理 46
5.3运维需求 47
5.4安全性需求 47
5.4.1物理安全 48
5.4.2网络安全 48
5.4.3系统安全 49
5.4.4数据安全 54
6系统实施方案 59
6.1总体实施策略 59
6.2阶段划分及目标 59
6.3阶段实施工作内容 59
6.4系统体系结构 60
6.5系统间接口 61
6.5.1系统接口 61
6.5.2异常处理 62
6.6软硬件资源需求 63
6.6.1软硬件配置原则 63
6.6.2对主机配置的要求 63
6.6.3对磁盘阵列的要求 64
6.6.4对网络设备的要求 64
6.6.5对系统软件的要求 65
6.6.6系统数据估算 66
6.6.7软硬件配置建议 67
6.6.8项目组织 69
6.7项目里程碑计划 70
1文档简介
1.1编写目的
本方案从总体上描述了中国xx银行信用风险数据集市系统的的建设目标和思路，明确了系统建设中需要遵循的基本原则和要求，主要包括业务需求分析、系统总体架构、软件体系结构、接口分析、安全策略、系统配置方案、工程实施计划建议等。
本方案用于指导中国xx银行信用风险数据集市系统的总体工程建设、软件产品选型、系统设计开发等工作。
1.2背景
为加强商业银行资本管理水平，有效提升风险管理能力，2012年6月，中国银行业监督管理委员会（以下简称银监会）颁布了《商业银行资本管理办法
（试行）》（以下简称《办法》），并已于2013年1月1日起实施。
《办法》对银行资本充足率要求、资本定义、风险加权资产计量、内部资本充足评估、信息披露等进行了规范，这要求商业银行必须建立用于风险和资本计量与管理的信息系统。
随后银监会下发了符合《办法》规定的新资本充足率（BIII）报表统计制度，要求商业银行建立各种方法监管资本以及风险加权资产（RWA）自动生成与报送机制，不仅要实现对所有资产业务范围的全覆盖，同时要实现对权重法、修订后标准法、内部评级初级法、内部评级高级法下等不同方法的风险加权资产计算。
为满足监管要求、推进新资本协议项目合规达标，并全面提升银行信用风险管理专业化能力，提升资本管理水平，由此中国xx银行成立了新资本协议实施领导小组负责新资本协议实施工作，其中数据IT实施工作组负责组织开展支持风险和资本计量与管理的信息系统建设，并协助新资本协议办公室开展数据
IT达标。
1.3引用标准与规范
Ø
YZ/T0103《邮政金融机构代码编制规则》
第7页第7页第7页第7页第7页第7页第7页
Q/YB0001—2008《中国xx银行机构名称命名规则》
PSBC/T《中国xx银行业务系统用户登陆代码标准》
GB/T2660《中华人民共和国行政区划代码》
GB/T4754-2002《国民经济行业分类》
GB2888-89《计算机场地技术条件》
GB9361-88《计算机场地安全要求》
GB50174-93《电子计算机机房设计规范》
YD/T754-95《通信机房静电防护通则》
GJB117-88《火灾自动报警系统设计规范》
GB4943-85《数据处理设备的安全规定》
GB4943-90《信息技术设备（包括电气事务设备）的安全》
GB9254-88《信息技术设备的无线电干扰极限值和测量方法》
YD282-82《邮电通信设备可靠性通用试验办法》
YD/T756-95《与电信网电气连接的设备安全原则》
1.4名词术语
1.4.1数据仓库
数据仓库（DataWarehouse，简称DW）是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。
邮储银行的数据仓库（即大数据平台）于2013年起筹备建设，目前仍处于建设阶段。
1.4.2数据集市
数据集市（DataMart），是指根据特定的业务分析和主题进行数据组织。
数据的来源分为两种：
一种直接来自于各原始的业务系统和相关系统，另一种从数据仓库进行数据收集（以银行已建立数据仓库为前提）。
1.4.3风险数据集市
风险数据集市是完整的数据仓库的一个逻辑子集，以风险相关数据为基础建立的，为邮储银行风险加权资产RWA计量、非零售内评系统、零售内评系统、新资本充足率报表、风险监控与分析报告等下游系统的搭建的数据支持平台。
第8页第8页第8页第8页第8页第8页第8页
1.4.4元数据管理
风险数据集市的元数据管理依托于全行的数据标准化管控系统，对风险集市中的元数据在系统中进行固化和实现，确保我行元数据管理方案得以贯彻执行；
最大限度地实现系统化的管理流程，确保元数据得到有效管理和应用。
1.4.5ETL
ETL是数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程，是构建数据仓库和数据集市的重要环节。
从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义的模型装载数据。
1.4.6源业务系统
源业务系统是指为风险数据集市提供基础数据的邮政金融业务系统。
例如公司信贷系统、个人信贷系统、票据业务系统、资金营运系统、国际业务系统、黄金买卖业务系统、机构管理系统、柜员管理系统等。
第9页第9页第9页第9页第9页第9页第9页
2系统建设目标与原则
2.1系统建设目标
作为我行新资本协议实施的重要组成部分，风险数据集市基于邮储银行目前正在建设中的的大数据平台，主要完成风险数据集市模型设计，建立大数据平台到风险数据集市模型间的映射，实现风险数据集市数据采集、加工、转换、加载等功能，实现风险数据的统一与集成，有效支撑各类风险管理功能的数据需求，建立风险集市的运转框架体系，并支持下列应用需求：
满足各类资产业务在权重法、修订后标准法、内部评级法初级法、内部评级法高级法下的风险加权资产、监管资本计算的要求。
满足非零售内评、零售内评模型的开发和验证、信用风险监测报告、监管报表提供的数据分析要求。
针对邮储银行各类客户和表内、表外等各类业务，提供包含额度、评级、行业、地区、产品、担保、资产分类等信息在内的各类基础数据，支撑多维度的风险分析。
提供单一客户、集团客户的全面风险状况视图，为风险决策提供科学依据。
2.2系统建设原则
2.2.1先进性
系统充分考虑采用先进符合信息技术发展趋势和中国邮政金融IT总体规划要求的体系架构，利用符合国际、国内标准的软硬件技术规范，适时引进成熟稳定的新的技术和IT产品，软件设计思想成熟稳定。
硬件系统应选择先进、成熟、稳定、性价比高的设备。
软件系统的选择与开发应在满足业务需求的基础上具有易改造、易升级、易操作、易维护等特点。
2.2.2前瞻性
系统建设既充分考虑未来新需求和新功能扩展和支持，又要充分考虑软件体系结构与IT规划中其他平台和系统有效衔接，满足未来xx银行业务发展及管理的需要。
第10页第10页第10页第10页第10页第10页第10页
2.2.3扩展性
系统建设应考虑未来业务的发展和管理的变化，系统软件架构应能方便的支持业务功能的扩展，随着业务量的增长，应能灵活部署主机设备，以支持冗余和负载均衡，满足未来业务发展的需要。
2.2.4安全性
系统应采用完善的身份认证机制、分级权限管理机制保证业务操作的合法性；
应对用户敏感数据进行安全存储；
应制定可行的数据备份恢复策略、安全控制机制、运行管理监控和故障处理手段，保证系统稳定、安全运行。
2.2.5可操作性
系统应为用户提供方便、友好的交互界面，菜单清晰、简洁，对于固定的输入项应提供列表选择或快捷输入方式。
系统功能设计上需考虑使用者的实际情况，具备简单易用性。
同时，对于系统中的必输项、非必输项要有相关信息提示，操作错误后要有对应提示。
考虑到网络交互、操作时间等因素，操作界面的设计应尽量避免同一事件多次提交方能完成的问题。
2.2.6稳定性
系统要确保平稳运行；
要适应大批量数据传输、清洗、转化、加载、汇总、导出等处理的要求。
2.2.7灵活性
系统应采用模块化设计，提供全面、丰富的参数设置。
2.2.8时效性
为保证基于风险数据集市的各类应用对于数据时效性的需求，实现整个系统T+1的时间要求。
第11页第11页第11页第11页第11页第11页第11页
3系统功能需求分析
3.1业务总体需求概述
在借鉴先进理论和同业实践的基础上，结合邮储银行实际情况，针对信用风险数据集市建设提出具有科学性和前瞻性的规划方案，构建灵活的IT系统框架，并基于规划方案，面向系统建设，明确IT系统业务需求，制定系统业务需求说明书。
本项目应结合业内先进经验，以邮储银行已建立的各相关业务系统数据积累为基础，建设涵盖包括公司、零售、金融机构、主权、股权、资产证券化、其他风险等各类信用风险信息的信用风险数据集市，统筹兼顾市场风险、操作风险等相关信息，为邮储银行RWA计算、非零售内评系统、零售内评系统、新资本充足率报表、风险监控与分析报告等搭建数据支持平台。
充分考虑构建全面统一的风险数据集市要求，针对市场风险和操作风险的数据特点，在当前集市建设过程中，要求从模型设计、软件架构、软件功能等多方面采用灵活和易于扩展的方案，为后续信用风险、市场风险以及操作风险数据在集市中的整合提供足够的前瞻性设计。
建立长效的信用风险数据集市数据治理体系，确保信用风险数据集市的数据质量满足风险管理应用的要求。
3.2需求分析原则
3.2.1可行性
必须有可能在已知的能力、系统及其环境的限定之内实现各项需求。
一个系统分析员应能现实地评估技术上能够实现和不能实现，以及只有在超出成本时才能实现的功能。
3.2.2必要性
各项需求应记录客户真正的需要，或与外部系统需求或标准相一致所需要的内容。
第12页第12页第12页第12页第12页第12页第12页
3.2.3优先级排序
一个对需求优先度排序的方法是使用标准的高、中、低的协定。
另一个对需求进行排序的方法是用必要的、有条件的和可选的来区分需求。
必要的。
表示如果这些需求的实现不符合双方协定，则软件是不能被用户所接受的。
有条件的。
表示实现这些需求可以增强软件产品，但当这些需求没有实现，该软件产品也可以被用户所接受。
可选的。
表示这些功能的实现可能值得或不值得。
3.2.4明确性
所有需求语句的阅读者应能达到对其简单、一致的理解。
由于自然语言很容易产生歧义，所以必须简单、明了书写每条需求。
3.3用户类别分析
风险数据集市的使用用户主要包括业务应用用户和后台支持用户，业务应用用户主要包括总行相关部门、一级分行36个、二级分行371个的使用人员，按照每个部门/分行机构1名分析用户、2名普通用户；
后台支持用户主要包括总行相关部门的2名系统管理员、2名数据库管理员、2名ETL监控管理、2名
ETL数据用户、多名开发用户。
本系统的用户及对应的权限如下：
角色名称
用户说明
用户权限
系统管理员
系统管理和信息维护
日常管理和维护
监管系统的运行
管理用户的角色
数据库管理员
集市数据库的管理员
数据表创建
数据表删除
数据表修改
调整数据库参数
数据库日志查询
第13页第13页第13页第13页第13页第13页第13页
创建数据库用户
ETL监控管理
ETL作业管理员
ETL作业监控
ETL作业配置
ETL数据用户
进行ETL数据操作的用户
ETL数据抽取
ETL数据加载
开发用户
开发集市相关功能和报表的用户
开发ETL
开发报表
分析用户
通过前端进行数据分析的用户
固定报表查询
灵活定制报表
SQL查询
普通用户
可以查询固定报表的用户
3.4业务功能总体描述
通过建立一个银行风险数据集市平台，能够对银行相关风险数据进行集中、清理、整合和分发，为零售内评系统、非零售内评系统、RWA系统、风险监测与分析报告系统等各类应用系统提供准确、统一、全面的风险数据集市基础数据以及轻度汇总数据，完成信用风险RWA计量，同时为后续的风险计量、管理、分析和展现提供强大的集市数据基础平台。
该风险数据集市的具体业务目标包括：
风险数据集市架构建设与逻辑模型、物理模型设计；
开发、部署大数据平台到风险数据集市之间的数据映射程序，通过对相关风险数据的加工，转换和清洗，将数据整合并加载到风险数据集市；
开发、部署风险数据集市内部的数据加工、转换；
建立与数据标准化管控系统的双向交互，完成元数据管理和数据质量管理；
建立集市数据处理、分发、流转平台，为邮储银行的风险集市应用提供整合数据，并支持一定时期历史数据的查询和使用。
第14页第14页第14页第14页第14页第14页第14页
3.4.1数据模型
作为风险数据集市系统的数据核心部分，数据模型负责存储和管理来自大数据平台的业务数据，并为访问用户提供数据服务。
根据业界标准，数据在逻辑数据模型中分主题存放。
本项目的逻辑模型架构上分成基础层，汇总层，指标层。
基础层数据模型文件：
psbc_rdm_20160503.erwin
3.4.1.1基础层
邮储银行数据集市的基础层高度整合了各个业务数据，把业务数据按主题重新组织，并对源系统数据进行抽取、清洗后，再进行一定的整理、合并、加工或轻度汇总，以供企业决策分析适用。
风险数据集市作为全行统一的风险数据平台提供对外数据服务，集市将建立一个数据服务主题引入大数据平台的风险相关的明细数据，如对公合同各种具体品种的附属信息，个人贷款的调查报告，各种抵制押品的附属信息，合同变更记录等。
通过下述主题域的设置以及相互之间的关系，涵盖邮储银行的风险数据集市信息，并且表达主要经营理念和重要业务规则，基础层的数据结构如下图表示：
图信用风险数据集市逻辑模型基础层结构图
下表说明每个主题包含的主要数据内容：
主题
说明
客户
客户信息，如客户基本信息、附属信息，也包括集团客
第15页第15页第15页第15页第15页第15页第15页
户、联保体和客户关联关系等
协议
客户和银行建立的协议，例如各业务条线的合同，借据
等。
公司业务、零售业务、票据业务、资金业务等
产品
包括产品代码表、产品分类、产品条线和业务条线
评级
包括参与人评级、债项评级、国家或地区评级、债券评
级等信息
限额
包括客户限额，产品限额，行业地区限额，机构限额等
限额信息
事件
包括票据出入库，押品估值，合同变更等事件信息
财务
主要存放总账、资本项等
缓释
包括合约缓释品关系、缓释合约、缓释评估价值、缓释
品信息等
参数
主要存放公共代码等信息
资产保全
资产保全和清收相关数据
外部数据
外部提供的数据，包括征信数据、市场数据、宏观数据
和企业财报等信息
3.4.1.2汇总层
将基础层的数据按常用的维度进行汇总，主要的汇总数据包括：
个人客户汇总信息、公司客户汇总信息、合作方汇总信息、机构汇总、机构迁徙率、表外业务汇总、授信协议汇总、对公债项汇总、零售债项汇总、关联关系汇总、押品汇总、合同协议汇总、RWA计算结果、操作风险计量结果等。
3.4.1.3指标层
将邮储银行常用的指标，如资产质量、集中度、风险指标、余额、迁徙率、授信额度、核销、清收等指标进行预加工。
为确保指标定义和计算公式的灵活性，指标层可在展现端（例如报表查询系统）配置。
3.4.2ETL功能
风险数据集市的建设依托邮储银行现有的大数据平台建设，大数据平台作为统一的数据来源，给风险数据集市提供源数据。
风险数据集市需完成风险数
第16页第16页第16页第16页第16页第16页第16页
据的清洗、转换、整合、加载，以及后续汇总加工过程，系统应提供高效的数据清洗、加载与转换功能。
3.4.2.1ETL简介
数据集市的ETL功能简要描述如下：
源数据的下载及处理：
根据风险数据集市的数据需求范围从大数据平台将数据批量导出，再根据数据规范对导出的数据进行数据过滤、格式转换等初步处理，转换为满足风险数据集市要求的标准数据输入接口；
集市基础数据的加工：
视银行的大数据平台建设的实际情况，根据数据集市模型，将标准数据输入接口数据映射到数据集市，涉及到临时表到目标表之间的表的拆分、合并，字段的转码、聚合加工等操作，数据最终以集市要求的模型存储，形成集市的基础层数据；
集市汇总数据的加工：
汇总层数据包括对基础层的数据的轻度汇总，以及按常用的维度，如机构，进行汇总；
集市指标数据的加工：
将常用的指标如不良率，资本充足率等预加工，为确保指标定义和计算公式的灵活性，指标层通常在展现端（例如报表查询系统）配置；
应用系统数据服务：
通过日终批量的方式，对风险数据集市下游应用进行数据支持，依据下游风险应用的需求，聚合内部、外部数据，对集市的数据实体进行各种操作，实现多系统平台的数据接口。
当前项目数据服务的范围是RWA计量、零售内部评级、非零售内部评级、以及信用风险监测分析报告；
根据IT规划，未来建设的风险管理应用系统，如全面风险报告管理系统、组合风险管理系统、经济资本管理系统等系统的数据来源也是数据集市。
3.4.2.2ETL架构
对于数据集市中数据的加载和汇总过程，包括数据抽取、数据变换、数据转换、以及数据加载4个标准阶段。
每个阶段之间以结构化数据（数据文件或者数据库表）作为接口。
对于存量数据及日常增量数据的加载，ETL分为数据抽取、数据变换、
第17页第17页第17页第17页第17页第17页第17页
数据转换以及数据加载4个标准阶段。
此架构使每个功能相对独立，减少各功能相互间的耦合度，同时，每个模块的功能被细分后，逻辑更加简单，更容易控制开发错误，提高开发效率。
另外，也便于系统运行过程中的错误追综和异常恢复。
对于汇总、指标数据层的加载，由于数据格式已经得到统一，ETL过程不再需要数据变换、数据抽取，只需要数据转换阶段。
数据转换阶段直接从原子层汇总统计即可。
为了验证ETL加载的数据的正确性，根据业务的要求，可能需要在数据库中进行数据总计平衡检查，该过程必须在相关的ETL表数据加载完成以后进行。
3.4.2.3ETL数据接口设计
将大数据平台的数据装载进入数据集市，除了对数据进行抽取外，这一接口还应具有以下的功能：
从面向应用和操作的环境生成完整的数据；
数据的基于时间的转换；
数据的聚合；
对现有记录系统的有效扫描，以便以后进行追加。
当然，考虑这些因素的同时，还要考虑到物理设计的一些因素和技术条件限制，根据这些内容，严格地制定规格说明，然后根据规格说明，进行接口编程。
在接口编程中，要注意：
保持高效性；
要保存完整的文档记录；
要灵活，易于改动。
3.4.2.4ETL作业设计
ETL作业设计的主要参考原则包括：
作业设计以目标表为导向，一般情况下，目标表与作业一一对应；
第18页第18页第18页第18页第18页第18页第18页
存在多个作业处理一个目标表：
-目标表字段来自多个源表，可通过多个作业处理；
-目标表记录来自多个源表，可通过多个作业处理；
目标表中既有直接映射字段，也有源表计算字段、自身衍生字段，可以拆分为多个JOB，目标表在一定场景下可以当做源表使用；
如从源表到目标表，需要建立中间临时表，可将每个临时表当作一个目标表处理，可通过多个JOB完成从源表到目标表；
如出现同字段多源表优先顺序更新规则，只设计获取优先级最高的源表属性字段JOB；
原则上不允许一个作业处理多个目标。
3.4.3调度管理
3.4.3.1调度简介
调度是让数量较多的作业按照既定的计划和顺序进行执行。
调度设计是对作业触发时机和作业之间依赖的设计，此设计和作业本身的属性高度相关。
我们可以通过ETL作业包将多个ETL作业按照依赖关系组成一组有特定含义的
升级会员 