数据中台解决方案PPT推荐.pptx
《数据中台解决方案PPT推荐.pptx》由会员分享,可在线阅读,更多相关《数据中台解决方案PPT推荐.pptx(54页珍藏版)》请在冰点文库上搜索。
中台战略的承接载体,实施工作的支撑工具。
实施服务:
数据中台落地的关键保障。
数据中台咨询规划,组织,流程,制度,平台规划及技术选型,数据服务需求分析,数据架构规划数据标准体系数据质量体系数据安全体系,数据中台规划的核心内容是确定企业的数据战略,以及为达成战略目标所需要的组织保障(组织、流程、制度)、数据保障(数据架构、数据安全、数据标准、数据仓库、数据质量、数据服务)和技术平台保障。
数仓分层,数据模型设计,指标体系设计,数据服务规范,数据服务管理制度,数据管理能力成熟度评估,数据现状调研,数据现状调研报告,短期目标,数据战略,数据战略:
与业务战略保持一致,业务战略,短期目标透明化管理、业务协同、降本增效,业务中创期新目与标转型,长期目全球领先标的轨道交通系统解决方案供应商,数据满足基本的管理决策和业务协同需求,数据促进中业期务目创标新与转型,长期目在数字化标竞争生态中处于领军地位,数据管理工作组,各专业业务专员,IT技术支持人员,数据管理委员会各部门负责人数据管理监督人员数据管理联络人员,CDO跨职能高层领导,相关领域专家,数据管理组织,整体负责数据管理工作的开展、政策的推广和执行,并作为数据管理问题的最终决策组织解决争议,监控和监督数据管理工作的绩效,并确保数据治理工作预算支持。
根据数据管理领导组的战略目标,建立数据管理流程,阶段目标、计划,制定和维护数据管理方法、总则、工具、框架,对跨部门和领域的数据问题和争议进行解决和决策。
根据计划完成数据标准管理、数据架构管理、数据安全管理、数据质量管理、元数据管理、主数据管理、数据仓库管理、数据服务管理等活动。
数据管理制度与流程,请流程,流程,护流程,范,数据架构,数据架构,业务架构,业务领域,业务职能,业务流程,应用架构,数据主题域,数据主题,数据业务视图,数据实体,主题域划分数据所在业务域,如:
研发创新域、生产制造域、营销销售域等,数据主题细分,如营销销售域可细分为:
市场营销|、客户管理、销售管理等,业务视角的数据对象(用户视图),如:
销售计划、销售合同、销售订单等,系统中实体表,如:
销售凭证头表VBAK、销售凭证行数据VBAP,数据模型,系统功能,数据库,数据实体属性(表字段),如:
销售凭证、凭证类型、销售组、产品组、订单数量、单价,数据分布地图,数据流向图,数据实体识别,以企业业务架构和应用架构为输入,规划设计企业数据架构,主要内容包括数据主题域和主题划分,数据实体识别和企业级数据模型设计,数据流向梳理和数据分布地图绘制。
数据标准,数据标准,元数据标准,业务数据标准,参考数据标准,明确元数据属性的基本组成和含义(中文名称、英文名称、数据类型、值域),明确参考数据类别及其值域代码名称,00正常10试制,指标数据标准明确指标数据基本信息、统计信息、口径信息、管理信息的数据元及其属性(指标名称、统计维度、归口部门、数据来源),对核心业务数据元的标准化(姓名、公民身份号码、性别名称、性别代码),数据质量,定义数据质量评判规则,设计数据质量分析指标,建立数据质量考核机制,确定质量权责和流程规范,权责认定:
为前期梳理的每一类数据资产确认权责部门,如:
人员数据的质量问题由人资部门牵头处理,流程规范:
设计数据质量相关问题发现、反馈、分析、处理、闭环验证和质量工作考核相关的流程规范,技术规则:
从数据库存储的物理维度定义技术规则,如数据类型,数据编码,主键等,业务规则:
从业务维度定义业务规则,如:
值域范围、数据格式、业务关联逻辑、计算逻辑等,评估策略:
确定各类数据质量检查频率及范围,质量分析指标:
明确数据质量问题的统计规则,设计质量分析维度和分析指标,以全面、直观展示数据质量问题,质量预警机制:
设计数据质量预警机制,包括预警方式、预警指标、预警值、预警信息规则等,设计考核指标:
设计数据质量考核指标体系,对企业数据质量治理工作进行定量评价,建立考核机制:
根据考核指标定期对企业数据质量治理工作进行考核,促进企业数据质量治理工作持续健康开展,数据安全,数据安全管理组织、流程、制度,安全需求分析企业自身业务需要利益相关方的安全需求政策、法规、监管要求,数据采集数据传输,安全管理策略,数据分类分级数据权限体系存储加密策略,以数据安全管理组织、流程和制度为基础保障,分析企业在数据全生命周期的不同阶段的安全需求,设定相应的管控策略,确保企业数据安全管理目标达成。
数据安全管理目标,确保适当的数据访问,防止不当的数据访问确保对隐私保护、保密制度、法规的遵从,传输加密策略数据脱敏规则安全日志审计,全生命周期安全管控数据存储数据处理,满足利益相关方的隐私和保密需求支撑企业战略目标的达成,数据交换数据销毁,数仓分层设计,面向业务主题的、整合的、反映历史变化的、稳定的明细数据,面向数据来源,各类异构数据源,面向分析应用需求;
高度汇总数据,基于分析需求轻度汇总数据或合并,企业数据仓库,DWS(单主题轻度汇总数据),DM(跨主题高度汇总数据),ODS(原始数据),结构化数据,数据分析应用,DWD(业务明细数据),非结构化数据,数仓各层数据形态示例,维度模型:
关系型数据库,BI统计分析;
宽表模型:
非关系型数据库,大数据分析。
关系模型:
给DM打好基础,保持灵活性、复用性宽表模型:
直接用于展示,提高访问效率。
数仓ODS层总体规划,信息系统产生数据,感知设备产生数据,ODS,ETL工具(定时、复制),维护界面(不定期),服务接口/ETL工具(准实时),关系型数据库/MPP数据库/NoSQL数据库1、模型设计:
1)模型与源头基本保持一致;
2)分类上体现源头业务系统;
3)保持数据关系;
4)增加必要的标识属性。
2、数据处理:
不做数据处理。
人工采集数据,PDM产品物料设计BOM设计更改单,ERP设备需求订单生产订单生产计划,表面处理设备开关机信息加工状态信息,线下数据维修信息故障信息客户表扬信息,数仓DW层总体规划,DWS业务主题库(轻度汇总层),DWD业务主题库(明细层),ODS缓冲库(贴源层),ERP,MES,外委外协,供应链,合同,线下数据,人资主题,组织机构,人员,财务主题,物资主题,生产主题科研型号月度完成情况、批产型号月度完成情况、生产准备月度完成情况、外委外协月度执行情况、月度物料平衡会问题进度情况、月度生产现场有关物料督办问题的处理进度情况、月度工时数量,ETL(定时、数据过滤、数据类型标准化、编码转换、量纲统一、数据去重、数据汇总等),ETL,非结构化数据,服务接口(数据解析)/维护界面,1、模型设计:
数据属性范围;
时间属性;
派生属性;
数据粒度;
分离数据。
数据过滤;
数据类型标准化;
量纲标准化;
去除重复;
编码映射。
数仓DW层数据模型,数据模型特点:
明细数据区和轻度汇总数据区。
按业务分主题进行设计。
明细数据区每个实体原则上都要加相应的时间戳。
轻度汇总数据区的模型设计依赖于分析需求。
数据仓库模型是符合3NF的带有时间戳的关系模型。
建立编码映射表,用于进行有关编码转换。
数仓DM层总体规划,DM分析数据库(高度汇总层),DWD业务主题库(明细层),财务主题,物资主题,人资分析主题,物资分析库,科研型号年度完成情况、批产型号年度完成情况、各系列各机型年度责任令完成情况、各军种年度完成情况、科研任务年度总体情况以及各机型年度科研任务项完成情况、年度工时数,生产分析主题,生产主题科研型号月度完成情况、批产型号月度完成情况、生产准备月度完成情况、外委外协月度执行情况、月度物料平衡会问题进度情况、月度生产现场有关物料督办问题的处理进度情况、月度工时数量,DWS业务主题库(轻度汇总层)ETL(数据合并、数据汇总),ETL(数据合并、数据汇总),1、模型设计:
数据合并;
数据汇总。
2、数据处理原则:
数仓DM层数据模型,数据模型特点:
完全基于需求建立,它的主题域、主题的划分与DW层不同;
主题划分有两种类型:
为企业主管层面服务的综合分析类主题;
为企业业务主管层面服务的专业分析类主题;
数据分为两类:
一类是基于数据仓库的细节数据或轻度汇总数据进行的统计分析,另外一类数据是基于统计分析进一步分析挖掘的数据;
数据集市模型通常采用星形模型建模。
采购完成情况,日期ID,物料ID,采购数,入库数,供应商ID,采购员ID,供应商,某公司,人员,张三,维度模型,跨主题宽表模型,内部管控,专题会议,预测分析,数据报送,公司考核KPI业务域流程文件公司级例会材料专题例会材料给上级汇报材料集团考核KPI客户关注/检验点上级单位下发文件,业务域管理主线,业务域管理业务场景及受众对象,业务场景对应关注指标,梳理各业务域的业务主线,自上而下分解业务场景并梳理关注指标,自下而上关联业务场景并提炼关注指标,提供方式以系统自动提供为主,手工补录为过渡辅助,设计要求提供时限以满足实际业务需求为依据,数据要求提供明细数据及计算公式,尽可能提高指标数据频度,指标体系示例,战略管控,战略发展,人力资源管理,财务,资本运营,审计与风险管理,科技质量网络信息化安全,重点亏损企业累计减亏率,集团公司损失风险容限,单位子公司产权状况,军工项目整体预算执行率,营业收入,利润总额,净利润,营业收入利润率,人才引进总数,人才引进学历成分占比,全员劳动生产率,人均利润,“三供一业”分离移交补助,”僵尸企业”处置补助率,率特困企业治理补助,工业企业专项奖补资金,集团公司风险容限,集团领导批示的重大报告数,盈利户数资产,负债率,科技活动经费,支出总额基础,数字经济总体规模,品牌价值,研究投入占比,产集业团板公块司整体,企业理,参股,资产经及营负模况目债标,人,养进理系,减情况,量情况,券化规,险监控,财,算,信编信息制息化标化投准业入数务量覆盖度,信化资产,审计,业务板块,业务主题,业务主题评价项,战略管控指标,内控指标/报送指标,数据服务体系,服务需求分析,业务协同及流转需求,数据流向,内部管控专题会议预测分析,数据服务规范服务方式数据格式服务交互规范,数据服务管理制度服务申请与开发流程,服务授权与上线流程,服务下线流程,数据服务的需求来源包括业务协同和流转需要、数据分析应用(业务分析和优化)需要两个方面。
基于服务需求,制定相应的服务规范和服务管理制度。
数据分析应用需求DWDDWSDM,数据管理能力成熟度评估,GB/T360732018数据管理能力成熟度评估模型,咨询规划服务,一套企业数据架构,一套数据治理体系,建设路线规划,一张数据流向图,一张数据分布地图,一套企业核心数据实体,一套企业业务域,一套数仓体系,四大类数据标准体系,30+数据管理流程,30+数据管理制度,一套组织架构,数据中台建设路线规划,数据管理能力成熟度评估,数据平台选型建议书,株车数据中台软件平台框架规划,咨询规划模块-数据架构规划,咨询规划模块数仓体系规划,规范与制度管理,组织与角色管理,数据管理能力成熟度评估,治理实施模块-数据标准管理,对数据元标准、枚举项标准和标准文件进行统一的线上、结构化管理与检索;
标准起草、审批、发布、修订、废止全生命周期管理;
数据标准与实际数据对象进行关联,对标准的实际执行情况进行评估和监控。
治理实施模块-数据标准管理,治理实施模块-元数据管理,元数据管控,元数据采集,新增,导入,抽取,元数据统一检索,元数据统一服务元数据血缘追溯,元数据分布地图,版本管理,状态管理,流程审批,变更自动感知,接口采集,数据来源/存储位置,数据分类/数据主题,数据模型,数据关系(血缘、引用),元数据标签,数据管理与应用规则,数据库表,业务对象/过程数据记录,业务解释,标准化数据定义,元数据内容,元数据管理功能,治理实施模块-元数据管理,治理实施模块-数据质量管理,质量评估,质量控制前置,数据录入数据导入集成接入,不符合规则的数据不进入平台,已有数据质量评估,评估报告,脏数据明细,数据自动清洗,低分/异常预警,质量情况统计,质量规则,规则定义,权重分配,质量问题完整性唯一性准确性一致性及时性真实性相关性.,根据业务需要自定义数据质量规则,对数据进行前置质量校验以及周期性质量稽查,自动发现数据质量问题,生成质量分析报告,并进行针对性清洗和整改,解决用户明知数据质量差却不知从何下手治理的困境。
帮助企业沉淀高质量的数据资产,支撑数据价值变现。
数据存储,数据存储,导出数据时静态脱敏,访问数据时动态脱敏、三员管理、系统口令认证、数据设定密级、用户设定密级、权限控制、审计日志记录,存储数据时进行敏感数据加密,数据消费者,传输数据时进行敏感数据加密、接口授权,按照备份策略进行数据备份及恢复验证,治理实施模块-数据安全管理,治理实施模块-数据安全管理,敏感发现,敏感标签,智能扫描,敏感推荐,元数据,数据,文件,敏感信息涉密信息,密级管控,数据密级,文件密级,人员密级,数据加密,加密存储,加密传输,数据脱敏,脱敏查看,脱敏传输,密级应用,密级过滤,密级匹配,安全监控,敏感信息分布,敏感数据访问情况,敏感信息处理情况,数据权限体系(库、分类、表、列、行等全方位数据权限管控),三员管理(三员权限隔离,数据安全审计),治理实施模块-数据安全管理,治理实施模块-数据地图,显性化、全方位、多维度展现企业数据资产积累、分布和运营管理情况,包括资产大盘、元数据、数据标准、数据管理、数据质量、数据交换、数据安全等维度的监控与统计分析。
企业数据资产运营情况一望可知。
数仓实施模块-基于数仓的指标加工过程,BW,ods_sap_makt_di,ods_sap_mara_di,ods_sap_tspat_df,ods_sap_afpo_di,ods_sap_aufk_di,ods_sap_jest_di,ods_bw_zppt_werks_zrbm_df,dws_prd_finishquan_month_df,scddzx_mtrend_ds,ERP,ERP,ERPMAKT物料描述/2,889,255,ERPMARA物料主数据/2,884,915,ERPTSPAT产品组描述/29,106,JEST生产订单状态/2,144,937,805ERPAUFK生产订单主数据/21,730,430,AFPO生产订单行项目/21,721,351,dwd_prd_pp_order_del_df订单明细表,dwd_temp_mat_spart_df物料主数据表明细表,tdm_prd_API,生产订单执行情况明细表,ZPPT_WERKS_ZRBM工厂与责任部门对照表/124,886,数据源,贴源层ODS,整合明细层DWD,汇总层DWS,集市DM,应用需求生产订单执行情况,dwd_sap_afpo_df生产订单行项目dwd_org_man_dep_df工厂与责任部门对照表,月度生产订单执行情况表,通过物料关联,通过订单号关联,指标与维度,数仓实施模块-数据采集与加工,web端拖拽式、可视化的数据开发工具,摆脱数据库SQL脚本、ETL工具、EXCEL公式函数等复杂、繁琐、技术难度高、难维护的数据处理方式。
业务人员也可轻松玩转数据,激活数据价值自由探索通道。
数据源数据库,数据采集,库表接入,配套准时率,出货目标达成率,指标新增订货计划值,质量问题闭环率,数据血缘影响分析,全链分析,血缘分析,接口数据,线下数据,接口接入,线下补录,数据加工,数据输入,数据处理(连接、过滤、合并、拆分、聚合、转化、赋值等),数据输出,数据服务模块-数据资产目录,元数据管理,数据管理,文件管理,主题定义,数据目录管理,资源关联,目录自动生成,目录属性补录,数据开放共享的窗口,用户可基于资产目录进行全局数据检索访问、数据订阅以及API服务接口申请。
改变企业数据沉积在数据库底层不可见、难管理、难获取、难理解、难使用的现状,激发用户发掘数据价值的积极性和效率。
数据主题管理数据资产目录,资产检索,数据查看,数据结构查看,数据订阅,数据标签,业务系统,数据流向地图,数据服务模块-数据交换服务,BI可视化生产计划大屏,质量保障大屏,数据仓库,生产计划主题分析生产计划完成率生产计划延迟率,售后服务主题分析服务保障及时性售后服务满意度,质量保障主题分析质量合格率质量改进趋势,研发计划主题分析研发任务完成率研发改进计划执行率,数据服务,发起订阅申请,订阅审批,服务封装与授权,服务发布,服务监控,采购订单获取接口,MBOM接口,库存台账接口,物资采购订单接口,设备采购单接口,设备检验台账接口,生产计划完成率指标接口,采购及时率指标接口,产品质量合格率指标接口,质量改进趋势指标接口,售后服务满意度指标接口,客户投诉统计指标接口,接口,ERP,设备管理系统,系统,调用接口获取数据,数据服务模块-数据服务,数据分析应用模块-数据可视化,企业报告,DM(高度汇总层),人资分析主题,物资分析库,ETLDWD(明细层),DWS(轻度汇总层)ETL,人资主题,生产主题,物资主题,人资主题,生产主题,物资主题,生产分析主题,领导驾驶舱,主题分析,明细报表,数据分析应用模块-数据可视化,从数据源添加数据,数据预处理,场景发布,场景实现,数据分析应用模块-数据挖掘分析,数据处理,分析成果,户,业务应用,随机抽样,缺失值处理,表转置,异常值检测,机器学习,统计分析,文本分析,深度分析,多维分析,可视化分析,数据分析,事,模型型仓库,经营管理,领导驾驶舱专题分析专项问题分析业务实时监测,科研生产,产品性能优化工艺改进质量改进产能提升,运维服务,预防性维修远程运维设备寿命预测,实时数据接入,数据仓库DM(高度汇总层),DWS(轻度汇总层),DWD(明细层),人资分析主题,安全库存专题,ETL,ETL,人资生产物资主题主题主题,生产分析主题,人资生产物资主题主题主题,数据分析应用模块-数据挖掘分析,决策树SVM,随机森林自动分类,分类算法回归算法,线性回归神经网络,保序回归自动回归,聚类算法,视觉聚类自动聚类,关联规则,Apriori,FPGrowth,序列,协同过滤,时间序列,ARIMA,X12,指数平滑自动时序,文本分析,KMeans层次聚类统计分析,深度学习,集成学习文本算法,综合评价算法类型,实施服务,买软件?
认为建设数据中台就是买一套软件产品。
数据治理与数据中台是两件事?
数据中台建设也包括数据治理开展。
中台=数字化?
认为建设数据中台就具备了数字化转型的能力,什么能力并不明确。
名词陷阱数据中台?
数据湖?
数据中心?
数据仓库?
数据中台建设遇到的典型误区,数据中台建设建议,坚持“业务牵引,咨询、平台、实施三位一体推进”原则以满足相关业务应用需求为目标总体规划按需搭建平台基于平台敏捷实施遵循“横向规划,纵向切入”建设模式规划必须全盘考虑,打通企业的所有业务板块数据中台建设不可能一蹴而就,需要从业务应用出发倒推数据需求围绕单个业务场景的闭环快速搭建起数据中台的各种能力按照全景规划依次迭代,逐步实现全局数据中台,#数据治理体系公众号推荐,