datawarehouse数据仓库培训.ppt

1、数据仓库系统架构,陈冬,主要内容,数据仓库的概念,数据仓库系统架构,数据仓库在盛大的应用,1.1 数据仓库的定义,1.2.1 数据仓库的特征-面向主题,1.2.2 数据仓库的特征-集成,1.2.3 数据仓库的特征-相对稳定,1.2.4 数据仓库的特征-反映历史变化,1.3 OLTP数据库与数据仓库的对比,2.1 数据仓库的架构,2.2.1 ETL过程介绍,2.2.2 ETL实现的功能,功能数据来源的访问ExpressionAggregation or SummarizationJoin or Lookup对目标的更新流程调度和定时任务,2.3 数据仓库的架构-ODS,2.3.1 ODS 介绍,

2、定义是操作型系统中的集成,用于当前，历史以及其它细节查询(业务系统的一部分)为决策支持提供当前细节数据(数据仓库的一部分)作用在业务系统和数据仓库之间形成一个隔离层 转移一部分业务系统细节查询的功能 完成数据仓库中不能完成的一些功能,2.4 数据仓库的架构-元数据,2.4.1 元数据描述,定义是描述数据仓库内数据的结构和建立方法的数据内容数据结构：数据集的名称、关系、字段、约束等 数据部署：数据集的物理位置数据流：数据集之间的流程依赖关系质量度量：数据集上可以计算的度量度量逻辑关系：数据集度量之间的逻辑运算关系ETL过程：过程运行的顺序数据模型元数据：事实表、维度、属性、层次报表语义层：报表指

3、标的规则、过滤条件、物理名称和业务名称的对应数据访问日志：哪些数据何时被何人访问数据装载日志：那些数据何时被何人装载,2.5 数据仓库的架构-数据集市,2.5.1 数据集市-定义,DM数据集市(Data Mart)有特定应用，面向部门，由业务部门定义设计、管理维护，它是数据仓库的一个子集。,2.5.2 数据集市-维度，层次，事实数据,维（Dimension）：观察的角度时间维地域维玩家类型维层（Layer）：观察的深度，与维相关，即维的粒度时间维：年，月，周，日地域维：国家，省，市玩家类型维：黄金会员，钻石会员，白金会员事实（Fact）/量值（Measure）消耗人数消耗金额,2.5.3 数据

4、集市-星型模型,Day_idPopt_idItem_idArea_idConsume_priceConsume_num,玩家消耗事实表,2.5.4 数据集市-雪花型模型,Day_idPopt_idItem_idArea_idConsume_priceConsume_num,玩家消耗事实表,2.6 数据仓库的架构-OLAP,2.6.1 OLAP-定义,OLAP联机分析处理OLAP（On-Line Analytical Processing）使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对

5、数据的更深入了解的一类软件技术,2.6.2 OLAP-多维模型,23,上海,08,时间:月,05,06,07,钻石,08,2008-08钻石会员在上海的消耗数据,2.6 数据仓库的架构-BI,2.6.1 什么是BI,商业智能(Business Intelligence)将企业中现有的数据转换为信息、知识，帮助企业做出业务经营决策的工具,2.6.2 常用数据分析方法,2.6.3 数据挖掘的应用,分类客户流失预测个人信用评分聚类客户细分关联规则交叉销售预测股票价值预测,3.1 数据仓库在盛大的应用,3.1 数据仓库提供的服务,数据查询服务数据访问接口数据分析服务数据挖掘与数据模型BO 报表服务BDAP 业务数据分析服务,3.2 业务数据分析平台,BDAP业务数据分析平台，包括即时查询，实时报警，数据分析，智能点评等功能。,3.3 业务数据分析平台-示例,业务概念,核心数据展示条件,核心数据的分解展示，弹出页面,业务概念相关核心数据展示,3.4 BO应用,3.5 其他典型应用,Thank You!,