第3章数据仓库设计.pptx

第3章数据仓库设计.pptx

《第3章数据仓库设计.pptx》由会员分享，可在线阅读，更多相关《第3章数据仓库设计.pptx（40页珍藏版）》请在冰点文库上搜索。

第3章数据仓库设计,3l数据仓库中数据模型概述,311数据模型的概念,图3-2数据模型关系,312数据仓库模型构建的原则,1满足不同用户的需求2兼顾效率与数据粒度的需要3支持需求的变化4避免对业务运营系统造成影响5考虑未来的可扩展性,313企业数据模型,图3-3分层数据模型,32概念模型设计,32l企业模型的建立1E-R模型的概念模型设计过程图3-4E-R模型的概念模型设计过程,对主题的选择进行调整,2E-R模型设计中的一些说明

（1）模糊性：

无法表述数据仓库中各数据间的关系，比如：

分析数据，描述数据和细节数据间的关系；

（2）静态性：

时间参数的存在及作用无法体现；（3）局限性：

无法揭示数据仓库中数据的导出关系。

为了规避这些不足，在E-R图法中，实体被分为事实实体（FactEntity），维度实体（DimensionEntity）,引用实体（QuotationEntity）,用图3-5中的图形分别表示:

322数据模型的规范,表3-1数据仓库数据与普通数据库系统数据的对比,323常见的概念模型,1.星形模型,2.雪花模型,3.事实星座模型,这种模型用于更为复杂的情况。

它的中心不只一个中心，而是由多个中心组成，即存在多个事实表，而每个事实表拥有自己的一组维度表，这些维度表又有可能共享一个事实表，形成一个交叉，复杂的关系网络。

但是这种模型在实践中运用较少。

33逻辑模型设计,33l概念模型到逻辑数据模型的转换,下面我们以这个例子为基础来介绍一下概念模型是如何向星形模型转化的。

首先，我们了解一下星形模型的设计步骤：

1确定决策需求分析2从需求中识别出事实3确定维4确定数据汇总的水平5设计事实表和维度表6检验设计方案的有效性（DBMS和分析用户工具）7设计方案随需求变化而改动,332数据表的规范化与分割,前面我们已经介绍过了什么是依赖，下面把数据表规范化过程简单归纳如下：

除去函数依赖的数据表中的无关的列；移动可以由某些函数依赖推导出的函数依赖；按相同的决定因素重排函数依赖；对每个函数依赖组，用决定因素作为主关键字造表；合并包含其他表的所有列：

选择其中一个独立表的主关键字作为合并后表的主关键字；给不作为新表的主关键字的其他主关键字定义唯,333维度表的设计,维度表的设计是对事实表的进一步细化。

它也要根据逻辑模型来设计。

每个事实表都需要大量的数据来对其属性和细节进行详细说明，而维度表就是将这些详细说明的数据按其逻辑关系存放的工具。

一个维度表拥有很多属性，这些属性可以是文字，离散值和有规定的限制，在分析过程中可以作为信息的行标题。

需要注意的是，在设计事实表和维度表之间的关系时，尽量让维度表中的数据直接参考事实表中的数据，而不是通过其他维度表间接参考事实表。

这样，可以最小化表之间的连接数量，减少系统CPU和I/O通道及存储设备的负担。

334事实表的设计,事实表是星形模型的核心。

它一般包含两部分：

键和详细指标。

其中，键又分为主键和外键，它们将各维表组织起来，共同满足用户的查询需求，而详细指标则是记录在事实表中的具体数据，供查询使用。

335数据集市设计,从属型数据集市结构如图3-19所示,33物理模型设计,定义数据存储结构,索引策略,数据存储策略,物理模型设计过程中，要注意考虑数据存储。

因为，数据仓库不要求把同一主题的数据放在同一介质上，所以我们可以根据数据的重要程度，使用频率和响应时间来存放数据，一般而言，将那些重要程度高，使用频率高和响应时间要求高的数据存放在高速存储设备上，比如：

硬盘，而其它的数据则可以放在低速存储设备上，比如磁盘等。

存储分配优化,1设定正确的块大小2设置适当的块使用参数3数据迁移管理4块使用管理5解决动态扩展6采用文件分带技术,数据加载设计,数据仓库要求的一个重要技术就是能高效地载入数据。

有两种方式：

通过一个语言接口一次载入一条记录或使用一种工具全体批量地装入。

注意，在装载数据时，索引也必须随之装入。

若数据装载的容量负荷太大的情况下，可以采用并行装载。

它将数据分为几个工作流，这样所需时间就大大降低。

此外，还有一种高效装载方法是在装载前先对数据进行缓冲处理。

这种方法一般在数据量大且复杂程度高的情况下使用。

物理模型的设计对数据仓库性能的影响,在物理模型的设计阶段，同时也要考虑数据仓库性能。

为了兼顾数据仓库性能，我们在这个阶段应从以下几个方面入手：

合理控制数据规范化程度，主要方法有：

表的归并，允许数据冗余；存储策略，主要有：

服务器的数据分散存储，磁盘级的存储优化；RAID技术；科学的索引方法，主要有B-TREE索引，位图索引等；合理控制数据粒度；合理的数据。

34元数据模型,为了让读者能更准确的了解什么是元数据，我们用下例进行说明，它定义了数据仓库中的一个表，如表3-3所示。

表3-3元数据举例,34l元数据的类型,按照不同的依据对元数据分类各不相同，可有以下的分类依据：

元数据描述的内容用户的角度元数据在数据仓库中承担的任务数据仓库功能区域划分,342元数据的作用,1元数据在数据求精，开发，重构中的作用

（1）描述业务规则与数据之间的映射。

（2）数据分割。

（3）概括与聚集。

（4）提高系统灵活性。

（5）定义标准处理的规则。

（6）预算与推倒。

（7）转换与再映射。

2元数据在数据抽取，转换中的作用

（1）确定数据来源。

（3）实现属性间的映射与转换。

（2）保证数据仓库中内容的质量。

343元数据的收集与维护,1元数据的收集

（1）来源于源系统,

（2）来源于抽取的数据,（3）来源于转换和清理的数据,（4）来源于装载的数据,（5）来源于存储的数据,（6）来源于信息传递,2元数据的维护

（1）元数据的存储

（2）元数据的管理（3）元数据的维护,344元数据的使用,数据仓库对元数据的使用主要体现在两个方面：

第一，因为元数据对数据仓库中数据的内容和出处进行了详细说明，所以，用户可以根据主题利用元数据来查看数据仓库的内容；第二，因为元数据提供了可重复利用的查询语言信息，所以，如果这些查询中的一个或几个能满足用户的需求，或与用户需求相近，用户就可以直接使用元数据中的查询，而不用重新编写程序。

35数据仓库的粒度模型,35l粒度的划分所谓粒度是指数据仓库中数据单元的详细程度和级别。

在数据仓库环境中主要是分析型处理，粒度的划分将直接影响数据仓库中的数据量以及所适合的查询类型。

一般需要将数据划分为：

详细数据、轻度综合、高度综合三级或更多级粒度。

不同粒度级别的数据用于不同类型的分析处理。

粒度的划分是数据仓库设计工作的一项重要内容，粒度划分是否适当是影响数据仓库性能的一个重要方面。

352粒度级别的确定,在数据仓库中确定粒度的级别时，需要考虑这样一些因素：

要接受的分析类型、可接受的数据最低粒度和能存储的数据量。

粒度级别的确定是需要一点常识和直觉的。

因为在很低的细节级上建立数据仓库没有意义，在很高的粒度级上建立数据仓库，会使很多数据溢出存储器。

因此，确定粒度级别要做两件事。

第二，对需要从数据仓库获取数据的不同体系结构实体需求进行预测。

第一，合理的推测。

习题,1什么是元数据模型？

2数据仓库可划分为哪三个层次的数据模型？

3阐述星形模型、雪花模型、事实星座模型的概念。

4简述从概念模型到逻辑数据模型的转换过程。

5什么是数据表的规范化？

6简述事实表的设计。

7数据加载有哪两种方式？

8按元数据描述的内容分可以分为哪几类？

9什么是静态元数据？

什么是动态元数据？

10如何确定粒度级别？