商务智能总结.docx
《商务智能总结.docx》由会员分享，可在线阅读，更多相关《商务智能总结.docx（21页珍藏版）》请在冰点文库上搜索。
商务智能总结
作答条款必然清楚，论述详细。
不然扣分（条款只占一半得分）
1.数据仓库的大特点？
面向主题的，集成的，相对稳固的，反映历史转变的。
2.数据仓库的四个层次体系结构？
数据源是数据仓库系统的基础，是整个系统的数据源泉。
通常包括企业内部信息和外部信息。
内部信息包括寄存于中的各类业务处置数据和各类文档数据。
外部信息包括各类法律法规、市场信息和竞争对手的信息等等；
数据的存储与治理是整个数据仓库系统的核心。
数据仓库的真正关键是数据的存储和治理。
数据仓库的组织治理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。
要决定采纳什么产品和技术来成立数据仓库的核心，那么需要从数据仓库的技术特点着手分析。
针对现有各业务系统的数据，进行抽取、清理，并有效集成，依照主题进行组织。
数据仓库依照数据的覆盖范围能够分为企业级数据仓库和部门级数据仓库（通常称为数据集市）
OLAP效劳器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发觉趋势。
其具体实现能够分为：
ROLAP（关系型在线分析处置）、MOLAP（多维在线分析处置）和HOLAP（混合型线上分析处置）。
ROLAP大体数据和聚合数据均寄存在RDBMS当中；MOLAP大体数据和聚合数据均寄存于多维数据库中；HOLAP大体数据寄存于RDBMS当中，聚合数据寄存于多维数据库中。
前端工具要紧包括各类报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各类基于数据仓库或数据集市的应用开发工具。
其中数据分析工具要紧针对OLAP效劳器，报表工具、数据挖掘工具要紧针对数据仓库。
3.描述一下联机分析处置OLAP（维的概念，大体多维操作，层次结构与OLTP的区别）
OLAP（联机分析处置On-LineAnalyticalProcessing）也叫多维DBMS
OLAP是数据仓库系统的要紧应用，支持复杂的分析操作，偏重决策支持，而且提供直观易懂的查询结果。
OLAP的目标是知足决策支持或知足在多维环境下特定的查询和报表需求..它的技术核心是维那个概念。
“维”是人们观看客观世界的角度,是一种高层次的类型划分。
“维”一样包括着层次关系
这种层次关系有时会相当复杂。
通过把一个实体的多项重要的属性概念为多个维，利用户能对不同维上的数据进行比较。
因此OLAP也能够说是多维数据分析工具的集合。
也叫做多维数据集。
一样一个多维数据集能够用一个立方体的方式进行描述。
多维数据集是联机分析处置中的要紧对象，是一项可对数据仓库中的数据进行快速访问的技术。
多维数据集是一个数据集合，通常从数据仓库的子集构造，并组织和汇总成一个由一组维度和气宇值概念的多维结构。
每一个多维数据集都有一个架构，架构是数据仓库中已联接的各表的集合，多维数据集从数据仓库提取其源数据。
架构中的核心表是事实数据表，事实数据表是多维数据集气宇值的源。
OLAP的大体多维分析操作有钻取（rollup和drilldown）、切片（slice）和切块（dice）、和旋转（pivot）、drillthrough等。
·钻取是改变维的层次，变换分析的粒度。
它包括向上钻取（rollup）和向下钻取（drilldown）。
rollup是在某一维上将低层次的细节数据归纳到高层次的汇总数据，或减少维数；而drilldown,那么相反，它从汇总数据深切到细节数据进行观看或增加新维。
·切片和切块是在一部份,维上选定值后，关切气宇数据在剩余维上的散布。
若是剩余的维只有两个，那么是切片；若是有三个，那么是切块。
·旋转是变换维的方向，即在表格中从头安排维的放置（例如行列互换）。
4.多维数据集什么缘故显示有些表即是事实表又是维度表？
退化维度。
5.描述一下粒度？
维度？
Cube
粒度反映了数据仓库依照不同的层次组织数据，依照不同的查询需要，存储不同细节的数据。
在数据仓库中，粒度越小，数据越细，查询范围就越普遍。
相反，粒度级别越高，表示细节程度越低，查询范围越小。
6.描述一下ODS，统一数据视图
运营数据存储（Theoperationaldatastore,ODS）或称操作型数据存储是一个面向主题的、集成的、当前的而且是可挥发的数据集合，它反映了在某一个时刻切片刹时，经营分析系统和外围系统用以彼此互换数据的集合，要紧用于经营分析系统与外围系统关键数据一致性校验、和经营分析系统对其它外围系统的决策支持数据的回馈，回馈数据包括以客户扩展属性为主体的详细资料等。
运营数据存储扮演的是用于数据稽核与交互的角色。
ODS的存储结构是以企业范围所有相关业务系统的数据，以全面、统一进行关系型实体来表现的，ODS中的数据是基于分析主题进行组织，而不是基于业务系统的功能进行组织。
ODS只是存储了当前的数据且数据是“挥发”性的，因此其数据的刷新是专门快，过时的数据将要被挥发掉。
因此ODS的存储量取决于业务接口数据的抽取与刷新频率，取决于企业的效劳客户的数量。
从的作用和实现来讲，将各个孤立的业务系统的运营数据集成起来，现成全企业的统一数据视图，同时可实现ODS的数据共享。
7.描述一下企业信息工厂
数据仓库领域里，有一种构建数据仓库的架构，叫CorporateInformationFactory，中文一样翻译为“企业信息工厂”。
企业信息工厂的开创人是数据仓库之父Inmon。
企业信息工厂要紧包括集成转换层（I&T）、操作数据存储（ODS）、数据仓库（EDW）、数据集市（DM）、探讨仓库（EW）等部件。
这些部件有机的结合在一路，为企业提供信息效劳。
集成转换层的目的是以后自操作型源系统的数据集成转换到数据仓库中，它通常由一组程序组成，而其它部件如数据仓库和数据集市等那么要紧由数据组成。
当业务数据来源多，业务复杂时，集成转换层会成立一些临时表，为数据处置提供方便。
这时，集成转换层包括程序和数据，也称数据预备区（DataStagingArea）。
通常中等规模及以上的数据仓库系统都会成立数据预备区。
操作数据存储（ ODS）是成立在数据预备区和数据仓库之间的一个部件。
用来知足企业集成的、综合的操作型处置需要。
例如，出尽可能实时的集成的操作报表等需求。
一样，也称操作数据存储是用来知足企业战术决策的需要。
操作数据存储是个可选的部件。
数据仓库是企业信息工厂的核心部件，用来保留整个企业的数据。
一样，也称数据仓库是用来知足企业战略决策的需要。
数据仓库的数据来自数据预备区和操作数据存储。
数据集市是为了知足企业特定部门的分析需求而专门成立的数据的集合。
数据集市的数据来源是数据仓库。
企业信息工厂中的数据集市一样来讲是非标准化的、定制的和汇总的。
而多维体系架构中的数据集市分为两种，别离是原子数据集市和聚集数据集市。
一样来讲，企业信息工厂中的数据集市相当于多维体系架构中的聚集数据集市。
8.数据是数据集市？
数据集市中的数据具有数据仓库中数据的特点，只只是数据集市专为某一部门或某个特定商业需求定制，而不是依照数据容量命名。
数据集市面向部门、业务单元或特定应用，因此规模较小，便于快速实现，且本钱较低，短时间内即可取得明显成效。
数据集市的应用不仅知足了部门的数据处置需求，而且作为数据仓库的子集有助于构建完整的企业级数据仓库。
9.元数据的概念，元数据治理，元数据的作用
数据仓库的元数据是关于数据仓库中数据的数据。
它的作用类似于数据库治理系统的数据字典，保留了逻辑数据结构、文件、地址和索引等信息。
广义上讲，在数据仓库中，元数据描述了数据仓库内数据的结构和成立方式的数据。
元数据是数据仓库治理系统的重要组成部份，元数据治理器是企业级数据仓库中的关键组件，贯穿数据仓库构建的整个进程，直接阻碍着数据仓库的构建、利用和保护。
（1）构建数据仓库的要紧步骤之一是ETL。
这时元数据将发挥重要的作用，它概念了源数据系统到数据仓库的映射、数据转换的规那么、数据仓库的逻辑结构、数据更新的规那么、数据导入历史记录和装载周期等相关内容。
数据抽取和转换的专家和数据仓库治理员正是通过元数据高效地构建数据仓库。
（2）用户在利用数据仓库时，通过元数据访问数据，明确数据项的含义和定制报表。
（3）数据仓库的规模及其复杂性离不开正确的元数据治理，包括增加或移除外部数据源，改变数据清洗方式，操纵犯错的查询和安排备份等。
元数据可分为技术元数据和业务元数据。
技术元数据为开发和治理数据仓库的人员利用，它描述了与数据仓库开发、治理和保护相关的数据，包括数据源信息、数据转换描述、数据仓库模型、数据清洗与更新规那么、数据映射和访问权限等。
而业务元数据为治理层和业务分析人员效劳，从业务角度描述数据，包括商务术语、数据仓库中有什么数据、数据的位置和数据的可用性等，帮忙业务人员更好地明白得数据仓库中哪些数据是可用的和如何利用。
在数据仓库中，元数据的要紧作用如下。
（1）描述哪些数据在数据仓库中，帮忙决策分析者对数据仓库的内容定位。
（2）概念数据进入数据仓库的方式，作为数据汇总、映射和清洗的指南。
（3）记录业务事件发生而随之进行的数据抽取工作时刻安排。
（4）记录并检测系统数据一致性的要求和执行情形。
（5）评估数据质量。
10.什么是主数据主数据治理？
和元数据有什么区别？
主数据治理和传统数据仓库的区别？
主数据是指在整个企业范围内各个系统操作事务型应用系统和分析型系统间要共享的数据，比如，能够是与客户,供给商,帐户（accounts）和组织单位（organizationalunits）
相关的数据。
主数据通常需要在整个企业范围内维持一致性（consistent）、完整性（complete）、可控性（controlled），为了达到这一目标，就需要进行主数据治理（MasterData.主数据不是企业内所有的业务数据，只是有必要在各个系统间共享的数据才是主数据，比如大部份的交易数据、帐单数据等都不是主数据，而像描述核心业务实体的数据，而像客户、供给商、帐户、组织单位、员工、合作伙伴、位置信息等都是主数据。
主数据是企业内能够跨业务重复利用的高价值的数据。
主数据治理（MasterDataManagement，MDM）是指一组约束和方式用来保证一个企业内主题域和系统内相关数据和跨主题域和系统的相关数据的实时性、含义和质量。
这是从深层次来讲来讲明主数据治理（MDM）的深度和复杂性，简单的说，主数据治理（MDM）保证你的系统和谐和重用通用、正确的业务数据（主数据）通常，咱们会把主数据治理作为应用流程的补充，通过从各个操作事务型应用和分析型应用中分离出要紧的信息，使其成为一个集中的、独立于企业中各类其他应用核心资源，从而使得企业的核心信息得以重用并确保各个操作事务型应用和分析型应用间的核心数据的一致性。
通过主数据治理，改变企业数据利用的现状，从而更好地为企业信息集成做好铺垫。
主数据治理（MDM）能够帮忙咱们创建并保护整个企业内主数据的单一视图（SingleView），保证单一视图的准确性、一致性和完整性，从而提供数据质量，统一商业实体的概念，简化改良商业流程并提供业务的响应速度。
从转变的频率来看，主数据和日常交易数据不一样，转变相对缓慢，另外，主数据由于跨各个系统，因此对数据的一致性、实时性和版本操纵要求很高。
主数据（MasterData）和元数据（MetaData）是两个完全不同的概念。
元数据是指表示数据的相关信息，比如数据概念等，而主数据是指实例数据，比如产品目录信息等
主数据治理和传统数据仓库解决方案不是一个概念，数据仓库会将各个业务系统的数据集中在一路在进行业务的分析，而主数据治理系统可不能把所有数据都治理起来，只是把需要在各个系统间共享的主数据进行搜集和发布。
相关于传统数据仓库解决方案的单向集成，主数据治理正注重将主数据的转变同步发布到各个关联的业务系统中（主数据治理数据是双向的）
11.数据库及数据仓库模型设计的三个要紧步骤
概念数据模型（conceptualdatamodel）概念数据模型设计与逻辑数据模型设计、物理数据模型设计是数据库及数据仓库模型设计的三个要紧步骤；概念数据模型是最终用户对数据存储的观点，反映了最终用户综合性的信息需求，它以数据类的方式描述企业级的数据需求，数据类代表了在业务环境中自然聚集成的几个要紧类别数据。
概念数据模型的内容包括重要的实体及实体之间的关系。
在概念数据模型中不包括实体的属性，也不用概念实体的主键。
这是概念数据模型和逻辑数据模型的要紧区别。
概念数据模型的目标是统一业务概念，作为业务人员和技术人员之间沟通的桥梁，确信不同实体之间的最高层次的关系。
在有些数据模型的设计进程中，概念数据模型是和逻辑数据模型合在一路进行设计的。
逻辑数据模型logicaldatamodel）逻辑数据模型反映的是系统分析设计人员对数据存储的观点，是对概念数据模型进一步的分解和细化。
逻辑数据模型是依照业务规那么确信的，关于业务对象、业务对象的数据项及业务对象之间关系的大体蓝图。
逻辑数据模型的内容包括所有的实体和关系，确信每一个实体的属性，概念每一个实体的主键，指定实体的外键，需要进行范式化处置。
逻辑数据模型的目标是尽可能详细的描述数据，但并非考虑数据在物理上如何来实现。
逻辑数据建模不仅会阻碍数据库设计的方向，还间接阻碍最终数据库的性能和治理。
若是在实现逻辑数据模型时投入得足够多，那么在物理数据模型设计时就能够够有许多可供选择的方式。
物理数据模型（physicaldatamodel）
物理数据模型设计与概念数据模型设计、逻辑数据模型设计是数据库及数据仓库模型设计的三个要紧步骤。
物理数据模型是在逻辑数据模型的基础上，考虑各类具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的寄存。
物理数据模型的内容包括确信所有的表和列，
概念外键用于确信表之间的关系，基于用户的需求可能进行发范式化等内容。
在物理实现上的考虑，可能会致使物理数据模型和逻辑数据模型有较大的不同。
物理数据模型的目标是指定如何用数据库模式来实现逻辑数据模型，和真正的保留数据。
12.什么是多值维度，怎么处置多值维度？
在维度建模的数据仓库中，有一种维度表叫多值维度（multivalue）多值维度有两种情形，第一种情形是指维度表中的某个属性字段同时有多个值第二种情形是事实表在某个维度表中有多条对应记录。
处置多值维度最好的方法是降低事实表的粒度。
可是有些时候，事实表的粒度是不能降低的，多值维度的显现是无法幸免的。
这时，能够采纳桥接表技术进行处置。
在维度表属性间成立桥接表。
那个桥接表能够解决维度属性之间的多对多关系，也解决掉的维度表的多值维度问题。
总之，多值维度是应该尽可能幸免的，它给数据处置带来了专门大的麻烦。
若是多值维度不能幸免的话，应该成立桥接表来进行处置。
13.什么是缓慢转变维？
怎么处置缓慢转变维？
缓慢转变维（SlowlyChangingDimensions，SCD）。
缓慢转变维的提出是因为在现实世界中，维度的属性并非是静态的，它会随着时刻的流失发生缓慢的转变。
这种随时刻发生转变的维度咱们一样称之为缓慢转变维，而且把处置维度表的历史转变信息的问题称为处置缓慢转变维的问题，有时也简称为处置SCD的问题。
处置缓慢转变维的方式通常分为三种方式。
第一种方式是直接覆盖原值。
如此处置，最容易实现，可是没有保留历史数据，无法分析历史转变信息。
第二种方式是添加维度行。
如此处置，需要代理键的支持。
实现方式是当有维度属性发生转变时，生成一条新的维度记录，主键是新分派的代理键，通过自然键能够和原维度记录维持关联。
第三种方式是添加属性列。
这种处置的实现方式是关于需要分析历史信息的属性添加一列，来记录该属性转变前的值，而本属性字段利用TYPE1来直接覆盖。
这种方式的优势是能够同时分析当前及前一次转变的属性值，缺点是只保留了最后一次转变信息在实际建模中，咱们能够联合利用三种方式，也能够对一个维度表中的不同属性利用不同的方式，这些，都需要依如实际情形来决定，但目的都是一样的，确实是能够支持方便的分析历史转变情形。
14.目前有两种比较通用的数据仓库建模方式
一种是维度建模，另一种是三范式建模。
15数据仓库的两种架构和各自特点
星形架构（聚合速度快，占有存储空间小）
雪花型架构的特点（节省存储空间，必然程序上的范式，聚合速度慢）
16.如何处置海量数据的处置
选用优秀的数据库工具
编写优良的程序代码
分区操作
成立普遍的索引
成立缓存机制
加大虚拟内存
对数据进行分批次操作
利用临时表和中间表
优化SQL查询语句
利用文本格式进行处置
定制壮大的清洗规那么和犯错处置机制
成立视力或物化视图
幸免利用32位机考虑操作系统问题
利用数据仓库和多维数据库存储
利用采样数据进行数据挖掘
的几种存储方式？
MOLAP，ROLAP,HOLAP
18.举例几种挖掘算法？
决策树，聚类，时刻序列，贝叶斯，逻辑回归，神经网络，关联，线性回归，序列聚类等
19.数据仓库治理系统由哪几部份组成
（一）
（1）元数据库及元数据治理部件：
元数据库用来存储由概念部件生成的关于源数据、目标数据、提取规那么、转换规那么和源数据与数据仓库之间的映射信息等。
（2）数据转换部件：
该部件把数据从源数据中提掏出来，依概念部件的规那么将不同数据格式的源数据转换成数据仓库的数据格式并装载进数据仓库。
（3）数据集成部件：
该部件依照概念部件的规那么、统一各源数据的编码规那么，并净化数据，依照元数据中概念的数据组织形式对数据进行汇总、聚合计算。
（4）数据仓库治理部件：
它要紧用于保护数据仓库中的数据，备份、恢复数据和治理数据的平安权限问
（二）数据仓库前端工具集
（1）查询/报表工具：
以图形化方式和报表方式显示数据，帮忙了解数据的结构、关系和动态性。
（2）OLAP工具：
通过对信息的多种可能的观看形式进行快速、一致和交互性的存取，便于用户对数据进行深切的分析和观看。
（3）数据挖掘工具：
从大量数据中挖掘出具有规律性的知识，和数据之间的内在联系。
前端开发工具：
提供用户编程接口，便于在现有系统的基础上进行二次开发，增强系统的伸缩性。
（三）数据仓库：
在数据仓库系统中，数据仓库是一个数据存储集合，它的存储形式通常有多维数据库，关系型数据库及其他存储方式。
20.谈谈你对数据集市明白得
①数据仓库是企业级的，能为整个企业各部门的运行提供决策支持手腕。
而数据集市数据集市数据集市数据集市（DataMart）是部门级别的，一样只能为某个局部范围内的治理人员效劳，也称为部门级的数据仓库。
②数据集市能够分为两种类型两种类型两种类型两种类型：
独立型数据集市独立型数据集市独立型数据集市独立型数据集市，它直接从操作型环境获取数据。
为知足特定用户（一样是部门级别的）的需求而成立的一种分析型环境，它能够快速地解决某些具体的问题，而且投资规模也比数据仓库小很多。
多个独立的数据集市的积存，是不能形成一个企业级的数据仓库的。
从属型数据集市从属型数据集市从属型数据集市从属型数据集市，它从企业级数据仓库获取数据。
③若是企业最终想建设一个全企业统一的数据仓库，想要以整个企业的视图分析数据，独立型数据集市恐怕不是适合的选择；也确实是说“先独立地构建数据集市，当数据集市达到必然的规模再直接转换为数据仓库”是不适合的。
从久远的角度看，从属型数据集市在体系结构上比独立型数据集市更稳固，能够说是数据集市以后建设的要紧方向。
21.联机事务处置与在线分析处置各有什么特点
事务型处置：
：
：
：
即操作型处置，是指对数据库的联机操作处置OLTP。
事务型处置是用来协助企业对响应事件或事务的日常商务活动进行处置。
它是事件驱动、面向应用的，一般是对一个或一组记录的增、删、改和简单查询等（大量、简单、重复和例行性）。
在事务型处置环境中，数据库要求能支持日常事务中的大量事务，用户对数据的存取操作频率高而每次操作处置的时刻短。
分析型处置：
：
：
：
用于治理人员的决策分析，例如DSS、EIS和多维分析等。
它帮忙决策者分析数据以观察趋向、判定问题。
分析型处置常常要访问大量的历史数据，支持复杂的查询。
分析型处置进程中常经常使用到外部数据，这部份数据不是由事务型处置系统产生的，而是来自于其他外部数据源。
22.数据
粒度是指DW的数据单位中保留数据的细化或综合程度的级别。
细化程度越高，粒度级越小；细化程度越低，粒度级就越大。
粒度是DW设计的要紧问题，深深阻碍寄存在DW中的数据量的大小，同时阻碍DW所能回答的查询类型。
高/低粒度级的区别和平稳低粒度级的区别和平稳低粒度级的区别和平稳低粒度级的区别和平稳
假设DW空间有限，用高粒度级表示数据效率会比较高，高粒度级不仅只需要少得多的字节寄存数据，而且只需要较少的索引项。
在低粒度级上回答查询的能力比高粒度强，因为在高粒度级上细节已消失，只有综合数据。
在DSS处置时，很少对单个事件进行检查。
一般是针对某种数据集合进行处置的，意味着要查阅大量记录
23.商务智能系统的开发进程。
a在计划时期，要紧目标是选择要实施商务智能的业务部门或业务领域，从而解决企业的关键业务决策问题，识别利用商务智能系统的人员和相应的信息需求，计划项目的时刻、本钱、资源的利用。
了解每一个业务部门或业务领域的需求，搜集他们当前急需解决的问题
b分析时期，针对在计划时期最终选择要实现商务智能的业务部门或业务领域，
进行详细的需求分析
搜集需要的各类数据，
选择需要的商务智能支撑技术，如数据仓库、在线分析数据或数据挖掘等
C设计时期
若是要创建数据仓库，那么进行数据仓库的模型设计，经常使用的是多维数据模型。
数据集市能够从数据仓库中抽取数据进行构建
在不构建数据仓库的情形下，也能够直接为某个业务部门设计和实现数据集市。
若是要实现OLAP解决问题，那么要设计多维分析的聚集操作类型。
若是要借助数据挖掘技术，那么需要选择具体的算法
d实现时期，选择ETL工具实现源数据的抽取，构建数据仓库和（或）数据集市。
对数据仓库或数据集市的数据，选取并应用相应的查询或分析工具，包括增强型的查询、报表工具、在线分析处置工具、数据挖掘系统和企业绩效治理工具等
在具体应用该系统之前，需要完成对系统的数据加载和应用测试，设计系统的访问操纵和平安治理方式。
商务智能是企业利用现代信息技术搜集、治理和分析结构化和非结构化的商务数据和信息，制造和累计商务知识和观点，改善商务决策水平，采取有效的商务行动，完善各类商务流程，提升各方面商务绩效，增强综合竞争力的聪慧和能力
数据仓库治理系统：
⏹元数据库及元数据治理部件：
元数据库用来存储由概念部件生成的关于源数据、目标数据、提取规那么、转换规那么和源数据与数据仓库之间的映射信息等。
⏹数据转换部件：
该部件把数据从源数据中提掏出来，依概念部件的规那么将不同数据格式的源数据转换成数据仓库的数据格式并装载进数据仓库。
⏹数据集成部件：
该部件依照概念部件的规那么、统一各源数据的编码规那么，并净化数据，依照元数据中概念的数据组织形式对数据进行汇总、聚合计算。
⏹数据仓库治理部件：
它要紧用于保护数据仓库中的数据，备份、恢复数据以及治理数据的平安权限问题
升级会员 