大数据挖掘课后地训练题目答案详解Word下载.docx
《大数据挖掘课后地训练题目答案详解Word下载.docx》由会员分享，可在线阅读，更多相关《大数据挖掘课后地训练题目答案详解Word下载.docx（23页珍藏版）》请在冰点文库上搜索。
（也被称为超规则）能被用来指导发现过程。
�背景知识：
这种原语允许用户指定已有的关于挖掘领域的知识。
这样的知识能被用来指导知识发现过程，并且评估发现的模式。
关于数据中关系的概念分层和用户信念是背景知识的形式。
�模式兴趣度度量：
这种原语允许用户指定功能，用于从知识中分割不感兴趣的模式，并且被用来指导挖掘过程，也可评估发现的模式。
这样就允许用户限制在挖掘过程返回的不感兴趣的模式的数量，因为一种数据挖掘系统可能产生大量的模式。
兴趣度测量能被指定为简易性、确定性、适用性、和新颖性的特征。
�发现模式的可视化：
这种原语述及发现的模式应该被显示出来。
为了使数据挖掘能有效地将知识传给用户，数据挖掘系统应该能将发现的各种形式的模式展示出来，正如规则、表格、饼或条形图、决策树、立方体
或其它视觉的表示。
1.41.13描述以下数据挖掘系统与数据库或数据仓库集成方法的差别：
不耦合、松散耦合、半紧耦合和紧密耦合。
你认为哪种方法最流行，为什么？
数据挖掘系统和数据库或数据仓库系统的集成的层次的差别如下。
�不耦合：
数据挖掘系统用像平面文件这样的原始资料获得被挖掘的原始数据集，因为没有数据库系统或数据仓库系统的任何功能被作为处理过程的一部分执行。
因此，这种构架是一种糟糕的设计。
�松散耦合：
数据挖掘系统不与数据库或数据仓库集成，除了使用被挖掘的初始数据集的源数据和存储挖掘结果。
这样，这种构架能得到数据库和数据仓库提供的灵活、高效、和特征的优点。
但是，在大量的数据集中，由松散耦合得到高可测性和良好的性能是非常困难的，因为许多这种系统是基于内存的。
�半紧密耦合：
一些数据挖掘原语，如聚合、分类、或统计功能的预计算，可在数据库或数据仓库系统有效的执行，以便数据挖掘系统在挖掘-查询过程的应用。
另外，一些经常用到的中间挖掘结果能被预计算并存储到数据库或数据仓库系统中，从而增强了数据挖掘系统的性能。
�紧密耦合：
数据库或数据仓库系统被完全整合成数据挖掘系统的一部份，并且因此提供了优化的数据查询处理。
这样的话，数据挖掘子系统被视为一个信息系统的功能组件。
这是一中高度期望的结构，因为它有利于数据挖掘功能、高系统性能和集成信息处理环境的有效实现。
从以上提供的体系结构的描述看，紧密耦合是最优的，没有值得顾虑的技术和执行问题。
但紧密耦合系统所需的大量技术基础结构仍然在发展变化，其实现并非易事。
因此，目前最流行的体系结构仍是半紧密耦合，因为它是松散耦合和紧密耦合的折中。
1.51.14描述关于数据挖掘方法和用户交互问题的三个数据挖掘挑战。
第2章数据预处理
2.12.2假设给定的数据集的值已经分组为区间。
区间和对应的频率如下。
年龄
频率
1~5
200
5~15
450
15~20
300
20~50
1500
50~80
700
80~110
44
计算数据的近似中位数值。
先判定中位数区间：
N=200+450+300+1500+700+44=3194；
N/2=1597
∵200+450+300=950<
1597<
2450=950+1500；
∴20~50对应中位数区间。
我们有：
L1=20，N=3197，（∑freq）l=950，freqmedian=1500，width=30，使用公
式（2.3）：
⎜
⎛N/2−∑
）
freq⎞
l⎟
⎛3197/2−950⎞
medianL1⎜
⎟width20⎜
⎟3032.97
⎝freqmedian⎠
⎝1500⎠
∴median=32.97岁。
2.22.4假定用于分析的数据包含属性age。
数据元组的age值（以递增序）是：
13，15，16，16，19，20，20，21，22，22，25，25，25，25，30，
33，33，35，35，35，35，36，40，45，46，52，70。
（a）该数据的均值是什么？
中位数是什么？
（b）该数据的众数是什么？
讨论数据的峰（即双峰、三峰等）。
（c）数据的中列数是什么？
（d）你能（粗略地）找出数据的第一个四分位数（Q1）和第三个四分位数（Q3）
吗？
（e）给出数据的五数概括。
（f）画出数据的盒图。
（g）分位数—分位数图与分位数图的不同之处是什么？
N∑
1N
均值是：
xxi
i1
个，即x14=25=Q2。
809/2729.96≅30（公式2.1）。
中位数应是第14
这个数集的众数有两个：
25和35，发生在同样最高的频率处，因此是双峰
众数。
数据的中列数是最大术和最小是的均值。
即：
midrange=（70+13）/2=41.5。
（d）你能（粗略地）找出数据的第一个四分位数（Q1）和第三个四分位数（Q3）吗？
数据集的第一个四分位数应发生在25%处，即在（N+1）/4=7处。
所以：
Q1=20。
而第三个四分位数应发生在75%处，即在3×
（N+1）/4=21处。
Q3=35
一个数据集的分布的5数概括由最小值、第一个四分位数、中位数、第三个四分位数、和最大值构成。
它给出了分布形状良好的汇总，并且这些数据是：
13、
20、25、35、70。
略。
分位数图是一种用来展示数据值低于或等于在一个单变量分布中独立的变
量的粗略百分比。
这样，他可以展示所有数的分位数信息，而为独立变量测得的值（纵轴）相对于它们的分位数（横轴）被描绘出来。
但分位数—分位数图用纵轴表示一种单变量分布的分位数，用横轴表示另一
单变量分布的分位数。
两个坐标轴显示它们的测量值相应分布的值域，且点按照两种分布分位数值展示。
一条线（y=x）可画到图中，以增加图像的信息。
落在该线以上的点表示在y轴上显示的值的分布比x轴的相应的等同分位数对应的值的分布高。
反之，对落在该线以下的点则低。
2.32.7使用习题2.4给出的age数据回答下列问题：
（a）使用分箱均值光滑对以上数据进行光滑，箱的深度为3。
解释你的步骤。
评述对于给定的数据，该技术的效果。
（b）如何确定数据中的离群点？
（c）对于数据光滑，还有哪些其他方法？
用箱深度为3的分箱均值光滑对以上数据进行光滑需要以下步骤：
�步骤1：
对数据排序。
（因为数据已被排序，所以此时不需要该步骤。
�步骤2：
将数据划分到大小为3的等频箱中。
箱1：
13，15，16箱2：
16，19，20箱3：
20，21，22箱4：
22，25，25箱5：
25，25，30箱6：
33，33，35箱7：
35，35，35箱8：
36，40，45箱9：
46，52，70
�步骤3：
计算每个等频箱的算数均值。
�步骤4：
用各箱计算出的算数均值替换每箱中的每个值。
44/3，44/3，44/3箱2：
55/3，55/3，55/3箱3：
21，21，21
箱4：
24，24，24箱5：
80/3，80/3，80/3箱6：
101/3，101/3，101/3
箱7：
121/3，121/3，121/3箱9：
56，56，56（b）如何确定数据中的离群点？
聚类的方法可用来将相似的点分成组或“簇”，并检测离群点。
落到簇的集
外的值可以被视为离群点。
作为选择，一种人机结合的检测可被采用，而计算机用一种事先决定的数据分布来区分可能的离群点。
这些可能的离群点能被用人工轻松的检验，而不必检查整个数据集。
其它可用来数据光滑的方法包括别的分箱光滑方法，如中位数光滑和箱边界光滑。
作为选择，等宽箱可被用来执行任何分箱方式，其中每个箱中的数据范围均是常量。
除了分箱方法外，可以使用回归技术拟合成函数来光滑数据，如通过线性或多线性回归。
分类技术也能被用来对概念分层，这是通过将低级概念上卷到高级概念来光滑数据。
2.42.10如下规范化方法的值域是什么？
（a）min-max规范化。
（b）z-score规范化。
（c）小数定标规范化。
值域是[new_min,new_max]。
（b）z-score规范化。
值域是[（old_min－mean）/σ，（old_max－mean）/σ]，总的来说，对于所有可能的数据集的值域是（－∞，+∞）。
值域是（－1.0,1.0）。
2.52.12使用习题2.4给出的age数据，回答以下问题：
（a）使用min-max规范化将age值35变换到[0.0，1.0]区间。
（b）使用z-score规范化变换age值35，其中age的标准差为12.94岁。
（c）使用小数定标规范化变换age值35。
（d）对于给定的数据，你愿意使用哪种方法？
陈述你的理由。
∵minA=13，maxA=70，new_minA=0.0，new_maxA=1.0，而v=35，
v'
v−minA
A
new_max
−new_min
new_min
max
A−minA
35−131.0−0.00.00.3860
70−13
A13152161922021222425
27
30233435364045465270
N
80929.963
σ2
∑Ai−A
N
161.2949，σA
σ212.7002
或s2
167.4986，sA
s212.9421
v=35
σ
v'
v−A35−29.963
5.037
0.3966≈0.400
σA12.7002
12.7002
s
或v'
0.3892≈0.39
sA12.9421
12.9421
由于最大的绝对值为70，所以j=2。
v'
v
10j
35
102
0.35
略。
2.62.14假设12个销售价格记录组已经排序如下：
5，10，11，13，15，35，
50，55，72，92，204，215。
使用如下每种方法将其划分成三个箱。
（a）等频（等深）划分。
（b）等宽划分。
（c）聚类。
bin1
5,10,11,13
15,35,50,55
bin172,91,204,215
每个区间的宽度是：
（215-5）/3=70
5,10,11,13,15,35,50,55,72
91
204,215
（c）聚类。
我们可以使用一种简单的聚类技术：
用2个最大的间隙将数据分成3个箱。
5,10,11,13,15
35,50,55,72,91
2.72.15使用习题2.4给出的age数据，
（a）画出一个等宽为10的等宽直方图；
（b）为如下每种抽样技术勾画例子：
SRSWOR，SRSWR，聚类抽样，分层抽样。
使用大小为5的样本和层“青年”，“中年”和“老年”。
8
7
6
5
4
3
2
1
152535455565
元组：
T1
13
T10
22
T19
35
T2
15
T11
25
T20
T3
16
T12
T21
T4
T13
T22
36
T5
19
T14
T23
40
T6
20
T15
30
T24
45
T7
T16
33
T25
46
T8
21
T17
T26
52
T9
T18
T27
70
SRSWOR和SRSWR：
不是同次的随机抽样结果可以不同，但前者因无放回
所以不能有相同的元组。
SRSWOR
（n=5）
SRSWR
T11
聚类抽样：
设起始聚类共有6类，可抽其中的m类。
Sample1
Sample2
Sample3
Sample4
Sample5
Sample6
T6
T7
T8
T9
Sample2Sample5
T21
T22
T23
T24
T25
分层抽样：
按照年龄分层抽样时，不同的随机试验结果不同。
T1
young
middleage
T2
T3
T4
T5
senior
Senior
2.855555555555555555555555555
3.13.4假定BigUniversity的数据仓库包含如下4个维：
student（student_name,
area_id,major,status,university），course（course_name,department），semester（semester,year）和instructor（dept,rank）；
2个度量：
count和avg_grade。
在最低概念层，度量avg_grade存放学生的实际课程成绩。
在较高概念层，avg_grade存放给定组合的平均成绩。
（a）为该数据仓库画出雪花形模式图。
（b）由基本方体[student,course,semester,instructor]开始，为列出BigUniversity每个学生的CS课程的平均成绩，应当使用哪些特殊的OLAP操作。
（c）如果每维有5层（包括all），如“student<
major<
status<
university<
all”，该立方体包含多少方体？
a）为该数据仓库画出雪花形模式图。
雪花模式如图所示。
b）由基本方体[student,course,semester,instructor]开始，为列出BigUniversity每个学生的CS课程的平均成绩，应当使用哪些特殊的OLAP操作。
这些特殊的联机分析处理（OLAP）操作有：
i.沿课程（course）维从course_id“上卷”到department。
ii.沿学生（student）维从student_id“上卷”到university。
iii.取department=“CS”和university=“BigUniversity”，沿课程
（course）维和学生（student）维切片。
iv.沿学生（student）维从university下钻到student_name。
c）如果每维有5层（包括all），如“student<
这个立方体将包含54=625个方体。
course
维表
univ
student_id
course_id
studentname
semester_id
area_id
instructor_id
major
count
status
升级会员 