数据挖掘技术在的教务管理中的应用可编辑Word文档格式.docx
《数据挖掘技术在的教务管理中的应用可编辑Word文档格式.docx》由会员分享，可在线阅读，更多相关《数据挖掘技术在的教务管理中的应用可编辑Word文档格式.docx（31页珍藏版）》请在冰点文库上搜索。
确定的研究范围,对已有的各种数据源进行分析,结合研究主题对数据源进行筛
选,从而既保证概括所有有价值的数据,也能保证数据源范围在合理范围内。
经
过分析比较,我们选择了教务数据和成绩数据作为分析对象。
再对教务数据和成
绩数据进行深入剖析,弄清事实与维度,从而构造出流失率分析数据仓库数据模
型,再结合具体的数据库系统设计数据存储结构,构建出流失分析数据仓库。
然
后通过数据清理、转换等步骤对教务数据和成绩数据进行规范化处理,导入到数
据仓库中。
然后利用决策树分类方法进行分析。
先将数据仓库中的数据分为两部
分:
训练样本和测试样本。
再利用.算法对训练样本进行处理,建立学员流
失分析决策树模型,由决策树模型导出分类规则。
然后用测试样本对所生成的分
类规则进行测试,从测试的结果看,得到的分类规则准确率较高。
最后根据生成
的决策树模型和生成的学员流失规则编制了学员流失预警系统。
有了学员流失预
警系统后,导修主任或教务人员在预防学员流失不再“普遍撒网,而变得“有
的放矢’’,有效地防止了学员流失,因此,基于决策树方法的学员流失分析模型
达到了预期目的。
关键词:
流失率、决策树、.算法
廿,
撕肌
%
锄锄沁髓
.,肌,
位
咖
.’,
量缸
锄蛆
.,抓
∞,
硒.腩“Ⅱ
锄.枷硒
锄觚弱毹
托【
吕锄.嘶协
姗玛觚,
耐肌撕
饥
饥锄
陀鹤嬲
撕’咖
锄
’曲
Ⅱ孤.同觚
砌姗
∞
§
:
.:
撕吕弱
戗
锄,.锄廿缸锄
璐.:
苴也.
啪曲圮
舀吒觚
印,.
.,
觚同.
,
..数据挖掘的概念?
。
..数据挖掘的步骤?
..
..数据挖掘任务
.数据挖掘模型和算法?
..决策树..
算法嘲.
.算法..
..树剪枝第三章流失分析数据仓库建模。
.问题分析.
..初步分析学员流失的原因
..选择合适的数据?
..有关概念?
.构建数据仓库模型?
?
..常用的建模方法?
..学员流失率数据仓库模型:
.?
..?
..:
.构建决策树模型
.计算信息增益率?
..构建决策树模型?
..树剪枝.提取分类规则?
第五章流失预警系统的实现?
.系统架构
/模块.
..数据源?
..清理、转换数据?
.生成决策树模型?
..生成流失规则?
/终端设计
./模块.
第六章总结与展望.柏
.全文总结
.展望参考文献.
图索引?
表索弓?
第一章引言
.数据挖掘的背景
近年来,随着计算机技术的发展,各行各业为了满足自己的需要,开发了大
量的应用系统,如商业中的、教育行业的教务管理系统、交通运输行业的订
票系统等等,这些应用系统产生了海量的业务数据。
特别是网络技术的发展,各
种不同的网站和网络应用系统如“雨后春笋”般不断涌现出来,数据量更是以
甚至为单位不断攀升。
结果是,数据像洪水一样向人们滚滚不断涌来。
人们每天收集到各种的规则和不规则数据,并利用数据库技术中的查询、统计等
初步功能以便发现规则来制定决策。
然而面对数据“大爆炸,人们接受到数据
量越来越大,这些初步的查询、统计等功能变得越来越低效,难以满足人们的实
际需要。
于是,人们就问:
有没有一种方法能有效的对这些数据进行分析,进而
从这些海量的数据中找出数据所蕴含的深层次的信息如,两种不同的商品之间
销售会不会有关联什么样的教学计划能促进学生就业什么样的时间段是旅
客高峰段,预计本期的高峰会是多少等等。
人们结合统计学、数据库、机器学习等相关技术,提出了数据仓库和数据挖
掘技术来解决这些问题。
数据仓库将企业内部各种业务数据及企业外部相关信息整合到一起,并提供
相关技术进行分析和处理,以便让决策者进行决策。
数据挖掘是从大量的数据中
挖掘出对决策有潜在价值的知识和规则,并根据已有的信息对未来的行为作出结
果预测。
在当今“数据爆炸但知识贫乏”的状况下,数据仓库和数据挖掘技术因
其强大的生命力而迅猛发展,成为继计算机网络之后的一个新技术热点。
.选题背景
作为国家教育战略的承担者,实施远程开放教育的广播电视大学以下简称
电大着眼于构建国家终身教育体系和建设学习型社会的全局,以搭建服务全民
学习、终身学习的大平台为目标,进一步科学定位,规范管理,提高教育质量,
努力建设具有鲜明中国特色的现代远程开放大学。
随着国家教育战略的推进和经济社会的迅猛发展,对各类应用型人才的需求
量也愈来愈大。
现代远程开放教育的办学模式已愈来愈为社会各界广泛接受。
近数据挖掘技术在电大教务管理中的应用
几年招生中,各地电大主动适应社会需求,结合地方经济社会发展的需要开设专
业,加大招生宣传的投入,取得了良好的招生业绩。
得住,能否不流失或者少流失,这不仅关系到电大发展,也是国家实施远程教育
战略中的一大问题。
学员为何流失如何控制这一局面以保证国家教育战略工作的顺利进行
为探讨上述问题,我们着手从数据的角度,基于数据挖掘技术进行深入分析,旨
在找到学员流失的真正原因,并对将来流失进行预测。
.研究意义
电大三十年的发展积累了大量的数据,特别是年电大实施开放教育以
来,各种新型技术手段和教学手段的使用,让电大具有了丰富的资源和数据。
如
何合理地利用这些数据,从中发掘和发现知识,找出其中蕴含的信息,特别是要
找出对电大发展有帮助的内容,为电大平稳健康地发展提供参考依据。
针对电大在招生人数每年在逐步增长外,每年又有比较多的学员流失的情
况,文献对此做了广泛的研究,分析了其中的原因。
但由于分析时间较早,
特别是近几年的发展,使得学员流失情况又发生了新变化,原有分析已经不再适
宜现状。
本选题目的在于,通过收集各种数据,特别是近几年的数据,结合数据仓库
和数据挖掘技术,从数据的角度出发,希望得出以下结论:
.分析数据,构建数据仓库,通过数据挖掘,从中找出学员流失的模式,
生成流失可能性规则;
.构建学员流失预警系统,对将来的学员流失做出预测,在学员初入学时
就具有一个流失系数,该系数随着学习过程不断变化,让班主任密切关注流失系
数较高的学员,做好预防措施,以防流失发生。
.内容安排
本文系统地研究了如何利用丰富的数据和资源条件下,构建数据仓库,采用
数据挖掘中决策树的.算法对所构建的数据仓库进行挖掘以获得学员流失的
可能原因,通过构建学员流失预警系统,更好地为学员指供优质服务,保障电大
良性发展。
论文的结构:
第一章引言。
介绍数据挖掘的背景,选题背景,研究的意义和论文的结构。
第二章数据仓库和数据挖掘。
简要介绍数据仓库和数据挖掘技术的基本概
念,本文用到的数据挖掘算法:
决策树模型、算法、.算法。
第三章流失分析数据建模。
对所研究的问题进行分析,确定研究主题,分
析各种数据来源,并根据主题需要选择数据源。
然后采用星型模式构建数据仓库
模型,并对数据进行清理、转换、整合,以此来构建数据仓库,为进行数据挖掘
做好数据准备。
第四章数据挖掘在教务管理中的应用。
依托第三章中构建的数据仓库进行
数据挖掘,形成学员流失的决策树模型,生成学员流失的规则,分析出使学员流
失可能情况。
第五章流失预警系统的实现。
根据第四章形成流失决策树模型和规则,构
建学员流失预警系统,然后依据流失预警系统,为在籍的每位学员进行分类,对
于符合流失规则的学员提示班主任加强沟通。
第六章总结与展望。
总结文章的主要内容,并对进一步研究提出展望。
数据挖掘技术在电人教务管理中的心用
第二章数据仓库和数据挖掘
本章简要介绍数据仓库和数据挖掘技术的基本概念,数据仓库的体系和数据
挖掘的一般过程,以及本文用到的决策树模型和两种数据挖掘算法:
算法和
.算法,并对简介了完善决策树模型的一项重要技术?
树剪枝。
.数据仓库
..数据仓库的概念
数据仓库,英文名称为砌,简写为。
数据仓库之父..》一书中将数据仓库定义为:
数据仓库是
在《
面向主题的、集成的、持久的数据集合,用于支持管理层的决策过程【。
..数据仓库系统体系结构
一般来说,数据仓库由下面几个部分组成【。
.源数据部分:
是整个系统的数据基础。
通常包括存放于关系数据库中的
各种用于生产的业务数据、私人资料中的内部数据、企业的存档数据以及与行业
有关的外部数据。
.数据准备部分。
从不同的数据源得到数据之后,需要为数据仓库的存储
做准备。
数据准备工作有三个主要的工作需要完成:
抽取、转换和装载。
数据源
的个数和种类可能很多,抽取工作的任务是按照数据仓库主题的需要,针对不同
的数据源选择不同的技术,然后将数据从数据源中提取出来,为进一步的转换做
好准备。
不同数据源对数据元素的描述规则、数据类型和长度等等都可能不同,
数据源中可能有各种不同的数据不一致的问题,这一切都需要在数据转换部分完
成。
数据转换首先对数据进行清洗,解决数据一致问题,然后对数据进行标准化
处理包括离散化处理和数据消减等任务。
转换完成后就可以将数据装载到数
据仓库中了。
数据装载过程主要由两个不同的任务:
需要大量时间的初期数据装
载和为了适应变化的后期定期数据更新过程。
.数据存储部分。
数据存储是数据仓库的一个独立组成部分,用来存储数
据。
它与业务数据库的数据不同,业务数据库存储的是用来支撑业务处理的当前
的数据,是实时变化的,不断地增加、更新和删除,数据操作量大,且通常进行
过范化。
而数据仓库用来支持管理决策的,其存储的是用来分析使用的大量历史
数据,主要任务是查询和分析,因此需要对数据的结构和格式进行处理,以便能
进行快速的查询和分析。
通常选择关系数据库系统来存储数据仓库中的数据,如
Ⅳ、、等。
.信息传递部分。
设计数据仓库的最终目的是为管理决策服务,就是通过
提供不同的数据分析和处理结果供为决策者提供决策支持。
不同的用户需要不同
的分析结果和报表,为新手或临时用户定制了报表或特别查询,向专业分析人员
和高级用户提供了复杂查询、多维分析和统计分析等功能。
这些报表和分析结果
通过各种不同的工具提供,主要包括各种报表工具、查询工具、数据分析工具、
数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。
..数据仓库的设计步骤
数据仓库的设计是一个不断迭代的过程。
一般地,数据仓库的设计过程包含
如下步骤【。
.收集和分析业务需求,进行问题分析;
.选择合适建模方法构建数据模型;
.选择数据存储平台,设计数据存储方式;
.使用数据库连接软件从操作型数据源中抽取、净化、和转换数据到数据
仓库:
.选择访问和报表工具、数据分析和数据展示软件;
.更新数据仓库。
.数据挖掘
通过设计数据仓库,剔除了矛盾的数据和对决策无用的数据,并对数据进行
汇总,以支持决策者对数据的需求。
但是数据仓库也仅仅是数据的汇总,数据量
依然庞大,数据资源无法有效利用,需要数据挖掘技术对数据仓库中数据进行分
析处理。
..数据挖掘的概念
数据挖掘
简称就是从大量的、不完全的、有噪声的、
模糊的、随机的数据集中,提取隐含在其中的、人们事先不知道的、但又潜在的
有用信息和知识的过程‘卯。
..数据挖掘的步骤
数据挖掘技术框电大教务管理中的应用
数据挖掘由以下步骤迭代序列组成【】:
.陈述问题和阐明假设。
数据挖掘任务一般都是在一个特定的应用领域内
完成的。
只有弄清与任务相关的需求,才能使数据挖掘有的放矢,不偏离方向,
从而顺利完成任务目标。
.数据收集。
随着应用系统的增多,企业拥有了大量的数据,并不是所有
的数据都是与本次数据挖掘相关,只有依据第一步的分析,从相关数据库中提取
与挖掘任务相关的数据。
.数据预处理。
现实环境中的数据存在各种问题,有噪声和数据不一致等
相关问题。
本步骤的任务是:
通过数据清理,消除噪声和不一致数据,经过数据
变换,将数据变换或统一成适合挖掘的形式。
.模式评估。
这是数据挖掘工作的主要任务,根据某种兴趣度度量,采用
一定的方法,识别出表示知识的真正有趣的模式。
方法主要有:
关联分析、分类、
聚类分析、时序模式等。
.解释模型和得出结论。
使用可视化知识表示技术,向用户提供经数据挖
掘任务得到的知识。
数据挖掘是从大量的数据中发现出隐含的、有用的模式,方法主要有关联分
析、分类、聚类分析、时序模式等同。
.关联分析。
顾名思义,关联分析就是从大量的数
据中挖掘出项集之间有用的关联或相关联系。
购物篮分析是关联分析的一个典型
应用,曾有人利用关联分析得出“啤酒与“尿布之间存在关联。
.分类嬲。
分类是自然界的一种典型特征,人从小就开始学
习分类。
分类是从一系列的物品中根据一定的特征将物品化归到不同的类别。
决
策树算法是一种重要的分类技术。
银行系统中的贷款风险分析是分类技术的一个
典型应用,利用分类技术可以根据借贷人的有关特征进行分类,对于借贷风险比
较高的不予贷款,可有效地降低风险。
.聚类分析萌。
聚类分析也是从一系列的物品中将物品化归到
不同的类别,但它与分类技术不同。
分类技术中的目标类别是已知的,是将物品
根据一定的特征分到已知的类别。
而聚类分析的目标类别是未知的,是从已知的
数据中发现未知的类别,再将新物品划分到发现的类别中去。
时序模式.砸。
现实生活中有很多随着时间变化的数据
序列,如股票的价格波动,温度变化等等,时序模式技术就是针对这些数据序列
而实施的数据挖掘技术,旨在从这些随时间变化的数据序列中找到其变化的特
征,以便能预测未来的变化趋势。
主要应用技术有:
趋势分析、序列模式挖掘及
与时间有关的周期模式挖掘等。
.数据挖掘模型和算法
经过几十年的发展,有了较多的数据算法和产品。
大多数数据挖掘产品所使
用的算法都是发表过的成熟算法,区别的只不过是算法的实现和对算法性能的优
化,也有一些公司采用的是自己研发的尚未公开的算法。
下面介绍的算法和模型都是数据挖掘技术中最常见的和应用最广泛的,也是
本文中即将用到的模型和算法。
..决策树
决策树是分类技术的一种,它类似于流程图。
它由分枝和节点组成,包含三
个类型的节点:
根节点、分枝节点非树叶节点、树叶节点。
树的最顶层是根
节点,每个分枝节点表示在数据集的一个属性上的判断,每个分枝代表一个判断
结果子数据集,而每个树叶节点存放一个分类标号。
例如,在流失率分析中,
要对流失的可能性大小做出判断,为了解决这个问题,我们建立了一棵决策树,
如图.,图中圆角矩形表示分枝节点,短线表示分枝,椭圆形表示树叶节点。
项层的“成绩好是根节点,对此问题的不同回答产生了“是’’和“否两个
分支。
假如教务管理人员利用上面这棵决策树来预测流失率,那么就可以用决策树
来判断流失可能性的大小。
“成绩不好’’且“缴费不及时的学员被认为是“高
流失可能’’,同时“成绩不好但“缴费及时的学员“流失可能性’’较低。
不同的决策树算法产生不同类型的决策树,有些决策树算法只产生二叉树,
而另一些决策树算法可以产生非二叉树。
使用决策树进行分类的好处有嘲:
①决策树的构造不需要任何领域知识;
②
容易被人理解;
③由决策树可以快速得到分类规则;
④决策树分类具有很好的准
确率。
正是由于这些优点,使得决策树在分类技术中非常流行,本文也使用决策
属性列表口批纪凰为空锄
返回Ⅳ作为叶节点,标记为中的多数类;
使用属性选择方法口觚施比伽绣耐,口“订纶凰,找出
“最好的分裂标准印厅砌喀:
砌砌刀;
用印厅所曙阿鲍一行标记节点Ⅳ.
印掰馏髓一”幻是离散值的并且允许多路划分饥
讯?
』硼鸭舶;
¨
、董咂』的每个输出
设巧是中满足输出『的数据元组集合;
为空
加一个树叶到节点Ⅳ,标记为中的多数类;
加一个由生成决策树方法锄胞如括幻刀舷历,
口册.“绍凰返回的节点到节点Ⅳ.
返回Ⅳ。
算法说明:
第一二章数据仓库和数据挖掘
.决策树分类包括两个阶段:
构建决策树阶段和分类预测阶段。
第一阶段:
决策树模型,也就是决策树算法完成的工作,分为两个任务:
模型的创建和
的评估。
第二阶段:
利用建好的决策树对新数据进行分类,这是利用决策树
预测的过程。
.决策树算法是一个自顶向下递归的过程,树的生长过程是一个不断的把
集进行划分的过程,随着树的构建,数据集被递归地划分成较小的子集,直
足一定阈值不能再划分为止。
.第步属性选择度量口纸阿甜纪口彪砌,柳历甜可由多种不同的算法
各种决策树算法之间的主要区别就是对这个属性选择度量方法的不同,不
算法应用不同的属性选择度量方法。
常用的属性选择度量有:
信息增益、增
和指标等。
常用的决策树算法主要有、玎、、和.等。
这里仅
算法和.算法。
算法嘲
使用的属性选择度量是信息增益。
通过以下几个步骤计算信息增益度
量。
.计算数据集的熵。
数据集的熵是指将数据集按预测属性进行分类,
不同的预测值属于不同的分类,然后分别统计出各个预测属性值在各分类
出现的次数,根据这些值求出的数据集的信息期望值。
由下式给出:
公式
坳一∑:
鼽
其中,是数据集中不同预测属性值的个数,系数鼽指数据集中任意
元组属于类,的概率,用,。
/值进行估计。
.计算每一属性的条件熵。
决策树的构造需要对数据集按某一属性进行
划分,对于数据集的多个属性,选择哪个属性作为当前划分过程的划分属性是需
要考虑的。
为此,我们需要考察每个属性的条件熵。
例如,对于数据集的一
个属性彳,彳的可能取值有’,个,若按属性彳划分,则将数据集划分为,个子
数据集马,,一,,?
。
因此,属性彳的条件熵由下列公式求出:
数据挖掘技术在电大教务管理中的心用
公式四,
坳脚卜喜斟?
其中,比例斟作为第/个划分的权重。
.计算每一属性的信息增益。
信息增益定义为数据集的熵与每一属性的
熵之间的差。
对于属性么的信息增益口砌么由下列公式求出:
口伽彳见加一伽加
对于数据集的每个属性,算法选择具有最高信息增益口切么的属性
彳作为当前节点Ⅳ的划分属性,即当前按属性彳对数据集进行划分。
然后对
划分得到的’,个子数据集递归进行~步骤,从而完成决策树的构造过程。
但是,使用信息增益作为度量可能产生偏差。
因为信息增益度量倾向于选择
具有大量值的属性。
例如,考虑具有唯一标识的属性,如学号。
由于学号是唯一
的,对于学号属性的划分必然导致大量划分,且每个划分只含有唯一元组。
对于
该划分可以计算出数据集关于学号属性的熵坳学号。
进一步可以计算
出,将数据集根据学号属性划分得到的信息增益值度量
国加学号蜘∽一坳学号∞蜘一坳最大。
此时,若利用
算法就会首先按学号属性进行划分,从而产生偏差。
.算法
为纠正使用信息增益作为度量带来的偏差,.算法使用信息增益率‰
作为属性选择度量。
求信息增益率分两个步骤:
肌。
为规范信息增益度量带来的偏倚,.
.计算划分信息
算法首先引进了“划分信息的概念。
划分信息由下式求出:
、怵,,
印峨咖鼬:
四
.计算信息增益率。
信息增益率由下式求出:
渤揪枷。
舻嵩
对于数据集的每个属性,.算法选择具有最大增益率的属性么作为划
分属性,据此将数据集按属性彳划分为’,个子数据集历,.产,,,?
然后对划分得到的个子数据集递归进行~步骤,从而完成决策树的构造过程。
..树剪枝
如果不对决策树的构造过程进行限制,得到的决策树往往是极其庞大和复杂
的,特别是数据集的某些属性具有较多的不同的值的时候。
这样得到的决策树难
以理解和表述,不便于用户根据这棵决策树进行分析,特别是由此得到的分类规
则会极其复杂。
因此,需要对决策树的构造施加限制,称为修剪决策树。
修剪的办法通常是通过设定一个阈值,使未能达到该阈值的划分进行简化。
例如,可以限定分枝节点包含的元组个数或所占的比例等。
修剪分为事先修剪和事后修剪两种。
事先修剪就是在决策树的构造过程中施
加限制,通过限制分枝是否能进行划分来完成修剪,以降低决策树的复杂度。
事
后修剪是在决策树构造完成后进行的,对于构造好的决策树,设置某种策略,对
不符合策略的分枝剪去,使其成为叶节点,也能降低决策树的复杂程度。
两种修
剪方法各有优点,事先修剪能简化树的构造过程,而事后修剪更准确,在实际使
用中,通常对两种方法进行组合,以使得到的决策树最优。
数据挖掘技术在电人教务管理中的应用
第三章流失分析数据仓库建模
本章主要任务是构建学员流失分析系统采用统一的数据仓库。
数据仓库的设
计经过问题分析、构建数据模型、数据存储设计三个阶段。
在问题分析阶段,初
步分析学员流失的原因,依此选择合适的数据来源。
然后进行数据仓库逻辑模型
设计,构建以事实表和维表为基础的星型模式。
在数据存储设计阶段,将星型模
式转换为所选定存储平台的存储格式。
最后通过清理、转换将数据转换到数据仓
库中,为进行数据挖掘做准备。
.问题分析
由于数据仓库的构造是一项困难、长期的任务,应当清楚地定义它的实现范
围,因此,本阶段的主要任务通过分析任务需求,确定数据仓库的主题,从而分
析出数据仓库所要保存的信息,这些信息包括当前、将来的数据,特别是与历史
相关的数据。
本文的主要任务是进行学员流失分析,建立的数据仓库应该满足对所有历史
学员的流失情况进行分析,并且对在籍学员的流失情况进行预测,由此教务管理
人员和班主任才可以根据分析的情况对管理工作做出调整。
因此,首先应对流失
率问题进行初步分析,确定可能存在的原因,以便选择合
升级会员 