人工智能实验报告朴素贝叶斯分类实验.docx
《人工智能实验报告朴素贝叶斯分类实验.docx》由会员分享，可在线阅读，更多相关《人工智能实验报告朴素贝叶斯分类实验.docx（18页珍藏版）》请在冰点文库上搜索。
人工智能实验报告朴素贝叶斯分类实验
实验三：
分类算法实验
实验三：
分类算法实验1
一．实验目的2
二．实验的硬件、软件平台2
三．实验内容及步骤2
四、思考题：
2
五．实验报告3
（一）算法的基本原理3
（二）实验框架与结果4
1.汽车评估数据集4
2.程序框架6
3.实验结果6
（三）实验分析和思考题7
（四）实验源代码8
．实验目的
1.了解朴素贝叶斯算法和决策树算法的基本原理；
2.能够使用朴素贝叶斯算法或者决策树算法对数据进行分类
3.学会对于分类器的性能评估方法
二．实验的硬件、软件平台
硬件：
计算机
软件：
操作系统：
WINDOWS8.1
应用软件：
Java
三．实验内容及步骤
（一）实验内容：
利用贝叶斯算法或者决策树算法进行数据分类操作数据集：
汽车评估数据集（见附录）
（二）实验步骤：
1．仔细阅读并了解实验数据集；
2．使用任何一种熟悉的计算机语言（比如C,Java或者matlab）实现朴素贝叶斯算法或者决策树算法；
3．利用朴素贝叶斯算法或者决策树算法在训练数据上学习分类器,训练数据的大小分别设置为：
前100个数据，前200个数据，前500个数据，前700个数据，前1000个数据，前1350个数据；4．利用测试数据对学习的分类器进行性能评估；
5．统计分析实验结果并上交实验报告；
四、思考题：
1.两种算法在训练数据集和测试数据集上的性能一致吗？
哪个比较好？
2.提出一种提高分类器性能的方法并通过实验验证。
五•实验报告
（一）算法的基本原理
贝叶斯定理:
表示事件X已经发生的前提下，事件Y发生的概率，叫做事件X发生下事件Y的条件概率，其基本求解公式为:
p（x[y）p（r）
P（Y=诃天=叼）=
p{X=Xj\Y=眺）P（Y=s）
P（X—xj）
朴素贝叶斯分类器:
Vmap=argmax环丽何
=amaxP（a1,a2,...,an|_\^）P（a1ta2,,a
V｝evJJ
朴素贝叶斯的思想基础是这样的：
对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大,
=argmaxP（a1,a2l...,an|Vj）P（Vj）
就认为此待分类项属于哪个类别。
朴素贝叶斯分类的正式定义如下：
1、设加-G珂严扯"用础讣为一个待分类项，而每个a为x的一个特征属性。
2、有类别集合—【二八…沐:
3、计算P｛如現巩咖©宀,凤％阖。
4、如果F（珈刃=杭必｛卩（附匸】屮（也|巩…，戸仏|尘｝｝，则監E班。
那么现在的关键就是如何计算第3步中的各个条件概率。
我们可以这么做：
1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
2、统计得到在各类别下各个特征属性的条件概率估计。
即
3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导:
因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。
又因为各特征属性是条件独立的，所以有:
整个朴素贝叶斯分类分为三个阶段：
第一阶段：
准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征
属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。
这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。
这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段：
分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率
及每个特征属性划分对每个类别的条件概率估计，并将结果记录。
其输入是特征属性和训练样本，输出是分类器。
这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段：
应用阶段。
这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待
分类项与类别的映射关系。
这一阶段也是机械性阶段，由程序完成。
决策树:
决策树是一个类似于流程图的树结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输
入，而每个树叶结点代表类或类分布。
数的最顶层结点是根结点。
一棵典型的决策树如图所示。
它表示概念
buys_computer，它预测顾客是否可能购买计算机。
内部结点用矩形表示，而树叶结点用椭圆表示。
为了对未知的样本分类，样本的属性值在决策树上测试。
决策树从根到叶结点的一条路径就对应着一条合取规则，因此决策树容易转化成分类规则。
（二）实验框架与结果
1.汽车评估数据集
汽车评估数据集包含1728个数据，其中训练数据1350,测试数据个。
每
个数据包含6个属性，所有的数据分为4类:
ClassValues:
unacc,acc,good,vgood
Attributes:
buying:
vhigh,high,med,low.
maint:
vhigh,high,med,low.
doors:
2,3,4,5more.
persons:
2,4,more.
lug_boot:
small,med,big.
safety:
low,med,high.
部分训练集截图：
learn.twt車-
vhlghjThl2r2]small,low,imaccvhi氐h*Thigh,'A,2」sual1fmpd”unaccvtiigh,vhi呂h・2.2】small,hi£h,unaccvhigh,Thigh,2,2】ned,1ov,unaccvhigh,vhl呂h,2,2]nsd”iubiL,unaccvhigh,vhigh.2r2,hiunaccvhieh・2,2,big,low,unacc
vhigH,yhigli,2,2,big,neil,unaccvhish*vhi2,2,bigjhi名h，unacevhigh,vhieh,2,4,srnll,low,unaccvlllsll,Th!
^11,2,4；SBLdll,IJLtill,llILdCCThigh,vhigli,2,4:
small!
hlgji,unaecvhigh,vhi2,43ned,1oir^unadevhishRvhiph・2,4,ned,me山unaccvhj.ghp常hi医h,2,4:
med,high,unaCCvhiahFvhi2h4jbig』1ow1unaccvhighPvhieti,2,4,big,ned,irnaecviiigii,vliigh,2,4：
bls,high,uuaccvhigh,vhigh,2,morc3snail,low,uagccvhi&h,vhi'2,moro,silaIIujciaccvhish.vhiBh,2,more,small,high*unaccviiigli,vliigli,2,Mui'ti,mud,luv,uuaccvhi&hpvhigh,2,moro,MUid,nod,unaccvhighFvhigti,2,mnrp,hieh,unaccvhigh.2,mure,bit,luvTuniicc;
vhigh,irhigh,2fmore,big,ned,unacc
部分测试集截图:
test,txt-记寻
文蹴町褊辑〔巳宿式Q}直看（V）務助〔巴low,vhigh,4,2,small,low,unacclow>vhigh,4,2,small,jwd,unacclow,vhigh,4,2,smll?
high,unacclow,vhigh,4,2rmad,low,unacc1aw,vhigh,4,2,ulbd,nodTunacclow,vhigh,|4f2,med,highjunacclow,vhigh,4,2,big,low,unacc1oWjvhigh,4,2,bimed.una.ce1awrvhighj4T2,high,unacclow,vhigh,4,4,small,lew,iinacclow,vhigh,4,4,small,med,unacc1cbw,vhighj4〕4,smalljhighjacc1civf,vhigh,4]4,med,1owpunacclow,vhigh,4,4）med,med,acclaw,vhigh,4,4,uiEd,high3acclow,vhighj4,4.bi压，low,una.eelow,vhigh}1,4）bi&,med.acelow,vhigh,4,4,big,high,acclow,vhigh,4,more,small,low,unacc1ow,vhigh,4,iuqte,smal1,ined,unacc1ow,vhighj4,rooTe,small,high,acc
2.程序框架
i•获取训练样本
2.对每个类别进行统计（ClassValues:
unacc,acc,good,vgood
3.对每个属性进行统计（buying:
vhigh,high,med,low.maint:
vhigh,high,med,low.doors:
2,3,4,5more.persons:
2,4,more.Iug_boot:
small,med,big.safety:
low,med,high.）
4.计算并存储每个属性在类别中的条件概率，例如P（buing:
vhigh|classvalue:
unacc）=（buing中vhigh的数量）除以
（classValue中unacc的数量）
5.获取测试集样本，将测试数据放入训练集
6.根据每一条测试数据的前六项，每一项在训练集的每个类别中都分别有一个概率值，将每一类别中六个概率值相
乘，可得四个评估概率。
例如，对于测试数据（low,vhigh,4,2,small,low,unacc）
评价结果V仁p（low|unacc）*p（vhigh|unacc）*p（4|unacc）*p（2|unacc）*p（small|unacc）*p（low,|unacc）
V2=p（low|acc）*p（vhigh|acc）*p（4|acc）*p（2|acc）*p（small|acc）*p（low,|acc）
V3=p（low|good）*p（vhigh|good）*p（4|good）*p（2|good）*p（small|good）*p（low,|good）
V4=p（low|vgood）*p（vhigh|vgood）*p（4|vgood）*p（2|vgood）*p（small|vgood）*p（low,|vgood）
比较VI、V2、V3、V4中概率最大的评价，可得评价结果
7.对评估概率进行比价，可得最大概率，最大概率指向的类别即为测试结果
8.测试结果与测试数据最后一项进行比对，若相同表示测试正确，返回true，反之，若不相同，则返回false。
9.统计true的数量，除以测试样本数量，可得分类器的准确率。
3.实验结果
部分截图:
false
false
true
false
false
true
fals^
false
true
false
false
true
falae
false
分类器的淮确率为：
ga.7S306C^
得知：
此种训练集下得到的样本测试准确率为68.78%左右。
朴素贝叶斯的测试性能与训练集有关，训练集好则
准确率高。
（3）实验分析和思考题
1.两种算法在训练数据集和测试数据集上的性能一致吗？
哪个比较好？
决策树有比较好的准确率和相对较好的标准误差，但是在这背后，很有可能是以较大错误率作为代价，这点
可以从训练混淆矩阵中得到印证；而朴素贝叶斯分类算法的准确率相对较低，而标准误差也较高。
朴素贝叶斯算法
时间复杂度：
0（n3）
决策树算法
时间复杂度：
0（n*|S|*log|S|）其中log以2为底，n为属性的个数，|S|为训练样本的个数
而且朴素贝叶斯可能存在0概率问题
存在准确度问题，朴素贝叶斯分类器是基于样本属性条件独立的假设的前提下的，但是实际情况可能并不成立，
这样也就缺失准确性了•
解决朴素贝叶斯准确性问题提出的一种方法叫做：
贝叶斯网络（BayesianBeliefNetworks）
2.提出一种提高分类器性能的方法并通过实验验证。
Adaboost:
基于错误提升分类器的性能
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱
分类器集合起来，构造一个更强的最终分类器，比起弱分类器，这个“强”分类器的错误率会低很多。
Adaboost算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的
总体分类的准确率，来确定每个样本的权值。
将修改权值的新数据送给下层分类器进行训练，然后将每次训练
D,—开始时权重D初始化为相等的值;
得到的分类器融合起来，作为最后的决策分类器。
以下给出Adaboost算法的运行过程：
1.训练数据中的每个样本，并赋予其一个权重，这些权重构成向量
2.先在训练样本上训练得到第一个弱分类器并计算分类器的错误率；
3.在同一数据集上再次训练弱分类器，在分类器的二次训练中，会重新调整每个样本的权重，其中第一次分
类正确的样本的权重将会降低，而分类错误的样本权重将会提高；
4.
这一组
为了从所有弱分类器中得到最终的分类结果，Adaboost为每个分类器都分配了一个权重值alpha，
值是基于每个弱分类器的错误率进行计算的。
其中，错误率由以下公式定义:
耒止准分娄的样衣彳、敛
~所有样本个數
—忤）
（四）实验源代码
packagergzn;
importjava.io.BufferedReader;
importjava.io.File;
importjava.io.FileNotFoundException;
importjava.io.FileReader;
importjava.io.lnputStreamReader;
importjava.math.BigDecimal;
importjava.net.URL;
importjava.util.ArrayList;
importjava.util.Scanner;
importjava.util.Vector;
*朴素贝叶斯
*
*@authorDyl
*
*/
//汽车属性
classCar{
publicStringbuying;//vhigh,high,med,low
publicStringmaint;//vhigh,high,med,low
publicStringdoors;//2,3,4,5more
publicStringpersons;〃2,4,more
publicStringlug_boot;//small,med,big
publicStringsafety;//low,med,high
publicStringClassValues;//unacc,acc,good,vgood
publicString[]predictResult=newString[5];〃记录预测结果
}publicclassNavieBayes{
Vectorvector;
inttestTotal=0;//训练样本数量
intpredictTotal=0;//测试样本的数据
intpredictSucess=0;//预测成功的数量
String[]ClassValueName={"unacc","acc","good","vgood"};
//存储数量
int[]ClassValueTotal=newint[4];//unacc-0acc-1good-2vgood-3
int[][]buying_Vlaue=newint[4][4];//前面是自己的属性，后面是value的属性int[][]maint_Value=newint[4][4];
int[][]doors_Value=newint[4][4];
int[][]persons_Value=newint[3][4];
int[][]lugboot_Value=newint[3][4];
int[][]safety_Value=newint[3][4];
//存储概率
float[]ClassValueTotal_gl=newfloat[4];//unacc-0acc-1good-2vgood-3
float[][]buying_Vlaue_gl=newfloat[4][4];//前面是自己的属性，后面是value的属性float[][]maint_Value_gl=newfloat[4][4];
float[][]doors_Value_gl=newfloat[4][4];
float[][]persons_Value_gl=newfloat[3][4];
float[][]lugboot_Value_gl=newfloat[3][4];
float[][]safety_Value_gl=newfloat[3][4];
publicNavieBayes（）{
vector=newVector（）;//存储数据
}
/**
*主函数
*/
publicstaticvoidmain（String[]args）throwsException{NavieBayespSbys=newNavieBayes（）;pSbys.getData（）;//获取训练样本
pSbys.dataTest（）;〃传入测试样本数据，检测其分类器的性能pSbys.showGL（）;//展示结果
*/
统计数量，为计算概率做准备
privatevoiddataTongJi（Carcar）{for（inti=0;i<4;i++）{
if（car.ClassValues.equals（ClassValueName[i]））{
ClassValueTotal[i]++;
//buying:
vhigh,high,med,lowif（car.buying.equals（"vhigh"））buying_Vlaue[0][i]++;elseif（car.buying.equals（"high"））buying_Vlaue[1][i]++;elseif（car.buying.equals（"med"））buying_Vlaue[2][i]++;
elsebuying_Vlaue[3][i]++;//maint_Value:
vhigh,high,med,lowif（car.maint.equals（"vhigh"））maint_Value[0][i]++;elseif（car.maint.equals（"high"））maint_Value[1][i]++;elseif（car.maint.equals（"med"））maint_Value[2][i]++;elsemaint_Value[3][i]++;//doors_Value:
2,3,4,5moreif（car.doors.equals（"2"））doors_Value[0][i]++;elseif（car.doors.equals（"3"））doors_Value[1][i]++;elseif（car.doors.equals（"4"））doors_Value[2][i]++;elsedoors_Value[3][i]++;//persons_Value:
2,4,moreif（car.persons.equals（"2"））persons_Value[0][i]++;elseif（car.persons.equals（"4"））persons_Value[1][i]++;elsepersons_Value[2][i]++;
//lugboot_Value:
small,med,bigif（car.lug_boot.equals（"small"））lugboot_Value[0][i]++;elseif（car.lug_boot.equals（"med"））lugboot_Value[1][i]++;elselugboot_Value[2][i]++;//safety_Value:
low,med,highif（car.safety.equals（"low"））safety_Value[0][i]++;elseif（car.safety.equals（"med"））safety_Value[1][i]++;elsesafety_Value[2][i]++;
/***
}}
*概率统计
*/
privatevoidgailvTongJi（）{
for（inti=0;iClassValueTotal_gl[i]=（float）ClassValueTotal[i]/testTotal;
}
for（inti=0;ifor（intj=0;jmaint_Value_gl[i][j]=（float）maint_Value[i][j]/ClassValueTotal[j];
doors_Value_gl[i][j]=（float）doors_Value[i][j
升级会员 