贝叶斯判别分析.pptx

资源描述

贝叶斯判别分析.pptx

《贝叶斯判别分析.pptx》由会员分享，可在线阅读，更多相关《贝叶斯判别分析.pptx（22页珍藏版）》请在冰点文库上搜索。

贝叶斯判别分析.pptx

第六章判别分析,Discriminateanalysis判别分析就是在已知要判别的类型和数目的情况下，根据样品的各种特性来判断该样品属于哪一种类型。

用统计语言来说，就是已知k个总体1,2,k，它们的分布函数分别为F1（x）,F2（x）,Fk（x），其中Fi（x）为m维分布函数，1ik，对给定的一个样品，要判断它来自哪个总体。

学习目的,本章只介绍判别分析的几种最基本的方法：

贝叶斯判别、距离判别及费歇判别学习本章，要密切联系实际，着重理解判别分析的基本思想方法及具体实现步骤，了解几种不同判别分析方法的优、缺点及应用背景,第六章判别分析,贝叶斯判别,贝叶斯判别,距离判别,费歇判别,费歇判别,1贝叶斯（Bayes）判别,希望所给的准则误判概率越小越好，更确切的说，误判带来的平均损失越小越好。

显然，平均损失最小的准则是最优的，贝叶斯判别恰恰是这样一种准则。

Bayes判别分析的标志是：

凡用到先验概率（信息）的方法统称为Bayes判别分析。

损失函数：

已知pi（x）为总体i的密度函数样品来自i的先验概率为qi，属于j被误判为i的损失称为损失函数，记作C（i|j）。

一、两个总体判别,设1、2为两个m维总体，其分布密度分别为p1（x）、p2（x）。

x（x1,x2,xm）一样品，它只可能来自1和2，且来自1的概率为q1,且来自2的概率为q2（q1+q2=1）。

q1、q2通常称为先验概率。

为了判断x（x1,x2,xm）属于哪个总体，我们按某种方式将m维空间Rm分成两部分R1和R2，且R1R2Rm，R1R2，记R（R1,R2）为空间Rm的一个分划（有时也称为判别）。

即RmR1,R2|R1R2Rm,R1R2,由R规定的判别准则如下：

如果x落在R1内，则判其来自总体1；如果x落在R2内，则判其来自总体2。

给定分划的损失函数及平均损失设C（1|2）为样品x来自总体2而误判为总体1的损失，这一误判的概率记为P（1|2,R），其中R（R1,R2）；C（2|1）为样品x来自总体1而误判为总体2的损失，误判的概率记为P（2|1,R）。

于是有P（2|1,R）,2,1,R,P（x）dx,P（1|2,R）,1,2,R,P（x）dx,（6-1）（6-2）,积分（6-1）、（6-2）为m重积分。

1,2,o,o,判别R（R1,R2）的平均损失定义为g（R1,R2）q1C（2|1）P（2|1,R）+q2C（1|2）P（1|2,R）（6-3）所谓Bayes判别就是使平均损失g（R1,R2）达最小的判别。

使平均损失g（R1,R2）达最小的Bayes,定理6-1判别为,1,2,2,1,1,C（2|1）q,C（1|2）q,P（x）,P（x）,Rx:

2,21,1,2,C（2|1）q,C（1|2）q,P（x）,P（x）,Rx:

（6-4）,证明：

设R（R1,R2）由（6-4）给出，R*（R*,R*）为12,Rm的任一划分，即,R*R*Rm，R*R*。

1212,因此g（R1,R2）g（R*,R*）0，即g（R1,R2）g（R*,R*），,故R（R1,R2）为贝叶斯判别。

在实际问题中，损失C（2|1）、C（1|2）往往不容易给出，这时常取C（2|1）C（1|2）1。

推论6-1如果C（2|1）1，C（1|2）1则贝叶斯判别为R1x:

q1P1（x）q2P2（x）R2x:

例6-1设m1,k2，X1N（0,1），X2N（3,22），试就C（2|1）1，C（1|2）1，且不考虑先验概率的情况下判别样品2，1属于哪个总体，并求出R（R1,R2）。

2,exp,11,22,ii,i,i,）/,2,（x,解：

p（x）,i1,2，,1,2,1,1,（20）2,exp,e20.054,p1

（2）,2,21,2,1,2,exp1（23）2/4,e1/80.176,p

（2）,22,22,由于p1

（2）p2

（2），所以2属于2；,2,11,1,exp1（10）2,e1/20.242,p

（1）,2,21,2,1,2,exp1（13）2/4,e1/20.120,p

（1）,2222,p1

（1）p2

（1），所以1属于1。

由,1,1,exp1x22,p（x）,2,2,1,2,exp1（x3）2/22,p（x）,22,即2exp1x2exp1（x26x9）28ln21x21（x26x9）28解得x11.42，x23.41（舍去），所以R（,1.42）,（1.42.）。

例6-2,已知1，2的先验概率分别为,5,1,5,2,q3，q,2，C（2|1）1，C（1|2）1，且,0,11,x,0x11x2其它,fp（x）2x,0,22,1x33x5其它,（x1）/4,（5x）/4,fp（x）,5,1,2,试判别x9，x,2所属的总体。

p1（x）p2（x）,o,123,45,x,解：

p1（9/5）29/51/5,5,2,p（9/5）（91）/41/5,5525,5525,1122,212,qp313qp,所以判x15属于1。

同理判x2,2属于2。

（2）220,p2

（2）（21）/41/4,5410,11229,211,qp0qp,二、多个总体判别,设1,2k为k个总体，具有m维分布密度,k,i1,p1（x）,p2（x）,pk（x），x（x1,x2,xm）为一个样品，它只可能来自1,2k，且来自i的概率为qi，即先验概率为q1,q2,qk（qi1）。

k,给定Rm的一个划分R（R1,R2,Rk），即RiRm，i1,RiRj（ij,i,j1,2,k），由R规定的判别准则如下：

xi，如果x落在Ri内（i1,2,k）。

设C（j|i）为样品x来自总体i而误判为总体j的损失，这一误判的概率记为P（j|i,R），（ij,i,j1,2,k）。

规定C（i|i）0，于是有,（6-8）,P（j|i,R）RPi（x）dx（ij,i,j1,2,k）j积分（6-8）为m重积分。

样品x来自总体i而被判属为i的概率为,P（i|i,R）,i,R,Pi（x）dx，（i1,2,k）（6-9）,kk,判别R（R1,R2,Rk）的平均损失定义为g（R1,R2,Rk）qiC（j|i）P（j|i,R）（6-10）,i1j1使g（R1,R2,Rk）达最小的判别称为Bayes判别。

定理6-2,使g（R1,R2,Rk）达最小的Bayes判别为,Ri（x）x:

hi（x）hj（x）,ji,j1,2,k,i1,2,k,（6-11）,其中，,k,（6-12）,hj（x）qiC（j|i）Pi（x）i1证明：

k,R,j,j,h（x）dx,kk,j,i1j1,Pi（x）dx,g（R1,R2,Rk）qiC（j|i）R,k,k,R,j,j1j1,qiC（j|i）Pi（x）dxi1,如果空间Rm有另一个划分R*（R*,R*,R*）则12k它的平均损失为,k,R,j,j,*h（x）dx,j1,g（R*,R*,R*）12k,g（R,R,R）g（R*,R*,R*）,i,i1,Rhi（x）dx,12k12kkk,R,j,hj（x）dx,*,j1,kk,RR,i,ij,*,i1j1,kk,RR,j,ij,*h（x）dx,i1j1,h（x）dx,kk,RR,ij,*（hi（x）hj（x）dx,i1j1,由（6-11），在Ri上，hi（x）hj（x）对一切j成立，故,g（R1,R2,Rk）g（R*,R*,R*）012k,12k12k,即g（R,R,R）g（R*,R*,R*）,所以R（R1,R2,Rk）为Bayes判别。

由定理6-2的Bayes判别为Ri（x）x:

hi（x）hj（x）,ji,j1,2,k，,ij,ij,0,ij,如果C（j|i）1，其中，,1,ij，则,kkhj（x）qiPi（x）qiPi（x）qjPj（x）i1i1ij,kk,i1j1,hj（x）qiPi（x）qjPj（x）qjPj（x）qiPi（x）,kk,i1i1ij,hj（x）qiPi（x）qiPi（x）qjPj（x）,，其中，,0,ij,qiPi（x）qjPj（x）推论6-2如果C（j|i）1ij1,ijij，则Bayes判别为,Ri（x）x:

qiPi（x）qjPj（x）,ji,j1,2,ki1,2,k（6-13）,

展开阅读全文