Fisher分类器算法与程序Word文档格式.docx
《Fisher分类器算法与程序Word文档格式.docx》由会员分享，可在线阅读，更多相关《Fisher分类器算法与程序Word文档格式.docx（22页珍藏版）》请在冰点文库上搜索。
（3.39）
μμ
类似地，样本总均值向量在该方向的投影为
N
xp
（3.40）
μw
Np1
定义类间散度（Between-classscatter）平方和SSB为
..
~2
Nj
SSBN11
N22
j
j1
wT
μwT
μN
wTμwTμ
wTN
μμμμT
wTSBw
（3.41）
其中
S
B
N1
μμμT
定义类j的类散度（Within-classscatter）平方和为
SS
wTx
Wj
pNj
两个类的总的类散度误差平方和为
W
wj
j1pNj
μx
μT
j1p
wTSWw
其中，
（3.42）
（3.43）
（3.44）
（3.45）
我们的目的是使类间散度平方和SSB与类散度平方和SSw的比值为
最大，即
wTSw
maxJw
（3.46）
SWw
2类
1类
xp1
图3.5a,Fisher判别法—类间散度平方和（分子）的几何意义
p2
p1
图3.5b,Fisher判别法—类内散度平方和（分母）的几何意义
图3.5给出了类间散度平方和SB与类散度平方和SE的几何意义。
根据图3.5a，类间散度平方和SB的另一种表示方式为
SSB
wTμμμμTw
（3.47）
这里
μμμμT
（3.48）
可以证明，（3.48）
与（3.42）
只相差一个系数。
简单证明如下：
由于
N2
N11
（3.49）
由（3.42）得
NN
2N
2μμμμ
11μμμμ
N2
N1N2μμμμT
（3.50）
这说明，（3.48）与（3.42）只相差一个与样本数有关的常数。
根据图3.5b，类散度平方和SSE的另一种表示方式为
SSE
xp1
xp2
wTS
（3.51）
这正是（3.44）
。
下面分析怎样确定最佳投影方向
w。
显然，B、W均为对称阵，于是，
W=
SW
=SW
，且S
v
S2
令
2w，则
2v，代入（3.46）
，得
wTSwvTST
2SS
2v
BW
（3.52）
vTv
使（3.52）为最大，等价于求最大特征值
T2
SBSW
maxSWSB对应的特征向量。
即
maxSW
SBwmaxw
（3.53）
我们知道，
μTw
μμw
（3.54）
于是，（3.53）
可写成
（3.55）
max
μ的方向一致，即
这说明，w得方向与S
wSW
（3.56）
因此，在应用过程中，我们往往不必求出类间散度阵SB。
w与输入空间维数相等，或者说，投影方向过原点。
设分类阈值为，则判别公式为
不定
如果
如果wTx
（3.57）
确定的一些经验公式为
（1）取两个类别均值在w方向投影的简单平均
（3.58）
（2）考虑样本数的两个类别均值在w方向投影的平均
wTNμ
Nμ
（3.59）
或
（3.60）
（3）考虑类方差的两个类别均值在w方向投影的平均
wT~
（3.61）
~1
~2
（3.62）
这里，~1、~2分别为两个类别在w方向投影的均方差。
当然，当类散度阵SW不可逆时，Fisher判别法失效。
例5在研究地震预报中，遇到沙基液化问题，选择了下列7个有关的
因素：
x1：
震级,
x2：
震中距（公里）,
x3：
水深（米），
x4：
土深（米）
x5：
贯入值，
6：
最大地面加速度（
10-2/
2），
Nm
x7：
地震持续时间（秒）。
具体数据如表1所示。
x1
x2
x3
x4
x5
x6
x7
类别
序号
6.6
39
1.0
6.0
0.12
20
I
12
6.1
47
0.08
3
4
8.4
32
2.0
7.5
19
0.35
75
5
7.2
7.0
28
0.30
30
6
113
3.5
18
0.15
7
52
0.16
40
8
9
8.3
0.0
35
180
10
7.8
172
14
0.21
45
11
1.5
3.0
15
II
5.0
4.0
13
9.0
2.5
6.3
4.5
0.20
16
8.0
0.25
17
161
70
0.5
21
22
23
24
5.5
0.18
25
26
27
29
97
31
89
56
33
34
283
解，设数据文件名为d:
\a.txt，用Matlab实现的源程序如下
loadd:
\ss.txt;
a=ss;
m=mean（a（1:
12,:
））;
m（2:
2,:
）=mean（a（13:
35,:
ssb=（m（1:
1,:
）-m（2:
））'
*（m（1:
ssw=zeros（7,7）;
fori=1:
12,
ssw=ssw+（a（i:
i,:
）-m（1:
*（a（i:
end
fori=13:
35,
w=inv（ssw）*（m（1:
;
result=a*w;
theta=w'
）+m（2:
/2;
result（i:
i,2:
2）=theta;
i,3:
3）=i;
投影方向向量为
w=（0.0202,-0.0001,-0.0175,0.0156,0.0160,-0.7333,
-0.0016）T，
分类阈值为=0.1358。
决策面方程为
:
l（x）=0.0202x1-0.0001x2-0.0175x3+0.0156x4+0.0160x5-0.7333x6-0.00
16x7-0.1358=0.
分类结果为
=0.1358
=0.1007
=0.1709
=0.1567
=0.1149
wx
10.1812
20.2772
30.2125
40.3085
50.1749
60.4163
70.2475
80.2325
90.1160***
100.4551
110.1745
120.1739
13-0.0866
140.0542
15-0.0325
160.0414
170.0442
18-0.0153
19-0.0078
200.0797
210.0259
220.0696
23-0.0462
240.0326
250.0645
260.0320
270.0641
0.1365
*
0.1919
30-0.0687
31-0.1126
320.0048
33-0.0361
340.0464
350.0726
升级会员 