高维数据挖掘优化算法研究1.docx

1、高维数据挖掘优化算法研究1高维数据挖掘优化算法研究摘要：提出了一种新的基于T-S模糊模型的建模方法,首先通过一种局部线性聚类算法,自适应确定模糊规则数目及初始T-S模型的前提和结论参数,建立相应的一阶T-S模糊神经网络.并用梯度下降和递推最小二乘混合算法训练网络参数,从而提高建模精度.最后,通过两个仿真实例验证了本文方法的有效性。研究了模糊聚类分析在多变量模糊神经网络的结构确定中的应用。同时在传统的模糊C2均值算法的基础上,给出了一个衡量聚类有效性的函数和确定模糊指数的启发式方法,并给出了应用该算法的具体的模糊神经网络模型。关键词：T-S模糊模型；聚类算法；模糊神经网络；模糊规则；模糊神经网络

2、；模糊聚类；有效性函数；模糊指数1 基于局部线性聚类算法的模糊建模1 引言(Introduction)模糊建模广泛应用于对复杂、非线性、不确定系统的研究中,它能用一系列模糊推理规则,描述系统输入输出行为.在已知输入/输出样本数据时,聚类是模糊建模的基础,是从数据中提取系统结构信息最有效的方法.模糊C均值(FCM)13、山峰减法聚类46等均被用于系统结构辨识.模糊C均值聚类算法要预先确定聚类数,并对聚类中心初始值较敏感;山峰减法聚类算法得到的聚类中心只局限于样本点,并且没有对样本数据分类,因此不能确定类的大小、形状7.Chiu8将山峰减法聚类用于T-S(Takagi2Sugeno)模糊逻辑系统9

3、建模;文7提出了关系隶属度的迭代聚类算法,无须任何先验假设,自动聚类样本数据,文10给出了其收敛证明,并将其应用在T-S模糊建模中,取得较好的效果.但上述聚类算法均将数据样本看作团状分布,与T-S模糊逻辑系统的区域线性思想不一致11.因此,文11提出了线性度量的概念,但其算法实质仍是山峰减法聚类,并没有很好地解决问题.针对上述问题,本文提出了一种局部线性聚类算法,无须任何样本数据的先验假设,根据局部线性思想自动聚类样本数据,从而产生了较优的初始T-S模糊模型,建立了一阶T-S模糊神经网络,并用混合学习算法进行参数辨识,最后通过仿真实例验证说明了该方法的有效性.2 T2S模糊模型(T2Sfuzz

4、ymodel)T2S模糊模型9的结论部分用线性方程的形式代替了一般的模糊数,使系统可用较少的规则描述一个复杂的非线性系统.其多输入单输出推理规则形式为:式中Ali是模糊集合,cli为真值参数,yl为规则Rl的输出,l=1,2,P(P为规则数),其条件部分为模糊,而结论则是各输入变量的线性组合.对于一个输入向量x=(x1,x2,xm)T,T-S模糊逻辑模型的输出y(x)等于各条规则输出yl的加权平均:（2）其中的加权系数l由下式计算:3 局部线性聚类算法(Locallinearcluster2ingalgorithm)数据空间中样本点的属性值决定了样本点在空间中的分布,采用不同方法定义样本点属性

5、值时,样本点的分布也不同.在山峰减法聚类46中定义了样本点的密度势函数,以势密度为样本点属性,改变了样本点在空间中的分布,具体算法不再赘述,仍然只能对团状数据聚类,与T2S模糊逻辑系统的区域线性思想不一致.文9提出了局部线性度量的概念,设有n个样本数据对(x1,y1),(xn,yn),xiRm为输入,yiR为输出,以T2S模型的线性关系yBx+b对样本点xi的附近样本点进行线性拟合,以最优拟合后的拟合误差为基础,定义了样本点xi的局部线性度量函数:以Di为样本点xi的线性度量,用山峰减法聚类逐次确定聚类中心,该方法在一定程度上符合T-S模糊模型的思想,但山峰减法聚类存在一些不足之处,并且聚类结

6、果受到参数接受拒绝域半径a、b以及终止阈值3、3的影响大,参数选择无理论依据11.本文研究了样本点的切斜率,用切斜率定义样本点的局部线性度,在线性程度好的区域,样本点有聚类的趋势,因此以切斜率定义样本点的局部线性度能更好体现T2S模糊模型的优点.下面讨论基于切斜率的样本点局部线性度定义,并给出局部线性聚类算法.首先,由T2S模糊模型的区域线性化思想,可在样本点(xi,yi)附近以线性关系yCx+c0做最小二乘线性拟合,其中C=(c1,cm),对点(xi,yi)的附近可进行以下模糊化处理,其隶属度函数表示为:每个样本点xi均可确定一个隶属度矩阵xi=xi(x1),xi(xn)T,反映其它点在xi

7、附近的程度,由最小二乘法可辨识一组参数i=ci0CiT,使得最小二乘误差函数最小:xi其中j=(1,xj1,xjm)T,“”表示矩阵的点乘积即Hadamard乘积.设I=1,1,1m+1,则由最小二乘估计器可推导得到i为:当表示样本点附近的隶属度函数的取很小的值时,上式求得的拟合参数Ci近似为样本点xi的切斜率,本文以样本点的切斜率Ci来定义样本点的局部线性度量.基于样本点局部线性度定义和文7的关系隶属度聚类,本文将两者结合,提出了局部线性聚类算法,与文7的关系隶属度不同在于:本文计算样本点以局部线性度分布的关系隶属度,使样本点在线性区域形成聚类,而文7则使点在密集区聚类.具体步骤如下:设n个

8、样本数据对(x1,y1),(xn,yn),xiRm为输入,yiR为输出,xi=(xi1,xim)T.Step1:通过式(5)和(7)计算每个样本点的局部线性度Ci(i=1,2,n)的值,为方便计算,对Ci归一化,并定义样本数据为Oi=xTiCi12m.Step2:定义n个矢量Vi(i=1,2,n),令Vi=Oi,即Oi是Vi的初值.Step3:计算参考矢量Vi与比较矢量Vj之间的关系度:其中Vi-Vj表示Vj与Vi的欧氏距离,w是高斯函数的宽度,决定了聚类数目10.Step4:改变Vj与Vi之间的关系度,使Step5:由下式计算Wi=wi1,wi2,wi2m:j=1Step6:若所有矢量Wi和

9、Vi(i=1,2,n)都相同,则转Step7,否则令Vi=Wi,返回Step3.Step7:基于最终结果Vi(i=1,2,n),可以确定聚类的数目等于收敛矢量的数目,具有相同收敛矢量的样本数据被划分到同一类中,并且收敛矢量是样本数据的聚类中心.通过上述局部线性聚类算法就把样本数据分为p个聚类,并得到了相应的聚类中心Sk=(sk1,skm,skm+1,sk2m),其中k=1,2,p,p为聚类数即模糊规则数,Sk中前m个向量Sk1=(sk1,skm)为所有的样本点输入x的聚类中心,对应于T2S模型中前提模糊集合的Ak1,Ak2,Akm的核,后m个向量Sk2=(skm+1,sk2m)为所有的样本点的

10、线性度C的收敛中心,对应于T2S模型每个规则的结论真值参数ck1,ck2,ckm,k代表第k条模糊规则,模糊规则前提模糊集合的隶属度函数Aki(xi)可用高斯隶属度函数表示:其中,第k条规则的各隶属度函数的宽度由k决定,可由下式给出:其中u=0.2,且x3k是第k个类中离输入x的聚类中心Sk1=(sk1,skm)距离最远的点,设第k类中有q个样本点,原始输出空间第k个聚类的中心及第k条规则的结论真值参数ck0可由式(13)、(14)给出：至此,整个T2S模糊模型的初始结构的前提参数、结论参数、模糊规则均已确定。4 模糊神经网络参数学习通过上述聚类算法,确定了一个初始的T-S模糊模型,为了提高模

11、型的精度,有必要对前提及结论参数进行调节,本文建立经典一阶T2S模糊神经络来进行参数学习,其网络结构如图1所示,由于幅所限,具体的网络结构2,12,13本文不再赘述。图1T2S模糊神经网络Fig.1T2Sfuzzyneuralnetwork首先定义误差代价函数:其中yj为期望值,yj为预测值;在局部线性聚类算法已确定结论参数的前提下,固定结论参数采用误差反传的梯度下降法调节前提参数ski和k,其参数调整学习算法为:其中k=1,2,p,i=1,2,m,和分别为ski和k的学习率,前提参数调整后,固定前提参数,结论参数cki用递推最小二乘法辨识:其中,x=(c10,c1mi,cp0,cpm)T,y

12、=(y1,yn),b=(1,1x1,1xm,p,p1x1,pxm)T,PR(p+1)(p+1),p为聚类数目(规则数目),初始值为P0=I,为很大的正实数.重复上述步骤,直到误差不再减小或达到最大迭代次数为止.5 仿真实例(Simulationexamples)为了说明上述局部线性聚类算法及其建模的有效性,采用两个仿真实例来验证如下例1:二维非线性函数y=sin(x-10)/(x-10);采样间隔0.5,取41个数据作训练样本。使用上文中的局部线性聚类算法对上述41个样本数据进行聚类,图2所示取w=0.5时,得到聚类数p=7时的聚类中心与模糊规则,并与文8和文11所提取的聚类中心和规则进行了对

13、比,见图3和图4.图2明显更能反映样本点的线性分布,体现了T2S模糊模型的优点图2p=7时的聚类中心及模糊规则Fig.2Clusteringcentresandfuzzyrulewhenp=7图3文8提取的模糊规则及聚类中心Fig.3Clusteringcentresandfuzzyruleextractedby8图4文11提取的模糊规则及聚类中心Fig.4Clusteringcentresandfuzzyruleextractedby11并且,进行参数辨识后,模型的训练均方根误差检验误差RMSEchk=0.00084,远高于文8、文11的精度.模型预测输出如图5所示.图5期望输出与模型输出F

14、ig.5Expectationoutputandmodeloutput例2:三维非线性函数:y=sin(x1)sin(x2),其中x1-1,1,x20,1.从上述方程的输入空间-1,10,1中,以采样间隔0.1,取231个数据点作为训练样本数据.使用本文的局部线性聚类算法取w=0.1时,得到7条模糊规则,如图6(a)所示,调整高斯基的宽度w=0.09后,得到了9条模糊规则,如图6(b)所示.由图6可知,w越小,线性逼近的精度越高.图7(a)为三维非线性曲面的学习样本输出,图7(b)为模糊规则数目p=7时的模型预测输出曲面.(a) w=0.1时,模糊规则p=7(b) w=0.09时,模糊规则p=

15、9图6模糊规则Fig.6Fuzzyrules(a) 系统输出曲面(b) 模型输出曲面图7输出曲面Fig.7Outputsurface当取w=0.1、模糊规则p=7进行模糊建模时,训练误差RMSEtrn=0.00165,检验误差RMSEchk=0.00201,在相同精度前提下,文7提取了13条模糊规则.而利用文8的方法建模时,在相同的数据规模及相同的模糊规则数的前提下,其建模精度仅为RMSEchk=0.0254,从而说明了本文方法的有效性.2模糊聚类分析在模糊神经网络结构优化中的应用1 引言模糊神经网络的应用在近几年来得到飞速发展。这是因为模糊神经网络既具有模糊控制的简单有效的非线性控制作用,又

16、具有神经网络的学习和适应能力。但是在模糊神经网络的设计过程中,在确定隶属函数的数目和隶属函数参数(即模糊神经网络结构)等方面存在许多问题。在大多数情况下使用的方法是人为的试凑法,该方法需要很长时间。另一个问题是调整过程很容易陷入局部最优。由于输入空间的有效划分能有效地减少模糊规则的数目,所以输入空间的划分也是十分重要的。因此确定隶属函数的数目及其参数是非常重要的。本文讨论了确定模糊神经网络结构的方法。通过将模糊C2均值算法、有效性函数和模糊指数相结合来确定模糊神经网络的结构。并给出了应用该算法的具体的模糊神经网络模型。该方法与其它方法l们比更有效,而且实用范围更广泛。2 模糊聚类分析FCM算法

17、就是将数据集(Xx1,X2,xnRP)分成c组,以使各类中的样本到聚类中心的加权距离平方和达到最小。在模糊聚类中目标函数常取如下形式:其约束条件为：ic,1kn。这里n为总的样本数据点数;c为聚类中心数;U为隶属函数矩阵;ik是矩阵U的第i行第k列元素,代表第k个数据对对第i个聚类中心的隶属度v=v1,v2,vc为聚类中心矩阵;dik=xk-vi,表示第k组数据对于第i个聚类中心的距离。m(1,)是模糊指数。模糊指数越大,聚类的模糊程度就越大。目标函数Jm达到最小值的必要条件是:得到聚类中心和隶属函数后,用下式计算模糊协方差矩阵Fi,j=1对于高斯型隶属函数,每个隶属函数的标准偏差用矩阵Fi的

18、对角元素的平方根表示:这里,p为输入矢量的维数。FCM算法一个重要的问题就是确定模糊聚类的数目。如果采用传统的按输入维数的划分的方法。将会导致模糊规则的数目随输入维数的增加而成指数增长即“维数灾难”问题的出现。FCM算法中另一个十分重要的因素是模糊指数m。m的选择依问题而定。当ml,FCM算法趋向于传统的硬C均值算法;当m时所有聚类的中心趋向于整个采样数据的中心。这样确定模糊神经网络的结构中存在3个问题:(1)模糊聚类分析;(2)模糊指数;(3)聚类有效性函数。如图(1)所示。3 改进的FCM算法3.1 有效性函数早在1965年模糊集论问世之初,Zadeh本人就给出一个聚类有效性量度:分离度,

19、但后来发现它对模糊聚类有效性的判断并不十分有用。1974年Bezdek提出了划分系数的概念,才真正构成第一个实用的度量聚类有效性的泛函。但它的主要缺点是它的单调趋势以及与数据自身的某些特性缺少直接联系。以后又逐渐提出划分熵,比例指数和分离系数等方法。但直到1989年Xie和Beni提出了Xie2Beni方法2,聚类有效性问题才得到了进一步发展。本文所提出的方法是在Xie2Beni方法基础上发展起来的。在Xie2Beni方法中首先定义了模糊聚类的紧致性:然后定义了模糊聚类的分离性:模糊聚类的有效性函数S被定义为模糊聚类的紧致性和分离性之比,S=comp/Sep。很显然最小化S对应最小化的Jm,而

20、最小化Jm是FCM算法的目标。而且聚类越独立,(dmin)2越大,S也越小。这样一来最小化S就代表一个有效的最优划分10。但是,该函数当c变得很大接近n时存在单调递减的趋势。为了减小这个趋势,将该函数改成如下形式:这里（9）引进函数的目的是将离聚类较远的对聚类的紧密性贡献不大的数据剔除掉。将ik从原式的分子上移到式(8)的分母上是为了加强紧密性。因为ik。越大就意味着模式k。越接近聚类中心vi。,而k-vi2/mikvik就越小,函数S值就越小。S越小聚类就越有效。引进的新的系数ik在式(8)的位置紧挨着ik,与ik起同样的作用。vik的表达式中包括系数i和k-vi2。i越大,则意味着聚类越松

21、散,vik越小,k-vi2/mikvik就越大。而且i越大,则意味着聚类越松散,vik越小,k-vi2/mikvik就越大。而且i越大,min1i,kcvi-vk2/(2i+2k)就越小,S就越大。因此取S随c增加而成为最小点的值作为聚类数。2.2模糊指数在FCM算法中,模糊指数m引入的作用是避免在求导时ik消失而无法解得ik。但m的引入在定量上增加了随意性,而且数学物理概念上不清晰。文献3指出模糊指数可以加强样本属于各类从属程度的对比度。但是为什么要加强样本属于各类从属程度的对比度,什么情况下需要加强,加强到什么程度等问题缺乏研究。所以对于FCM算法,只能根据经验选择模糊指数值。而本文所提出

22、的有效性函数,虽然可以用来确定模糊聚类的数目。但是由于该方法使用聚类中心来计算模糊聚类的紧致性和分离性,所以受模糊指数m的影响较大。m选得过大或过小都会使该方法失效。在实际应用中如何确定模糊指数m缺乏依据,从而人为的引入一定的主观任意性成分,导致聚类结果不准确甚至不可信。本文使用启发式方法来确定模糊指数,从而使隶属函数尽量覆盖整个输入空间,以避免模糊推理中没有一条规则被点火,从而发生“推理中断”现象。对于给定的训练数据,应该使每一维数据上的每一个隶属函数在相应轴上。根据给定的数据,每一维上的采样的协方差应该事先确定。对应的偏差保存在STD中,用来调整模糊指数。m的初始值为1。m的初始值为0.1

23、。该方法依次在数据每一维上调整模糊指数。在对应的维上检查算法的标准偏差F-std是否小于给定的标准偏差Std。如果小于给定的标准偏差,则应用FCM算法计算相应的协方差矩阵Fi和标准偏差il,取il的最大值赋给算法的标准偏差,同时按给定的步长增大模糊指数。然后再将改变后的算法的标准偏差与给定的给定的标准偏差相比较,如果仍小于给定的标准偏差,则重复上述更新算法的标准偏差和模糊指数的操作。直到算法的标准偏差大于或等于给定标准偏差。然后转到下一维,重复更新算法的标准偏差和模糊指数的过程,直到数据最高维。最后得到模糊指数m值为整个模糊聚类算法的模糊指数11。调整模糊指数的过程如下:procedureso

24、fadjustingfuzzyexponentfor(l=1;dimensionsofinputvectorp;l+)initializestd=STDk;F-std=0;while(F-stdstd)applyFCMtocalculateFiandilfor1ic;F-std=max1icil;mm+mendend3.3 模糊神经网络模型由于模糊聚类算法是对输入空间的直接划分,使用的是多维隶属函数。这样就使模糊系统的模糊规则的数目大大减少。从而避免了传统的按输入维数的划分的方法的“维数灾难”问题的发生12。传统的方法首先将输入空间的每一维进行划分,然后整个输入空间的划分数目是每一维划分数目的

25、乘积。多输入单输出的模糊神经网络的模型如图2所示。令O(r)i表示第i层,第r个神经元的输出。图中各层之间的连接权值均为。各层的作用及节点函数如下:第一层是输入层,将输入直接传入到第二层。第二层是一维输入变量隶属函数层,计算数据在各自论域中的一维隶属度。用高斯型隶属函数时:第三层到第四层的输入输出关系:输出层的神经元采用求和的形式计算输出:式中,Cil为隶属函数的中心,il为高斯型隶属函数的标准差。第三层是多维输入变量隶属函数层,计算数据在各自论域中的多维隶属度。节点数目等于模糊规则的数目,其神经元采用乘积形式,神经元的输出:3 总结基于T2S模糊模型区域线性化建模思想,本文定义了样本点的线性

26、度,给出了局部线性聚类算法,无须对样本数据做任何先验假设,自动聚类样本数据,从而产生初始T2S模糊模型的前提结论参数,利用梯度下降混合递推最小二乘法进行参数辨识,提高了建模的精度,是一种有效的T2S模糊模型建模方法。基于T2S模糊模型,针对带有外界扰动的参数不确定非线性系统,设计了H输出反馈控制器.利用线性矩阵不等式,得到了控制器存在的充分条件,这个充分条件只用一个矩阵不等式表示,形式简单,而且充分考虑了各个子系统之间的相互作用,降低了以往文献中的稳定性条件,为解决不确定非线性系统的H控制问题提供了一个新的思路.文中给出了利用线性矩阵不等式方法,设计不确定非线性系统的H状态反馈控制器的系统化方

27、法.本文将模糊聚类分析引人模糊神经网络的结构确定中,在传统的模糊C2均值算法的基础上,给出了一个衡量聚类有效性的函数和确定模糊指数的启发式方法,并给出了应用该算法的具体的模糊神经网络模型。该方法具有以下特点:(1)该方法有效地解决了模糊神经网络的结构确定中的“维数灾难”问题和“推理中断”问题。(2)该方法使模糊神经网络的结构确定具有一定的理论依据,使其在数学推导上更为严谨,在物理意义上更加清晰,在应用上更能适合实际情况需要,从而使模糊聚类算法成功地应用于多变量模糊神经网络中,拓宽了模糊聚类算法的应用范围,加快了模糊神经网络的计算速度。基于该方法,可进一步研究模糊神经网络的建模问题、模糊神经网络

28、的稳定性分析问题和模糊神经网络控制器设计问题。但是由于模糊聚类分析在模糊神经网络领域的应用还处于起步阶段。在如何避免由于模糊规则不完全而带来的网络振荡、如何避免模糊规则组合爆炸和建立相应的适合模糊聚类的模糊神经网络模型等方面还有待与进一步的研究。参 考 文 献 ( References) 1 Takagi T, Sugeno M. Fuzzy identification of system s and its appli2cation to modeling and control J . IEEE Transactions on Sys2tem s, Man and Cybernetics

29、, 1985, SMC215(1): 116132. 2 Feng G, Cao S G, Ress N W , et al. Design of fuzzy control sys2tem s with guaranteed stability J . Fuzzy Sets and System s,1997, 85(1): 110. 3 Cao S G, Ress N W , Feng G. Stability analysis and design for aclass of continuous2time fuzzy control system s J . International

30、Journal of Control, 1996, 64(6): 10691087. 4 L i J, N iemann D, W ang H O, et al. Parallel distributed compen2sation for Takagi2Sugeno fuzzy models: multiobjective controllerdesign A . Proceedings of the American Control Conference C . Piscataway, NJ, USA: IEEE, 1999. 18321836. 5 W ang H O, L i J, N

31、 iemann D, et a l. T2S model with linear ruleconsequence and PDC controller: a universal framework for non2linear control system s A . Proceedings of the IEEE InternationalConference on Fuzzy System s C . Piscataway, NJ, USA:IEEE, 2000. 549554. 6 Tseng C S, Chen B S, Uang H J. Fuzzy tracking control design