基于层次贝叶斯自适应稀疏的高斯混合模型.pdf

基于层次贝叶斯自适应稀疏的高斯混合模型.pdf

《基于层次贝叶斯自适应稀疏的高斯混合模型.pdf》由会员分享，可在线阅读，更多相关《基于层次贝叶斯自适应稀疏的高斯混合模型.pdf（67页珍藏版）》请在冰点文库上搜索。

硕士学位论文基于层次贝叶斯自适应稀疏的高斯混合模型HierarchicalBayesbasedAdaptiveSparsityinGaussianMixtureModel学号：

2121加08指导教师：

莶阊大连理工大学DMianUniversityofTechnology万方数据大连理工大学学位论文独创性声明作者郑重声明：

所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。

尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。

与我一同工作的同志对本研究所做的贡献均己在论文中做了明确的说明并表示了谢意。

若有不实之处，本人愿意承担相关法律责任。

学位论文题目：

作者签名：

万方数据大连理工大学硕士学位论文摘要高斯混合模型（GaussianMixtureModel，GMM）因其较好的灵活性、模型简易型和理论成熟性而在统计学中广泛使用，且在诸多领域中，如图像处理、计算机视觉、数据挖掘和机器学习等，获得良好性能。

然而，一个重要问题是：

面对来源于高维空间，如数千维，数据时，GMM数百万维协方差矩阵估计将是一个极大挑战。

究其原因在于，我们需要同等数量的样本进行参数估计，而在诸多实际情形中，样本数量远不足于待估计参数数量，从而产生“过拟合”现象。

近年来，得益于LASSO变量选择和稀疏回归模型的提出及迅猛发展，一系列有效方法关注于如何对高维参数空间施加稀疏约束，从而挖掘出其内蕴的稀疏结构。

具体到高斯图模型（GaussianGraphicalModel，GGM），一类方法由分析协方差矩阵结构延展至精度矩阵（逆协方差矩阵）结构；另一类方法则是由优化一阶问题延伸至二阶问题。

在众多方法中，最典型最重要的当属GLASSO（GraphicalLASSO）。

在本论文中，针对GGM描述分布能力有限、GLASSO参数估计有偏，以及需要超参数调节等缺陷，我们从结构化学习角度提出一种十分有效的层次贝叶斯自适应稀疏高斯混合模型（AdaptiveSparsityGMM，ASGMM）。

具体地，考虑到判别式L1范数等价于生成式Laplace分布通过两层贝叶斯描述，我们在GMM中注入Jeffrey非信息先验获得两层贝叶斯自适应稀疏先验。

该先验作用于精度矩阵，在挖掘其稀疏性同时大大减少样本数量。

更重要地，该先验不需要任何超参数调节施加的非信息先验“让数据自身说话”，且无偏估计的稀疏精度矩阵能自适应于数据。

具体到算法细节，ASGMM方法由三个步骤组成：

首先，我们通过嵌入基于Je疏ry非信息化超先验的层次贝叶斯模型来自适应估计GMM稀疏精度矩阵；其次，我们对GMM精度矩阵进行Cholesky分解，用以保证其正定性；最后，我们针对ASGMM目标函数构造合适的0函数，进而利用期望最大化框架求解出GMM精度矩阵元素值。

在合成数据集上，一系列实验结果表明，我们提出的ASGMM方法在拥有较小精度矩阵估计误差的同时，较好地挖掘出精度矩阵的稀疏度（在凸约束上两者不可能同时获取）。

在真实数据集上，较之于GMM以及其它传统方法，ASGMM具有最优聚类性能。

这表明高维精度矩阵确实存在稀疏结构，且挖掘其稀疏性有助于数据聚类。

习关键词：

高斯混合模型；高维参数估计；层次贝叶斯；自适应稀疏先验；图结构学万方数据HierarchicalBayesbasedAdaptiveSparsityinGaussianMixtureModelAbstractGaussianMixtureModelfGMM）hasbeenwidelyusedinstatisticsforitsgreatflexibility，simplicity，andmaturetheory，andgainedgoodperformanceinmanyapplicationsHowever，whenfacinghighdimensionaldata，eg，manythousands，parameterestimationforcovariancematrixinGMMwithmillionsofdimensionalityiSagreatchallengeInthiscase，thenumberofobservationdataiSfarlessthanthatofparameterstObeestimated，thuseasilyoverfittingRecently，benefittingfromtherapiddevelopmentofLASSOinducedvariableselectionandsparsereRressionmodelaseriesofworkfocusonhowtOimposesparseconstraintonthehighdimensionalparameterspaceandthendiscoveritsintrinsicsparsestructureSpecifictoGaussianGraDbjcalModel（GGM），onetypeofmethodsarefromanalyzingcovananeematrixtoprecisionmatrix；Theothertypearefromoptimizingfirstorderproblemtosecond。

orderproblemAmongthesemethodsGLASSOiSthemostimportantandrepresentativeInthispaperagainstthedrawbacksofdescriptionIimitaioninGGM，biasedandhyperparametertunedGLASSO，weproposeaneffectivemethod，namedAdaptiveSparsityinGaussianMixtureModel（ASGMM），fromthestructurelearningSperspectiveSpecifically，considerthatdiscriminativeL1normisequivalenttogenerativeLaplaceprior，representedbyatwo1ayerBayesianmodelweincorporateanoninformativeJefieryprioronGMMtoobtainanadaptivesparsiwpriorThepriorwasimposedontheprecisionmatrices，whichencouragessparsityand1argelyreducesthenumberofsamplesMoreimportant，thepriordoesnotinvolveanyhyperparameterstobetuned，andtheunbiasedestimateofsparseprecisionmatricesadaptstot11eobservationdataTheproposedmethodiSachievedbythreesteps：

First，weformulateanadaptivehierarchicalBayesmodeloftheprecisionmatricesintheGMMwithaJeffreySnoninformativehyperpriorSecond，weperformaCholeskydecompositionontheprecisionmatricestoimposethepositivedefinitepropertyFinally，weconstructanappropriateQFunctionfortheobjectivefunctionofASGandsolvetheproblemofprecisionmatricesandsparsityestimationofGMMint11eexpectationmaximization（EM）frameworkExperimentalresultsonsyntheticdatademonstratethatASGMMCandiscoverthesparsestructureofprecisionmatriceswithsmallestimatederrorOnrealworlddata，itachievesthebestclusteringperformancecomparedwithseveralclassicalmethodsincludingGMMKeyWords：

GaussianMixtureModel；High-dimensionalparameterestimation；HierarchicalBayes；Adaptivesparsit、，prior；GraphicalstructurelearningII万方数据大连理工大学硕士学位论文目录摘要IAbstractII1绪论l11研究意义112研究进展313结构安排62LASSO及其层次化模型721压缩采样与LASSO回归7211前向选择和前向梯度算法8212LARS算法9213LASSO一般化模型1322层次贝叶斯LASS014221Laplace先验层次化表示l5222LASSO及其一般化模型贝叶斯层次化15223LASS0Gibbs采样17224讨论193稀疏高斯图模型2031高斯图LASSO20311L1范数直接优化法20312乘子交替方向法ADMM2232贝叶斯高斯图LASSO25321GLASS0先验25322贝叶斯推断及块Gibbs采样27323讨论294层次贝叶斯自适应稀疏高斯混合模型3041高斯混合模型3042自适应稀疏层次贝叶斯表示3143GMM稀疏精度矩阵层次化表示3244GMM精度矩阵自适应稀疏估计3345ASGMM并入Cholesky分解355实验结果38Ill，万方数据基于层次贝叶斯自适应稀疏的高斯混合模型51合成数据聚类效果验证3852误差估计和稀疏度获取3853实际数据聚类结果测试43结论一47参考文献48附录ALASSO层次化模型53附录B模式转移核关系57攻读硕士学位期间发表学术论文情况58致谢一59大连理工大学学位论文版权使用授权书60IV万方数据大连理工大学硕士学位论文1绪论11研究意义随着计算机、智能移动设备和穿戴设备的广泛应用，人们获取数据的速度、广度、方式手段较之以往大不相同，可不分时间、地点、极方便地大量获取信息。

之于此，这些数据呈现了快速增长、快速更新、高维、非结构化、异质性等诸多特点。

具体到一类应用，如图像识别、物体跟踪、多媒体计算、文本挖掘、文本聚类、生物信号处理等，获得的数据往往是高维复杂的。

因此，从海量数据中挖掘有效样本以及数据间的关系具备十分重要的意义。

与上述情形相对，另些应用，如医学功能性核磁共振成像（fMRI），采集数据需要较高昂的成本，而这使得有意义样本十分有限。

因而，在受限样本中发现数据内在规律，并作出合理预测成为计算机科学的迫切需求。

在本论文中，我们着重探讨如何在受限高维样本下构建模型，进而给出合理分析和预测。

在诸多统计模型中，高斯混合模型（GaussianMixtureModel，GMM）因其模型较好的灵活性、简洁性以及理论成熟性而经常被用来进行密度估计，聚类和判别分析【lj。

作为生成模型（GenerativeModel）用于聚类分析，GMM对每一个簇用高斯图模型（GaussianGraphicalModel，GGM）进行建模。

同时，同时GMM假定每一个样本采样于特定的簇。

不幸地是，尽量GMM表达灵活，但当建模高维数据时，它的性能会快速退化甚至失效。

一个重要的原因在于：

当样本维度线性增加时，GMM协方差矩阵待估计参数会以平方级数量增加。

为了满足模型估计，所需样本数也需以相应的平方级速率增加。

然而，在受限样本约束下，直接使用GMM建模容易出现参数过拟合现象。

过拟合而会使得GMM模型传统意义下的解不稳定，甚至失效。

解决过拟合现象通常具有两种思路：

一种是直接对模型待估计参数引入正则项约束如L2范数，此种思路更加在于关注如何避免过拟合现象，而非去深入探讨引起过拟合现象的背后原因。

另一种对应思路则侧重于分析并挖掘待估计参数的结构，进而利用结构化学习来解决过拟合。

在本文中，我们聚焦于结构化学习。

先前一系列方法尝试寻找数据协方差矩阵预估参数的条件独立性担J。

以GGM为例，推断其图结构等价于求解出精度矩阵（逆协方差矩阵）中非零元素：

若精度矩阵第（j，J）个元素值为零，则给定其它变量时，变量i和，条件独立。

此种方法旨在操作高维矩阵的每一个待估参数而减少变量间的依赖性，然而这是一组合优化（NP）问题，实际操作代价极其昂贵。

因而，本质上它是不现实的，从这个意义上讲，它仍旧无法解决高维参数的过拟合问题。

万方数据基于层次贝叶斯自适应稀疏的高斯混合模型受上述思路启发，研究者们致力于寻求全新思路来克服GGl中高维参数估计的困难。

总体地，这些方法分为两大类：

第一类是直接针对GGM样本协方差矩阵进行分析处理p岱J。

这类方法优势在于计算容易且方便快速，同时无需顾及样本的维度。

然而它们无法挖掘GGM高维参数中的稀疏图结构。

作为一个配对物，另一类方法则旨在发现高维参数中自然存在的稀疏结构。

具体来讲，不同于处理GGM中协方差矩阵，这类方法由于察觉到精度矩阵存在的条件独立，而对精度矩阵施加结构化稀疏约束，进而获取预估参数问内在稀疏结构。

开创性GLASSO（GraphicalLASSO）方法19J通过设置其它变量为预测子，而对每个变量应用LASSO模型，进而近似求解精度矩阵；紧接着，一系列直接求解方法2,10-131被提出，这些方法首先分别构建不同的代价函数，然后施加控制稀疏度的L1范数惩罚项于精度矩阵上，最后目标函数可利用最大似然估计（MaximumLikelihoodEstimate，MLE）求解得到。

由于GGM仅处理单个高斯模型，因而其描述复杂数据分布时无能为力。

一个自然思路是将单个高斯扩展到多个高斯高斯混合模型。

得益于GGM方法的理论成熟，Ruan等人114J提出了高斯混合LASSO（GaussianMixtureLASSO，GMLASSO）方法。

本质上讲，GMLASSO是GLASSO模型的延伸用混合高斯代替单个高斯。

该方法首先分别对GMM每个高斯模型的精度矩阵使用L1范数正则项来控制稀疏度，进而将每个子高斯模型转化为GLASSO可求解的模态。

通过调节正则项超参数，GMLASSO在合成数据上能够一方面获得精度矩阵的较小估计误差，且同时较好地获得其稀疏度，以及在实际数据集上取得不错的聚类效果。

然而，上述基于稀疏L1范数正则化的方法无论是GLASSO，还是GMLASSO存在如下两个主要问题：

一方面，这些方法都含超参数调节，也即，它们需要通过交叉验证（CrossValidation）来逐步调节用于控制稀疏度的L1正则项超参数来获得不同结果，继而从中找出“最优”结果对应的超参数。

值得说明的是，超参数选择是机器学习领域中较为棘手的问题，因为我们无法较好地预设超参数初始值范围，而在一些情况下，算法性能会随着超参数选择不同而发生很大变化【l川。

另一方面，基于L1范数的估计是有偏的ll6|，也即它会软阈值收缩所有回归系数。

考虑上述两点缺陷，我们力图寻求种模型，使得该模型无需超参数调节，能自适应估计稀疏图结构对应的精度矩阵，同时该估计是无偏的。

基于此，我们提出种基于两层贝叶斯模型的GMM精度矩阵自适应稀疏估计方法。

出于方便，我们称之自适应稀疏高斯混合模型（AdaptiveSparsityinGaussianMixtureModel，ASGMM）。

该方法从结构化稀疏学习角度出发，且具备如下令人注目的特点：

第一，不同于基于L1范数有偏估计和超参数调节的方法，ASGMM主要优势在于它不万方数据大连理工大学硕士学位论文涉及任何超参数估计，且估计自适应于给定的数据。

具体地，它通过引入Jeffrey非信息先验ll7J来构建自适应稀疏超先验，进而估计精度矩阵。

自适应稀疏超先验是一改进的两层BayesLaplace先验首先将判别式L1范数对应的Laplace分布转化为对应的生成式BayesLaplace先验，继而引入Jeffery非信息先验替代第二层次它是非超参和无偏估计的【18，l9l。

第二，ASGMM目标函数是基于矩阵的凸优化问题。

考虑到精度矩阵的正定性，我们使用Cholesky分解来直接获取其正的特征值，并将其转化为较易解决的基于元素的求解方程组问题。

第三，由于存在无法求导的log对数求和项，我们利用其凸函数性质，构建ASGMM目标函数对应的紧致上界O函数。

进而，ASGMM能自然地嵌入到期望最大化（ExpectationMaximization，EM）20】框架而求得所需的估计参数。

12研究进展随着科学技术的不断发展，当代统计问题所面临的数据日渐高维，“高维”意味着数据维度（远）大于数据样本大小这使得待处理的参数非常大。

此类型一大重要问题涉及到估计高斯图模型（GaussianGraphicalModel，GGM）或高斯马尔科夫随机场（GaussianMarkovRandomField，GMRF）的图结构，及所对应的应用：

如基因网络的生物推理、伽u大脑关联数据分析和社交网络交互分析等。

在众多处理高维数据手段中，一类