多元统计分析方法.docx

1、多元统计分析方法多元统计分析概述一、引言 3二、多元统计分析方法的研究对象和主要内容31.多元统计分析方法的研究对象 32.多元统计分析方法的主要内容 3三、各种多元统计分析方法 3 1.回归分析 3 2.判别分析 63.聚类分析 84.主成分分析 105.因子分析 106.对应分析方法 117.典型相关分析 11四、多元统计分析方法的一般步骤 12五、多元统计分析方法在各个自然领域中的应用 12六、总结 13 参考文献 14 谢辞 15一、引言统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基 础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统 计数据方法

2、的总称，是统计学中的具有丰富理论成果和众多应用方法的重要分 支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实 例来进一步了解多元统计分析方法的具体实现过程。二、 多元统计分析方法的研究对象和主要内容（一）多元统计分析方法的研究对象由于大量实际问题都涉及到多个变量，这些变量又是随机变量，所以要讨论 多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方 法的总称。其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量 特有的一些问题，多元统计分析是一类范围很广的理论和方法。现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中， 有两种方法

3、可同时对多个随机变量的观测数据进行有效的分析和研究。一种方法 是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。 但是， 这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析 的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另 一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个 随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的 相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及内在统 计规律的一门统计学科。（二）多元统计分析方法的主要内容近年来，随着统计理论研究的不断深入，多元统计分析方法

4、的内容一直在丰 富。其中，主要内容包括多元正态总体参数估计、假设检验和常用的多元统计方 法。多元正态总体参数估计、假设检验是多元统计推断的核心和基础，而常用的 多元统计分析方法则是具体应用。从形式上，常用多元统计分析方法可划分为两 类：一类属于单变量常用的统计方法在多元随机变量情况下的推广和应用，如多 元回归分析，典型相关分析等；另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析， 因子分析，聚类分析，判别分析，对应分析等。三、各种多元统计分析方法具体来说，常用的多元统计分析方法主要包括：多元回归分析、聚类分析、 判别分析、主成分分析、因子分析、对应分析、典型相关分析等。下面我们

5、对各 种多元统计分析方法就行分别描述，（一） 回归分析回归分析是最灵活最常用的统计分析方法之一，它用于分析一个因变量与一 个或多个自变量之间的关系。特别是用于：（1）定量的描述和解释相互关系；（2） 估测或预测因变量的值。回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个变 量与其余变量的依赖关系。如果只要考察一个变量与其余多个变量之间的相互依 赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个自变量之间的 相互依赖关系，我们称为多因变量的多元回归问题。多元回归分析是研究因变量 Y 与 m 个自变量 x1，x2，xm 的相关关系 ，而且总是假设因变量 Y 为随机变量，而

6、x1，x2，xm 为一般变量。下面我们来看一下多元线性回归模型的建立。假定因变量Y 与 x1，x2，xm 线性相关。收集到的n 组数据( yt, xt1, xt2,L ，xtm)( t=1,2, n)满足以下回归模型：yt = 0 + 1xt1 + + mxtm+ t(t=1,2,L ,n) E( t )=0,Var( t )= 2,Cov( i , j )=0(i j)或 t N(0, 2),相互独立(t=1,2,L n).记 1 x11 K x1m C= M O M =(1 MX) 1 xn1L xnm Y= y1 y2 M , = 0 10 M , = 1 2 M yn m n 则所建回

7、归模型的矩阵形式为Y=C + ,E( )=0n ,D( ) = In,或Y =C + , Nn(0, 2In), 并称它们为经典多元回归模型，其中 Y是可观测的随机向量， 是不可观测的随 机向量，C 是已知矩阵， ， 2 是未知参数，并设 nm，且 rank(C)=m+1。在经典回归分析中，我们讨论模型中参数 = ( 0, 1,L , m) 和 2 的估计和检 验问题。近代回归分析中讨论变量筛选、估计的改进，以及对模型中的一些假设 进行诊断等问题。我国国内生产总值与基本建设投资额的大小有密切关系，研究发现两变量之 间存在线性关系。根据甘肃省 1990-2003 年的国内生产总值与基本建设投资额

8、数据，研究它们的数量规律性，探讨甘肃省基本建设投资额与国内生产总值的数量 关系，原始数据见下表。年份GDP（亿元）基本建设投资（亿元）1990242.829.041991271.3933.961992317.7939.221993372.2442.891994451.6658.191995553.3562.621996714.18101.421997781.34121.741998869.75157.141999931.98187.492000983.36208.2820011072.51228.6320021161.43263.0620031304.6307.3利用 excel 进行分析，具

9、体输出以下数据，平方和自由度方 差F 检验值回归1553189.711553189.7残差59475.667124956.3056313.3765001离差1612665.413复 相 关 系 数 R =.981386594345333剩 余 标 准 差 SY =70.4010340269248 回归方差与剩余方差之比 F =313.376500123223 各个自变量的 t 检验值17.70244334t 检验的自由度 N-P-1 =12F 检验的自由度第一自由度=1,第二自由度=12各个自变量的偏回归平方和1553189.7 各个自变量的偏相关系数0.981386594 由输出结果，得以下

10、结论：回归方程为 y=232.70+3.68 x其中，负相关系数为R2 0.9814,说明回归方程拟合优度较高。而回归系数的t=17.7024,查 t 分布表t0.025(12) = 2.1788 ，小于 t 值，因此回归系数显著。查 F 分布表，F (1,12) =4.75，由下表知，F=313.37654.75，因此回归方程也显著。平方和自由度方 差F 检验值回归1553189.711553189.7313.3765001残差59475.667124956.3056离差1612665.413(二)判别分析判别分析是多元统计分析中用于判别样品所属类型的一种统计分析方法，是 一种在已知研究对象

11、用某种方法已经分成与若干类的情况下，确定新的样品属于 哪一类的多元统计分析方法。判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近 程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归属。 所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。 常用的有，距离准则、Fisher 准则、贝叶斯准则等。距离判别的基本思想是：样 品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。已知有两个类G1和G2，比如G1是设备 A 生产的产品，G2是设备 B 生产的 同类产品。设备A的产品质量高(如考察指标为耐磨度X)，其平均耐磨度 (1)=80，

12、 反映设备精度的方差 12 =0.25；设备 B 的产品质量稍差，其平均耐磨度 2 =75，反映设备精度的方差 22=4。今有一产品 X0，测得耐磨度x0=78，试判断该产品 是哪一台设备生产的？下面考虑一种相对于分散性的距离。记X0 与G1或G2的相对平均距离为d12(x0)或d22(x0)，则有：d12(x0)=(x0- 2 )= (78-80) =16， 0.25因为d2(x0)=1.54=d1(x0)，按这种距离准则应判X0为设备B生产的。一般的，我们假设总体G1的分布为 N( (1), 12)，总体G2的分布为 N( (2), 22)，则利用相对距离的定义，可以找出分界点 和 (不妨

13、设 (2) (1) , 10,则 X1(1) G1 (第一类)。又如，第一类的第 11 个样品X(1)=(1.00,4.50,12.00)T ， ( X (1) =-0.30830，故 X(1) G (第二类)。将 (X )投入使用，可判别小麦品种的分蘖类型，如测得某小麦品种 x1 =1,x2 = 3.43 , x3 =16.25,则由 (X)=-2.91280判别该品种为分蘖型。(3)聚类分析 聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统 计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有来两个途径， 一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定

14、一点与点， 类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度：另一个 是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲属程度。聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种 分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：(1)系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并， 合并后重新计算新类与其他类的距离或相近性测度。这一过程可用一张谱系聚类 图描述。(2)调优法(动态聚类法)：首先对n 个对象初步分类，然后根据分类的损失 函数尽可能小的原则对其进行调

15、整，直到分类合理为止。(3)最优分割法(有序样品聚类法)：开始将所有样品看做一类，然后根据某 种最优准则将它们分割为二类、三类，一直分割到所需的 K 类为止。这种方法 适用于有序样品的分类问题，也称为有序样品的聚类法。(4)模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模 糊特征两态数据或多态数据具有明显的分类效果。(5)图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独 具风格的方法。(6)聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可以用 来做预报的方法很多，如回归分析和判别分析。但对一些异常数据，如气象中的 灾害性天气的预报，使用回归分析或判别分析处

16、理的效果都不好，而聚类预报弥 补了这一不足，只是一个值得重视的方法。聚类分析根据对象的不同又分为 R 型和Q 型两大类，R 型是对变量(指标) 进行分类，Q 型是对样品进行分类。R 型聚类分析的目的有以下几方面：(1)可以了解变量间及变量组合间的亲疏关系；(2)对变量进行分类；(3)根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为 重要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或 Q 型 聚类分析等。Q 型聚类分析的目的主要是对样品进行分类。分类的结果是直观的，且比传 统的分类方法更细致、全面、合理。当然使用不同的分类方法通常有不同的分类 结果。对任何观测数据都没

17、有唯一“正确”的分类方法。实际应用中，常采用不 同的分类方法，对数据进行分析计算，一边对分类提供具体意见，并由实际工作 者决定所需要的分类数及分类情况。下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分 别为 1,2,6,8,11,我们用最短距离法将它们分类。(1)计算五个样品两两间的距离，得初始类间的距离矩阵D(0) ，G1G2G3G4G5G10G210G3540G47620G5109530(2)由 D(0) 知类间最小距离为 1，于是将G1和G2 合并成G6 ，并计算G6 和其他类 之间的距离，的新的距离阵D(1)G6G3G4G5G60G340G4620G59530(3)由

18、D(1)知，类间最小距离为 2，合并G3和G4 为G7，计算G7 与其他类间的距离得矩阵D(2)，G6G7G5G60G740G5930(4)由D(2)知，类间的最小距离为3，将G5和G7合并为G8，得新的距离矩阵D(3)，G6G8G60G840(5)最后将G6和G8合并为G9，这时五个样品聚为一类。(4)主成分分析主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多 的变量，是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。 这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主 成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性

19、的变量，重新组合 为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是 将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制， 则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变 量记为F1，自然希望它尽可能多的反映原来变量信息，这里信息用方差来测量， 即希望Var(F1)越大，表示F1包含信息越多。因此在所有线性组合中所选取的F1应 该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来 p个变 量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息，F1已 有的信息就不需要再出现在F2中，用数学语言表达就是要求Co

20、v(F1,F2)=0，称F2 为第二主成分，以此类推可以构造出第三、四第 p个主成分。(5)因子分析因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的内部 依赖关系出发，把一些具有错综复杂关系多个变量(或样品)综合为少数几个因 子，并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。它也属于多元分析中数据降维的一种统计方法。 因子分析是通过变量（或样品）的相关系数矩阵内部结构的研究，找出存在 于所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变 量表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关 关系。其中，这里的少数几个综合变量一般是

21、不可观测指标，通常称为公公因子。因子分析常用的两种类型：一种是 R 型因子分析，即对变量进行因子分析： 另一种叫做 Q型因子分析，即对样品进行的因子分析。（六）对应分析方法 对应分析又称为相应分析，是一种目的在于揭示和样品之间或者定性量资料 中变量与其类别之间的相互关系的多元统计分析方法。 对应分析的关键是利用一种数据变换，使含有p个变量n个样品的原始数据矩阵， 变换成为一个过渡矩阵 Z，并通过矩阵 Z 将 R 型因子分析和 Q 型因子分析有机 的结合起来。具体地说，首先给出进行 R 型因子分析时变量点的协差阵A= Z Z和 进行 Q型因子分析时样品点的协差阵 B=ZZ ，由于Z Z和ZZ 有

22、相同的非零特征 根，记为 L 0 m min（ p, n）依据证明，如果 A的特征根 i对应的特征向量为Ui ，则 B 的特征根 i对应的 特征向量就是ZUiVi，根据这个结论就可以很方便的借助R型因子分析而得到Q 型因子分析的结果。因为求出 A 的特征根和特征向量后很容易地写出变量点 协差阵对应的因子载荷矩阵，记为 F。则 u p1 1 u p2 2 L u pm m 这样，利用关系式 ZUi Vi也很容易地写出样品点协差阵 B 对应的因子载荷 阵，记为 G。则从结果的展示上，由于 A 和 B 具有相同的非零特征根，而这些特征根正是公 共因子的方差，因此可以用相同的因子轴同时表示变量点和样品

23、点，即把变量点 和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点 之间的相互关系，并且可以一并考虑进行分类分析。（七） 典型相关分析在经济问题中，不仅经常需要考察两个变量之间的相关程度，而且还经常需 要考察多个变量与多个变量之间即两组变量之间的相关系。典型相关分析就是研 究两组变量之间相关程度的一种多元统计分析方法。典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究 两组变量X1,X2,L Xp和Y1,Y2,L Yq之间的相关关系，采用类似于主成分分析的方 法，在两组变量中，分别选取若干有代表性的变量组成有代表性的综合指数，通 过研究这两组变量之间的相关关

24、系，来代替这两组变量之间的相关关系，这些综 合指数称为典型变量。此外，多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、 联合分析等，我们就不做一一介绍了。四、多元统计分析方法的一般步骤与一般统计分析方法一样，多元统计分析方法也要经过建立模型、进行参数 估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是：1 、根据经济理论进行定性分析，设计理论模型；2 、对实际经济活动的现象抽取样本，并取得样本统计资料；3 、对描述样本的指标利用多元统计分析方法进行统计分析，选择最佳的统计 指标；4根据最佳指标的样本数据，估计参数，建立数量模型模型；五、多元统计分析方法在各个自然领域中的应

25、用多元统计分析是解决实际问题的有效的数据处理方法，其应用范围非常广 泛。多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言 学、考古学、教育学、心理学以及经济学、管理学等各个方面。下面我们以经济 学和管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域：1 、简化数据结构。 对多个变量进行降维处理，选择数目较小的变量子集合。在商业经济中，为 了能够全面刻画所研究对象的数量特征，往往要调查多方面的统计数据。数据维 数越多，反映问题越全面，但同时也给数据分析带来困难。这是句要用降维的方 法将很复杂的数据综合成商业指数形式，处理方法主要有主成 分分析、因子分析和对应分析等。

26、2、对研究对象进行分类与判别。 比如根据各地区的经济发展水平、经济发展特征对我国各地区的经济发展类 型进行划分，需要通过反映各地区经济情况的多项数据测算各地区经济发展的相 似度，并以对各地经济类型此进行划分和归类。用来处理这一问题的多元统计方 法主要是聚类分析、判别分析等。3、建立经济模型。 经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以 模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人 口、固定投资等相关因素，利用回归方法建立预测模型，对今后的财政收入进行 预测。4、研究经济现象之间的相互关系。 当我们研究两组变量之间的相关程度时，只用简单直线相关系数是不够的， 在多元统计分析中，用典型相关分析可以处理两组变量之间的相关程度的分析和 测算。有一点需要特殊说明，由于现实问题的复杂性和每种多元分析方法特殊的应 用场合和自身的局限性，所以在处理问题时有必要将各种多元分析方法结合运 用。六、总结经过 20 世纪的空前发展，数学的基本理论更加深入和完善，而计算机技术 的发展使得数学的应用更加广泛和直接，多元统计分析方法已经广泛的应用到社 会科学和自然科学的许多领域，尤其在经济方面根是发挥了巨大的作用。通过本 文的描述可以使大家简单了解多元统计分析方法，从而更好的掌握和运用多元分 析方法。任何定量分析方法在研究现实问题时只是揭示了这种问