第十一章线性相关分析与线性回归分析.docx
《第十一章线性相关分析与线性回归分析.docx》由会员分享，可在线阅读，更多相关《第十一章线性相关分析与线性回归分析.docx（26页珍藏版）》请在冰点文库上搜索。
第十一章线性相关分析与线性回归分析
第十一章线性相关分析与线性回归分析
11.1两个变量之间的线性相关分析
相关分析是在分析两个变量之间关系的密切程度时常用的统计分析方法。
最简单的相关分析是线性相关分析，即两个变量之间是一种直线相关的关系。
相关分析的方法有很多，根据变量的测量层次不同，可以选择不同的相关分析方法。
总的来说，变量之间的线性相关关系分为三种。
一是正相关，即两个变量的变化方向一致。
二是负相关，即两个变量的变化方向相反。
三是无相关，即两个变量的变化趋势没有明显的依存关系。
两个变量之间的相关程度一般用相关系数r来表示。
r的取值范围是：
-1≤r≤1。
∣r∣越接近1，说明两个变量之间的相关性越强。
∣r∣越接近0，说明两个变量之间的相关性越弱。
相关分析可以通过下述过程来实现：
11.1.1两个变量之间的线性相关分析过程
1．打开双变量相关分析对话框
执行下述操作：
Analyze→Correlate（相关）→Bivariate（双变量）打开双变量相关分析对话框，如图11-1所示。
图11-1双变量相关分析对话框
2．选择进行相关分析的变量
从左侧的源变量窗口中选择两个要进行相关分析的变量进入Variable窗口。
3．选择相关系数。
CorrelationCoefficient是相关系数的选项栏。
栏中提供了三个相关系数的选项：
（1）Pearson:
皮尔逊相关，即积差相关系数。
适用于两个变量都为定距以上变量，且两个变量都服从正态分布的情况。
这是系统默认的选项。
（2）Kendall：
肯德尔相关系数。
它表示的是等级相关，适用于两个变量都为定序变量的情况。
（3）Spearman:
斯皮尔曼等级相关。
它表示的也是等级相关，也适用于两个变量都为定序变量的情况。
4．确定显著性检验的类型。
TestofSignificance是显著性检验类型的选项栏，栏中包括两个选项：
（1）Two-tailed:
双尾检验。
这是系统默认的选项。
（2）One-tailed:
单尾检验。
5．确定是否输出相关系数的显著性水平
FlagsignificantCorrelations:
是标出相关系数的显著性选项。
如果选中此项，系统在输出结果时，在相关系数的右上方使用“*”表示显著性水平为0.05；用“**”表示显著性水平为0.01。
6.选择输出的统计量
单击Options打开对话框，如图11-2所示。
图11-2相关分析选项对话框
（1）Statistics是输出统计量的选项栏。
1）Meansandstandarddeviations是均值与标准差选项。
选择此项，系统将在输出文件中输出均值与标准差。
2）Cross-productdeviationsandcovariances是叉积离差与协方差选项。
选择此项，系统将在输出文件中输出每个变量的离差平方和与两个变量的协方差。
上述两项选择只有在主对话框中选择了Pearson:
皮尔逊相关后，计算结果才有价值。
（2）缺失值的处理办法
MissingValuess是处理缺失值的选项栏。
1）Excludecasespairwise是成对剔除参与相关系数计算的两个变量中有缺失值的个案。
2）Excludecaseslistwise是剔除带有缺失值的所有个案。
上述选项做完以后，单击Continue按钮，返回双变量相关分析对话框。
8．单击OK按钮，提交运行。
系统在输出文件窗口中输出相关分析的结果。
11.1.2两个变量之间的线性相关分析实例分析
实例：
在“休闲调查1”中，对被调查者的“住房面积”和“家月收入”作相关分析
打开数据文件“休闲调查1”后，执行下述操作：
1．Analyze→Correlate→Bivariate打开双变量相关分析对话框。
2．从左侧的源变量中选择“住房面积”和“家月收入”进入Variable窗口。
其它选项采用系统默认状态。
3．单击Options按钮，打开对话框。
选择Meansandstandarddeviations选项和Cross-productdeviationsandcovariances选项。
单击Continue按钮，返回双变量相关分析对话框。
4．单击OK按钮，提交运行。
可以在输出文件中看到相关分析的结果如表11-1、表11-2所示
表11-1变量的描述统计
表11-2相关分析表
由于在选项中选择了Meansandstandarddeviations选项。
所以在输出文件中出现了表11-1，表中的内容就是两个变量的平均值、标准差和个案数。
表11-2是以交叉表的形式表现的相关分析的结果。
下面将表的内容作如下解释：
PearsonCorrelation是皮尔逊相关系数。
在它右侧“住房使用面积”一列中对应的数据为1.000，这是“住房使用面积”与“住房使用面积”的相关系数。
由于使用同一个变量计算相关，数据完全一一对应，所以计算的相关系数为1。
在“家月收入”下面对应的数据为0.393，这是“住房使用面积”与“家月收入”的皮尔逊相关系数。
Sig.（2-tailed）是双端检验的显著性水平。
可以看出，相关系数0.393的显著性水平为0.000，表明总体中两个变量的相关是显著的。
0.393的“**”和表下面的英文说明Correlationissignificantatthe0.05level（2-tailed）（相关系数在0.01的水平上显著）即说明了这一点。
SumofSquaresandCross-products是离差平方和与叉积和。
如果以“家月收入”为X变量，“住房使用面积”为Y变量的话，离差平方和是指
或
。
差积和是指Σ（x−x）（y−y）。
表11-2中“家月收入”一列下面所对应的94462797是“家月收入”变量的离差平方和。
而879447.51则是差积和。
Covariance是协方差。
表11-2中“家月收入”一列下面所对应的3118.608是“家月收入”的方差。
“住房使用面积”一列下面所对应的187.904是“家月收入”变量与“住房使用面积”变量的协方差。
从输出的情况来看，“住房面积”和“家月收入”呈正相关，其相关系数为0.393，在总体中这个相关系数在0.01的水平上是显著的。
11.2线性回归分析
回归分析是用确定性的方法来研究变量之间的非确定性关系的最重要的方法之一。
非确定性关系是指变量在变化过程中表现出来的数量上具有一定的依存性，但并非象函数关系那样一一对应的关系。
如果把其中的一个或几个变量作为自变量，把另一个随着自变量的变化而变化的变量作为因变量，通过建立线性关系的数学模型来研究它们之间的非确定性的关系的方法就是回归分析的方法。
由于回归分析中表现的是自变量和因变量之间的关系，所以这种方法也多用于研究因果关系的数量表现。
在SPSS中的回归分析方法有七种，本节只介绍最简单、最常用的线性回归分析。
回归分析在Analyze的下拉菜单中，如图11-3所示。
图11-3回归分析的指令菜单
图中的主菜单中Regression是回归，二级菜单中的Linear是线性。
11.2.1一元线性回归
11.2.1.1一元线性回归的原理
1．一元线性回归方程
一元线性回归也就是直线回归。
适用于对两个定距以上变量之间关系的分析。
是通过给一定数量的样本观测值拟合一条直线
，来研究变量之间关系的方法。
这条直线也叫回归直线或回归方程。
求回归方程的过程就是利用观测值求出方程中的回归直线中的a、b两个系数。
一般采用最小二乘法。
a是回归直线的截距，b是回归直线的斜率，也称为回归系数。
2．回归方程的假定条件
有了回归直线，每一个样本观测值都可以表示为yi=a+bxi+εi。
（i=1,2…n）εi称为随机误差项。
用回归方程来表示变量之间的关系需要满足一定的假定条件。
这些假定条件是：
（1）正态性假定。
即随机误差项εi服从正态分布。
（2）零均值假定。
εi的均值为零，即E（εi）=0。
（3）同方差假定。
εi分布的方差相等。
（4）独立性假定。
εi是相互独立的随机变量。
（5）无系列相关假定。
εi的变化与xi的变化无相关
上述的假定条件中有一个不满足，回归方程都是没有价值的。
由于上述的假定都是对总体而言的，而总体的情况又属于未知。
因此在建立回归方程后应该用样本观测值对上述假定进行检验。
3.回归方程的显著性检验
由于回归方程是用样本观测值建立的，用它来描述总体情况时，需要进行假设检验。
（1）回归系数的显著性检验
1）对回归系数b的检验：
检验的原假设是b=0，检验的方法是T检验。
2）对截距a的检验：
检验的原假设是a=0，检验的方法是T检验。
（2）对回归直线拟合优度的检验
采用最小二乘法可以给任何一组数据配合一条直线。
但只有两个变量之间的相关较强时，用回归直线来描述它们之间的关系才有意义。
回归直线拟合优度检验的指标是判定系数R2。
R2=r2，即相关系数的平方。
它说明因变量的变化中有多少是由自变量的变化引起的。
如R2=0.65，则说明，因变量的变化中的65%是由自变量的变化引起的。
R2越接近1，说明拟合优度越好。
R2=0，说明自变量与因变量没有任何关系，配合回归直线没有价值。
（3）对回归直线意义的检验
对一组数据配合回归直线是否有意义，可以通过方差分析和F检验的方法来确定。
把某一样本观测值到回归直线的距离的平方和定义为残差平方和。
它反映了除自变量以外的其它因素对因变量的影响。
把回归直线到总平均值之间的距离的平方和定义为回归平方和。
它反映了自变量对因变量的影响。
如果回归平方和很大而残差平方和很小，说明自变量对因变量的解释能力很大，则配合回归直线有意义。
反之则说明配合回归直线没有意义。
将两个平方和分别除以各自的自由度，就得到了平均回归平方和及平均残差平方和。
统计量F=平均回归平方和/平均残差平方和。
F值过小，达不到显著性水平，说明自变量对因变量的解释力度很差，配合回归直线没有意义。
（4）残差的独立性检验
残差的独立性检验也称系列相关检验。
如果随机误差项不独立，那么对回归模型的任何估计与假设所做出的结论都是不可靠的。
残差的独立性检验是通过Durbin-Watson检验来完成的。
Durbin-Watson检验的参数用D表示。
D的取值范围是0＜D＜4。
当残差与自变量相互独立时，D≈2。
当相邻两点的残差正相关时，D＜2。
当相邻两点的残差负相关时，D＞2。
其它如随机误差项的零均值，同方差，独立性的检验可根据残差散点图来进行。
将在后面的输出文件中介绍。
11.2.1.2一元线性回归的分析过程
1．打开回归分析对话框
执行下述操作：
Analyze→Regression→Linear打开对话框，如图11-4所示。
由于回归分析的选项很多，本节只介绍与一元线性回归模型的建立及各种检验有关的选项。
图11-4回归分析对话框
2．选择回归分析的因变量与自变量
从左侧源变量窗口中选择一个变量作为因变量进入Dependent（s）窗口。
再选择一个变量作为自变量进入Independent窗口。
3．确定回归分析结果的输出内容
单击Statistics按钮，打开对话框，如图11-5所示。
图11-5回归分析统计量输出对话框
该对话框包括三部分。
（1）RegressionCoefficients是回归系数选项栏。
该栏中包括三项内容。
与一元回归有关的选项是：
1）Estimates是输出估计值的选项。
若选择此项，则在输出文件中输出回归系数B、B的标准误、标准化回归系数beta、B的T检验值以及T值的双侧检验的显著性水平Sig。
这是系统默认选项。
2）Confidenceintervals是输出回归系数置信区间的选项。
选择此项后，系统将在输出文件中输出回归系数95%的置信区间。
（2）在对话框中右上方的五个选项中。
与一元回归有关的选项是：
1）Modelfit是模型的配置选项。
选择此项后，系统将在输出文件中输出引入模型或从模型中剔除的变量，提供复相关系数R、及调整的R2，估计值的标准误，方差分析表。
这是系统的默认选项。
2）Descriptives是输出描述统计结果的选项。
选择此项后，系统将输出所有变量的个案数、均值、标准差和相关系数矩阵及单侧检验的显著性水平矩阵。
（3）Residuals是残差选项栏。
该栏包括两项内容。
1）Durbin-Watson是系列相关检验选项，选择该项后系统将在模型概要中输出Durbin-Watson的值。
2）Casewisediagnostics是输出个案诊断表的选项。
上述选项作完以后，单击Continue按钮，返回回归分析对话框。
4．选择输出的图形
单击Plots按钮，打开图形选择对话框，如图11-6所示。
系统默认状态是不输出图形的。
但图形对检验残差的正态性，等方差性，奇异值等是非常有帮助的。
做图过程为：
图11-6图形选择对话框
（1）选择坐标轴变量
可以从左侧的源变量窗口中选择两个变量分别进入右侧的X窗口和Y窗口。
做了这项选择以后，系统将输出以这两个变量为坐标的散点图。
如果要输出多个散点图，可单击Next按钮，在Y和X窗口中再输入另外两个变量。
原变量窗口中的七个变量分别为：
1）DEPENDNT是因变量。
2）ZPRED是标准化预测值。
3）ZRESID标准化残差。
4）DRESID是剔除残差。
5）ADJPRED调整的预测值。
6）SRESID学生化残差。
7）SDRESID是学生化剔除残差。
（2）确定图形类别
StandardizedResidualPlots（标准化残差图）图形类别的选项栏。
其中包括两个选项。
1）Histogram是输出带有正态曲线的标准化残差的直方图。
2）Normalprobabilityplot输出残差的正态概率图。
上述选项作完以后，单击Continue按钮，返回回归分析对话框。
5．确定保存变量
单击Save按钮，打开保存变量对话框，如图11-7所示。
图11-7保存变量对话框
该对话框中有较多的选项，系统将把被选择的分析结果作为新变量保存到数据窗口中。
下面只介绍最常用的两个：
（1）Unstandardized是保存非标准化预测值。
（2）Standardized是保存标准化预测值。
上述选项作完以后，单击Continue按钮，返回回归分析对话框。
6．单击OK按钮，提交运行。
系统在输出文件窗口中输出回归分析的结果
11.2.1.3一元线性回归的实例分析
实例：
在“休闲调查”中以“住房面积”为因变量，以“家月收入”为自变量进行回归分析。
打开数据文件“休闲调查”后，执行下述操作：
1．Analyze→Regression→Linear打开图11-4所示的回归分析对话框。
2．从左侧源变量窗口中选择“住房面积”作为因变量进入Dependent（s）窗口。
再选择“家月收入”作为自变量进入Independent窗口。
3．单击Statistics按钮，打开如图11-5所示的统计量输出对话框。
选择Durbin-Watson选项。
单击Continue按钮，返回回归分析对话框。
4．单击Plots按钮，打开如图11-6所示的图形选择对话框。
从左侧的源变量窗口中选择ZPRED（标准化预测值）进入X窗口，选择ZRESID（标准化残差）进入Y窗口。
选择Histogram选项。
单击Continue按钮，返回回归分析对话框。
5．单击Save按钮，打开如图11-5所示的保存变量对话框。
选择Unstandardized选项。
单击Continue按钮，返回回归分析对话框。
a）单击OK按钮，提交运行。
可以在输出文件中看到一元回归分析的结果如表11-3、表11-4、表11-5、表11-6、表11-7和图11-8、图11-9所示
表11-3进入或剔除模型的变量
VariablesEntered/Removedb
Model
Variables
Entered
Variables
Removed
Method
1
家月收入a
.
Enter
a.Allrequestedvariablesentered.
b.DependentVariable:
住房使用面积
表11-3表明。
只有一个自变量“家月收入”进入了模型。
这个输出结果对多元回归分析是非常有价值的。
表11-4回归模型的概要表
ModelSummaryb
Model
R
RSquare
AdjustedR
Square
Std.Errorof
theEstimate
Durbin-Watson
1
.393a
.155
.152
12.6267
1.500
a.Predictors:
（Constant）,家月收入
b.DependentVariable:
住房使用面积
表11-4的内容是回归模型的概要。
“家月收入”与“住房面积”的相关系数R为0.393，模型的判定系数RSquare即R2为0.155，由于R2受个案数的影响较大，根据个案数对其进行调整以后的值为AdjustedRSquare，它能更好地说明模型的拟合优度。
该模型中的AdjustedRSquare为0.152，说明自变量对因变量的影响不是太大，因变量的变差中只有15.2%是由自变量引起的。
Durbin-Watson的值是1.5，因为比较接近2，所以认为随机误差项基本上相互独立的，不存在序列相关的问题。
表11-5方差分析表
表11-5的内容是对模型的方差分析与F检验的结果。
从表中可以看出，平均的回归平方和（RegressionMeanSquare）为8187.646，平均的剩余平方和（ResidualMeanSquare）为159.435。
F值为51.354，显著性水平为0.000。
由于显著性已经达到0.001的水平，说明配合回归直线是有意义的。
表11-6回归系数
表11-6的内容是回归方程的参数及检验结果。
从表中可以看出，回归方程的常数项即截距为28.438，截距的标准误差为1.582。
T检验值为17.976，显著性水平为0.000。
回归方程的斜率即回归系数为0.009，回归系数的标准误差为0.001，标准化回归系数为0.393，T检验值为7.166，显著性水平为0.000。
可以在0.001的水平上说明这个斜率对总体是有意义的。
表11-7残差统计表
表11-7中的PredictedValues是预测值，Residual是残差。
Std.PredictedValues是标准化预测值。
Std.Residual是标准化残差。
从表中可以看出，残差的平均值为0。
标准化残差的平均值为0。
说明残差的分布满足均值为零的假设。
图11-8标准化残差的直方图
从图11-8中可以看出，残差的分布基本呈正态。
图11-9残差分布的散点图
图11-9是以标准化预测值为横轴，以标准化残差为纵轴绘制的散点图。
可以用于检验等方差性和奇异值的情况。
如果残差分布具有等方差性，则图中的散点应该在由原点发出的横线上下的确定的范围内分布。
从图中可以看出，残差的分布基本满足等方差性的要求。
还可以在“休闲调查1”的数据窗口中看到在数据文件中又增加了一个变量Pre_1，如图11-10所示。
这个Pre_1便是由回归方程计算出的预测值。
图11-10以标准化预测值为新变量的统计结果
11.2.2多元线性回归
11.2.2.1多元线性回归的过程
多元线性回归是研究多个变量之间因果关系的最常用的的方法之一。
在多个变量中有一个是因变量。
因变量应该是定距以上的变量。
其它的变量是自变量。
自变量的个数应在两个或两个以上，但每个自变量与因变量之间的关系都是线性的。
由于任何一个社会现象的变化都可能是由多个因素引起的，因此多元回归在解释一果多因的变量之间的关系时显得特别有效。
由于回归分析的选项较多，而且适用于一元回归的选项均适用于多元回归。
在一元回归的输出文件中的内容在多元回归中也都输出。
所以在介绍多元线性回归的实现过程及输出结果的解释中重复的部分不再介绍。
多元线性回归的实现过程如下：
1．打开回归分析对话框
执行下述操作：
Analyze→Regression→Linear打开如图11-11所示的对话框。
这是一个与图11-4完全相同的对话框。
图11-11回归分析对话框
2．选择回归分析的因变量与自变量
从左侧源变量窗口中选择一个变量作为因变量进入Dependent（s）窗口。
再选择多个自变量进入Independent窗口。
3．确定自变量的挑选方法
Method是回归分析中自变量的挑选方法的选择窗口。
由于人为选定的自变量未必是对因变量有较大影响的变量。
系统要根据自变量对因变量作用的大小，从选定的自变量中筛选出一部分自变量作为回归模型中的自变量。
最终保留在模型中的自变量应该是对因变量的变化贡献较大的变量。
在Method窗口中有五个选项。
本节只介绍Enter、Backward和Stepwise三个较常用的选项。
（1）Enter是强行进入法选项。
即所有选择的自变量全部进入回归模型。
这是系统默认的选项。
可根据各个自变量的回归数T检验的值是否达到了显著性水平来确定那些自变量应进入模型。
（2）Backward向后剔除法选项。
先将全部所选变量进入模型，每次剔除一个使方差分析的F值最小且T检验达不到显著性水平的变量，直到回归某型中不再含有达不到显著性水平的自变量为止。
（3）Stepwise逐步进入法选项。
首先根据方差分析的结果选择对因变量贡献最大的自变量进入方程。
每加入一个自变量进行一次方差分析，如果有自变量使F值最小且T检验达不到显著性水平，则予以剔除。
这样重复进行，直到回归方程中所有的自变量均符合进入模型的要求，而模型外的变量均不符合进入模型的要求为止。
4．确定输出的统计量
单击Statistics按钮，打开如图11-5所示的对话框。
下面对该对话框中与多元回归分析有关的选项作如下介绍。
图11-5回归分析统计量输出对话框
（1）RegressionCoefficients是回归系数选项栏。
前两项在一元回归中均有介绍。
Covariancematrix是输出回归系数的协方差矩阵、各变量的相关系数矩阵。
（2）在模型及拟合效果的选项中：
1）Rsquaredchange是R2的变化。
选择此项后，系统将输出回归方程引入或剔除一个自变量后R2的变化量。
R2的变化量用Rch表示。
Rch较大说明引入或剔除的自变量是一个对因变量影响较大的自变量。
2）Partandpatialcorrelation是相关系数选项。
选择此项后，系统将输出回归方程的部分相关系数（表明当一个自变量进入方程后R2增加了多少）、偏相关系数（表明排出了其它的自变量对Y的影响后，某个自变量与Y的相关程度）和零阶相关系数（表明变量之间的简单相关系数）。
3）Collinearitydiagnostics是共线性诊断选项。
选择此项后，系统将输出各变量的容限度、方差膨胀因子和共线性诊断表。
上述选项作完以后，单击Continue按钮，返回回归分析对话框。
5．确定自变量引入模型或从模型中剔除的的标准及缺失值的处理方法
单击Option按钮，打开选项对话框，如图11-1
升级会员 