多元线性回归模型资料下载.pdf

多元线性回归模型资料下载.pdf

《多元线性回归模型资料下载.pdf》由会员分享，可在线阅读，更多相关《多元线性回归模型资料下载.pdf（68页珍藏版）》请在冰点文库上搜索。

多元线性回归模型表示方法多元线性回归模型表示方法?

多元回归模型多元回归模型:

含两个以上解释变量的回归模型?

多元线性回归模型多元线性回归模型:

一个应变量与多个解释变量之间设定的是线性关系?

多元线性回归模型一般形式一般形式为：

uXbXbXbbYkk+=22110多元线性回归模型的假设多元线性回归模型的假设?

解释变量Xi是确定性变量，不是随机变量；

解释变量之间互不相关，即无多重共线性。

随机误差项具有0均值和同方差?

随机误差项不存在序列相关关系?

随机误差项与解释变量之间不相关?

随机误差项服从0均值、同方差的正态分布uXbXbXbbYkk+=22110多元模型的解析表达式多元模型的解析表达式ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY+=+=221102122110,2,1）,（得：

个样本观测值+=+=+=nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101+=uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111多元模型的矩阵表达式多元模型的矩阵表达式UXBY+=+=uuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY2121021222211121121111矩阵形式矩阵形式二二.参数估计参数估计（OLS）?

参数值估计?

参数估计量的性质?

偏回归系数的含义?

正规方程?

样本容量问题2.1参数值估计参数值估计（OLS）（）（）（）=+=nininiiXbXbbYyyQkikiiiie121212110=0000210kbQbQbQbQ（）（）（）（）=+=+=+=+00001102110211101110XXbXbbxYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程组得到下列方程组求参数估计值的实质是求一个k+1元方程组正规方程正规方程变成矩阵形式=+=+=+ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110=ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXXn121022111221121正规方程正规方程矩阵形式矩阵形式YXXXBYXBXX=1）（=22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXX=kbbbbB210=ikiiiiYXYXYYX1最小二乘法的矩阵表示最小二乘法的矩阵表示（）（）1002）（）（）（）（）,0（2112122=+=+=+=+=kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNUUXBYBXYniiiniie？

为什么2.2最小二乘估计量的性质最小二乘估计量的性质?

（1）线性（估计量都是被解释变量观测值的线性组合）?

（2）无偏性（估计量的数学期望=被估计的真值）?

（3）有效性（估计量的方差是所有线性无偏估计中最小的）无偏估计（是最佳线性估计式结论：

在古典假定下，BLUEOLSOLS估计量的性质（估计量的性质（续）续）正态）的线性函数是正态，又的线性函数是正态（个元素。

中对角线上第）是（其中，在古典假定下，jjiijjjjjjjjYuYujccVarkjVarN=Y,XX,）（,.,2,1）,（,（）4（12线性线性YXXXB=）（1无偏性无偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE=+=+=+=）（）（）（）（）（）（）（）（11111有效性有效性）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（）（121111111111）1（）1（2+=+=XXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk回忆：

2.2OLS回归线的性质回归线的性质?

完全同一元情形：

不相关与残差）解释变量（不相关；

与残差）应变量估计值（的均值为剩余项（残差）的均值的均值等于实际观测值估计值）回归线过样本均值（iiiiiiikikiieXeYeYYXXXY540）3（）2（.133221+=注解：

注解：

k与与k+1?

凡是按解释变量的个数为k的，那么共有k+1个参数要估计。

而按参数个数为k的，则实际有k1个解释变量。

总之两者相差1而已！

要小心所用的k是什么意思！

所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k1代换原来的k就可以了！

2.3偏回归系数的意义偏回归系数的意义?

多元回归模型中的回归系数称为偏回归系数?

某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动2.4多元回归模型参数估计中的样本容量问多元回归模型参数估计中的样本容量问题题?

样本是一个重要的实际问题，模型依赖于实际样本。

获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。

最小样本容量：

满足基本要求的样本容量最小样本容量最小样本容量nk+1?

（XX）1存在|XX|0XX为k+1阶的满秩阵?

R（AB）min（R（A）,R（B）?

R（X）k+1?

因此，必须有nk+1YXXXB=1）（满足基本要求的样本容量满足基本要求的样本容量?

一般经验认为：

n30或者n3（k+1）才能满足模型估计的基本要求。

n3（k+1）时，t分布才稳定，检验才较为有效三三多元线性回归模型的多元线性回归模型的检验检验?

本节主要介绍：

3.1拟合优度检验（判定系数及其校正）?

3.2回归参数的显著性检验（t检验）?

3.3回归方程的显著性检验（F检验）?

3.4拟合优度、t检验、F检验的关系3.1.1拟合优度检验拟合优度检验总平方和总平方和、自由度的分解、自由度的分解?

目的：

构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。

类似于一元情形，先将多元线性回归作如下平方和分解：

222（）（）（）n1k1nkiiiiYYYYYYTSSRSSESS=+=+=+总离差平方和回归平方和残差平方和自由度：

对以上自由度的分解的说明对以上自由度的分解的说明（）1）（）1（,0,.,0,.,2211,12121222）.（=+kknnRSSTSSESSknnkeekikiRSSnYnYTSSdfdfYXXYYYdfYYERikiikiiTii知再由：

所以，约束个对个方程方程求出，共有由而所以一个方程的约束受3.1.2判定系数判定系数?

判定系数的定义：

意义：

判定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。

观察点在回归直线附近越密集。

取值范围：

01211RSSESSTSSRSSESSTSSTSSRSSESSTSSTSSR=+=+=2R3.1.3校正判定系数?

为什么要校正？

判定系数随解释变量个数的增加而增大。

易造成错觉：

要模型拟合得越好，就应增加解释变量。

然而增加解释变量会降低自由度，减少可用的样本数。

并且有时增加解释变量是不必要的。

导致解释变量个数不同模型之间对比困难。

判定系数只涉及平方和，没有考虑自由度。

校正思路：

引进自由度校正所计算的平方和。

2R校正判定系数（续）22222222/（）1/

（1）1

（1）11

（2）k1,.（3）0,10ESSnkRTSSnnRRnkRRRRR=拒绝H拒绝H00，回归方程显著回归方程显著接受H接受H00，回归方程不显著回归方程不显著FF检验检验法则法则3.3回归系数的显著性检验回归系数的显著性检验回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：

变量Y的影响都重要,因此需要进行检验：

回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著3.3回归系数的显著性检验回归系数的显著性检验回归系数检验的步骤回归系数检验的步骤第一步，提出假设：

第一步，提出假设：

原假设：

H原假设：

H00：

b：

bii=0（i=1，2，=0（i=1，2，k）k）备择假设：

H备择假设：

H11：

bii0（i=1，2，0（i=1，2，k）k）3.3回归系数的显著性检验回归系数的显著性检验回归系数检验的步骤回归系数检验的步骤第二步，构造并计算统计量：

第二步，构造并计算统计量：

（）（1,2,.,）（109）iiibTiksb=3.3回归系数的显著性检验回归系数的显著性检验回归系数检验的步骤回归系数检验的步骤第三步，查表得：

第三步，查表得：

（）221ttnk=3.3回归系数的显著性检验回归系数的显著性检验回归系数检验的步骤回归系数检验的步骤第四步，做检验：

第四步，做检验：

接受H接受H00检验检验法则法则2tTi拒绝拒绝H0H03.3回归系数的显著性检验回归系数的显著性检验关于模型的异方差、自相关、多重共线性问题关于模型的异方差、自相关、多重共线性问题的检验，请参考计量经济学有关教材。

的检验，请参考计量经济学有关教材。

3.4多元线性回归模型的预测多元线性回归模型的预测点预测：

11FFkkFFXXXY=+=区间预测：

中心：

FY半径：

）（）（2/1kntXXXXFF四四逐步回归分析逐步回归分析多元线性回归建立的回归方程包含了所有的自变多元线性回归建立的回归方程包含了所有的自变量，但在实际问题中，可能有这样的情况：

参加回量，但在实际问题中，可能有这样的情况：

参加回归方程的归方程的P个自变量中，有些自变量单独看对因变个自变量中，有些自变量单独看对因变量量Y有作用有作用（相关程度密切），但（相关程度密切），但P个自变量又可能个自变量又可能是相互影响的，是相互影响的，在作回归时在作回归时，它们对因变量所起的，它们对因变量所起的作用有可能被其他自变量代替，而使得这些自变量作用有可能被其他自变量代替，而使得这些自变量在回归方程中变得无足轻重在回归方程中变得无足轻重。

这时把这些自变量留。

这时把这些自变量留在回归方程中，在回归方程中，不但增加计算上的麻烦，而且不能不但增加计算上的麻烦，而且不能保证有好的回归效果。

为了克服这些缺点，提出了保证有好的回归效果。

为了克服这些缺点，提出了多元逐步回。

多元逐步回。

多元逐步回归要求回归方程多元逐步回归要求回归方程中包含所有对因变量作用显著的自中包含所有对因变量作用显著的自变量，而不包含作用不显著的自变变量，而不包含作用不显著的自变量，从而建立最优回归方程量，从而建立最优回归方程。

1、强行进入法（、强行进入法（Enter）:

预先选定的自变量全部进入回归模预先选定的自变量全部进入回归模型，这是系统默认方式。

型，这是系统默认方式。

2、消去法（、消去法（Remove）:

根据设定的条件剔除部分自变量。

逐步筛选变量的方法：

3、向前引入法（、向前引入法（Forward）:

自变量由少到多一个一个引入回归方自变量由少到多一个一个引入回归方程，将与因变量的相关系数最大的第一程，将与因变量的相关系数最大的第一个自变量选入方程并进行检验，如果个自变量选入方程并进行检验，如果F值值Fa，拒绝，拒绝H0；

将其余的变量中与因变；

将其余的变量中与因变量的相关系数最大的第二个自变量选入量的相关系数最大的第二个自变量选入方程，当方程，当F值值Fa，拒绝，拒绝H0；

如此下；

如此下去，不断引入新的自变量，直到不能拒去，不断引入新的自变量，直到不能拒绝绝H0，再没有变量被引入为止。

，再没有变量被引入为止。

4、向后剔除法（、向后剔除法（Backward）:

自变量由多到少一个一个从回归自变量由多到少一个一个从回归方程中剔除，首先，对预先选定自变方程中剔除，首先，对预先选定自变量全部进行回归，然后把对因变量影量全部进行回归，然后把对因变量影响不显著的自变量从方程中剔除并进响不显著的自变量从方程中剔除并进行检验，如果行检验，如果F值值Fa，接受，接受H0，一，一个一个剔除对因变量不显著的自变个一个剔除对因变量不显著的自变量，直到再不能剔除为止。

量，直到再不能剔除为止。

5、逐步引入、逐步引入剔除法剔除法（Stepwise）:

向前引入法与向后剔除法的结合。

操作（一操作

（一）12SPSS软件包逐步回归操作

（二）软件包逐步回归操作

（二）点击逐步回归点击逐步回归操作（三操作（三）结果变量结果变量Y多个自变量多个自变量点击逐步回归点击逐步回归操作（四操作（四）回归系数估计回归系数估计回归系数可信区间回归系数可信区间模型拟合模型拟合操作（五操作（五）正态概率图正态概率图直方图直方图操作（六操作（六）

（一）一）SPSS软件包逐步回归筛选自变量软件包逐步回归筛选自变量VariablesEntered/RemovedVariablesEntered/Removedaa铁（Fe）.Stepwise（Criteria:

ProbabilityofFtoenter=.100）.Model1VariablesEnteredVariablesRemovedMethodDependentVariable:

血红蛋白（Hemoglobin,g）a.

（二）二）SPSS软件包逐步回归相关系数及检验软件包逐步回归相关系数及检验ModelSummaryModelSummarybb.863a.746.7361.11991.74679.096127.000Model1RRSquareAdjustedRSquareStd.ErroroftheEstimateRSquareChangeFChangedf1df2Sig.FChangeChangeStatisticsPredictors:

（Constant）,铁（Fe）a.DependentVariable:

血红蛋白（Hemoglobin,g）b.（三）（三）SPSS软件包逐步回归残差分软件包逐步回归残差分析析ANOVAANOVAbb99.201199.20179.096.000a33.863271.254133.06428RegressionResidualTotalModel1SumofSquaresdfMeanSquareFSig.Predictors:

血红蛋白（Hemoglobin,g）b.（四）四）SPSS软件包逐步回归回归系数及检验软件包逐步回归回归系数及检验CoefficientsCoefficientsaa.6571.276.515.6112.938E02.003.8638.894.000.863.863.863（Constant）铁（Fe）Model1BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Zero-orderPartialPartCorrelationsDependentVariable:

血红蛋白（Hemoglobin,g）a.）（038.0657.0铁xy+=（五）五）SPSS软件包逐步回归残差直方图软件包逐步回归残差直方图RegressionStandardizedResidual1.751.501.251.00.75.50.250.00-.25-.50-.75-1.00-1.25-1.50-1.75HistogramDependentVariable:

血红蛋白（HemoglobinFrequency543210Std.Dev=.98Mean=0.00N=29.00（六）（六）SPSS软件包逐步回归未进入方程的变量及检验软件包逐步回归未进入方程的变量及检验ExcludedVariablesExcludedVariablesbb.177a1.815.081.335.910.035a.276.785.054.597.096a.950.351.183.927.020a.199.844.039.930钙（Ca）镁（Mg）锰（Mn）铜（Cu）Model1BetaIntSig.PartialCorrelationToleranceCollinearityStatisticsPredictorsintheModel:

血红蛋白（Hemoglobin,g）b.（七七）SPSS软件包逐步回归残差正态概率软件包逐步回归残差正态概率P图图NormalP-PPlotofRegressionStandardizedResidualDependentVariable:

血红蛋白（ObservedCumProb1.00.75.50.250.00ExpectedCumProb1.00.75.50.250.00逐步回归的主要用途逐步回归的主要用途：

1、建立一个自变量个数较少的、建立一个自变量个数较少的多元线性回归方程，可用于描述多元线性回归方程，可用于描述某些自变量与某一医学现象间的某些自变量与某一医学现象间的数量关系数量关系，以及进行疾病的预测，以及进行疾病的预测预报，辅助诊断等。

预报，辅助诊断等。

2、进行因素筛选，有助于从大量、进行因素筛选，有助于从大量因素中筛选出对某一医学现象作因素中筛选出对某一医学现象作用显著的因素和因素组用显著的因素和因素组，因此在，因此在病因分析和疗效分析中有着广泛病因分析和疗效分析中有着广泛的应用。

的应用。