第五章经典线性回归模型(II)(高级计量经济学清华大学潘文清).ppt
《第五章经典线性回归模型(II)(高级计量经济学清华大学潘文清).ppt》由会员分享，可在线阅读，更多相关《第五章经典线性回归模型(II)(高级计量经济学清华大学潘文清).ppt（77页珍藏版）》请在冰点文库上搜索。
第五章经典线性回归模型（II）,ClassicalLinearRegressionModel（II）,5.1回归模型的解释与比较InterpretingandComparingRegressionModels,一、解释线性模型interpretingthelinearmodel,对模型Yi=0+1X1i+kXki+i如何解释j为“当其他变量保持不变，Xj变化一个单位时Y的平均变化”？
本质上：
j=E（Y|X）/Xj即测度的是“边际效应”（marginaleffect）,1、边际效应,因此，当一个工资模型为Y=0+1age+2age2+3education+4gender+时，只能测度“年龄”变化的边际效应：
E（Y|X）/age=1+22age,解释：
“当其他变量不变时，年龄变动1个单位时工资的平均变化量”,2、弹性：
经济学中时常关心对弹性的测度。
这时模型常写为:
lnYi=0+1lnX1i+klnXki+I,在E（i|lnX1i,lnX2i,lnXki）=0的假设下，弹性为,E（Y|X）/E（Y|X）/Xj/XjE（lnY|lnXj）/lnXj=k,即弹性并非常数，而是随着Xj的变化而变化。
当原始模型为Yi=0+1X1i+kXki+i时，弹性为：
E（Y|X）/E（Y|X）/Xj/Xj=jXj/（0+1X1+kXk）,3、相对变化,如果模型为lnYi=0+1X1i+kXki+i则：
j=E（lnY|X）/Xj,解释为：
Xj变化1个单位时Y的相对变化量。
二、选择解释变量SelecttheSetofRegressors,Question:
如何不遗漏相关变量,同时也不选择无关变量？
假设有如下两模型：
Y=X11+X22+1（5.1.1）Y=X11+2（5.1.2）其中，（X1）nk1=（1,X1,Xk1）,（X2）n（k-k1）=（Xk1+1,Xk）1=（0,1,k1），2=（k1+1,k）,显然，（5.1.2）为（5.1.1）的受约束模型。
约束条件为：
H0：
2=0,1、部分回归（partialregression）,Question:
如何解释j为“当其他变量保持不变，Xj变化一个单位时Y的平均变化”？
Y,X1,X2,在X1与X2影响Y的同时，可能存在着X1与X2间的相互影响。
如何测度？
将X2中的每一元素Xj（j=k1+1,k）对X1回归：
Xj=X1（X1X1）-1X1Xj+Xj-X1（X1X1）-1X1Xj或X2=X1（X1X1）-1X1X2+X2-X1（X1X1）-1X1X2X2=X1Q1+（I-P1）X2=explainedpart+residuals其中，Q1=（X1X1）-1X1X2,对X2=X1Q1+（I-P1）X2=X1Q1+M1X2=explainedpart+residualsM1X2就是排除了X1的其他因素对X2的“净”影响。
X2对X1的回归称为辅助回归（auxiliaryregression）,Question:
如何测度X1对Y的“净”影响？
部分回归（Partialregression）,Step1:
排除X2的影响。
将Y对X2回归，得“残差”M2Y=（I-X2（X2X2）-1X2Y将X1对X2回归，得“残差”M2X1=（I-X2（X2X2）-1X2X1,M2Y为排除了X2的净Y，M2X1为排除了X2的净X1,将M2Y对M2X1回归，得X1对Y的“净”影响：
M2Y=M2X1b*+e*这里，b*=（M2X1）（M2X1）-1（M2X1）M2Y=X1-1M2Ye*=M2Y-M2X1b*,Step2:
估计X1对Y的“净”影响。
Proof:
b为原无约束回归模型的OLS解，则有XXb=XY,或X1X1b1+X1X2b2=X1Y（*）X2X1b1+X2X2b2=X2Y（*）由（*）得b2=（X2X2）-1X2Y-（X2X2）-1X2X1b1代入（*）且整理得：
X1M2X1b1=X1M2Yb1=（X1M2X1）-1X1M2Y=X1-1M2Y=b*其中，M2=I-X2（X2X2）-1X2又M2Y=M2X1b1+M2X2b2+M2e1而M2X2=0，M2e1=e1-X2（X2X2）-1X2e1=e1则M2Y=M2X1b1+e1或e1=M2Y-M2X1b1=e*,记受约束模型（5.1.2）的OLS解为br=（X1X1）-1X1Y,于是br=（X1X1）-1X1Y=（X1X1）-1X1X1b1+X2b2+e1=b1+（X1X1）-1X1X2b2+（X1X1）-1X1e1=b1+（X1X1）-1X1X2b2=b1+Q1b2其中，Q1=（X1X1）-1X1X2,则Y=X1b1+X2b2+e1且X1e1=0,X2e1=0,因此，当b2=0或X1与X2正交时，都有br=b1,Question:
受约束模型与无约束模型在X1前的参数估计量相等吗？
将无约束模型代入受约束模型（5.1.2）的OLS解br=（X1X1）-1X1Y，可得,br=（X1X1）-1X1（X11+X22+1）=1+（X1X1）-1X1X22+（X1X1）-1X11,于是：
E（br|X1）=1+Q12+（X1X1）-1X1E（1|X1）=1+Q12,因此，只有当2=0或X1与X2正交时，才有E（br|X1）=1,2、遗漏相关变量（omittingvariables）,Question:
Whathappenifweomitrelevantvariable?
方差：
由于br-E（br|X1）=（X1X1）-1X11则：
Var（br|X1）=Ebr-E（br|X1）br-E（br|X1）=（X1X1）-1X1E（11）X1（X1X1）-1=2（X1X1）-1,换言之，如果X2是Y的相关解释变量，且与X1非正交，则略去X2的回归模型对参数的估计是有偏误的，称为省略变量偏误（omittedvariablebias）。
Theorem:
Var（br）Var（b1）。
其中b1为无约束回归Y=X11+X22+1中对应于1的估计量。
Proof:
由受约束模型的参数估计量br=b1+Q1b2得b1=br-Q1b2,Var（b1）=Var（br）+Q1Var（b2）Q1-2Cov（br,b2）Q1Q1Var（b2）Q1是半正定的，只需证明Cov（br,b2）=0,已知br-E（br|X1）=（X1X1）-1X11又由Y=X1b1+X2b2+e1得M1Y=M1X1b1+M1X2b2+M1e1=M1X2b2+e1X2M1Y=X2M1X2b2+X2e1=X2M1X2b2这里用到了：
M1X1=0，M1e1=e1，X2e1=0于是b2=（X2M1X2）-1X2M1Y,E（b2|X）=2+（X2M1X2）-1X2M1E（1|X）=2于是：
b2-E（b2）=（X2M1X2）-1X2M11Cov（b2,br）=Eb2-E（b2）br-E（br）=E（X2M1X2）-1X2M11（X1X1）-1X11=（X2M1X2）-1X2M1E（11）X1（X1X1）-1=2（X2M1X2）-1X2M1X1（X1X1）-1=0,将Y=X11+X22+1代入b2得b2=（X2M1X2）-1X2M1（X11+X22+1）=2+（X2M1X2）-1X2M11,遗漏相关变量问题：
有偏，方差变小，导致t检验值变大，容易将本不该纳入模型的变量纳入模型。
3、多选无关变量（redundantvariables）,如果正确模型是受约束模型Y=X11+2（5.1.2）而我们却对无约束模型Y=X11+X22+1（5.1.1）进行回归，即模型中多选了无关变量X2。
b1是1的无偏估计。
或b1=br-Q1b2无论是否有2=0,始终有Var（b1）Var（br）,设正确的受约束模型（5.1.2）的估计结果为br，则有br=b1+Q1b2,多选无关变量问题：
无偏，但方差变大，即是无效的。
变大的方差导致t检验值变小，容易拒绝本该纳入模型的变量。
5.2多重共线性,一、多重共线性（multicollinearity）多重共线性，或简称共线（collinearity），意即多元回归中解释变量间存在相关性。
多重共线性有完全共线性（perfectmulticollinearity）与近似共线性（approximatemulticollinearity）两种情况。
如果存在完全共线，则Rank（X）k+1，XX的逆不存在，OLS估计无法进行。
如果存在近似共线性，则不违背经典假设，OLS估计量仍是无偏一致的估计量，但方差往往较大。
1、估计量的方差,在离差形式的二元线性样本回归模型中：
yi=b1x1i+b2x2i+e,一般地，在多元回归中，记Y=X11+X22+,特别地，假设X2=（Xk1,Xkn），即为X中的最后一列,由于曾经得到b2=2+（X2M1X2）-1X2M11因此Var（b2）=（X2M1X2）-1X2M1E（11）M1X2（X2M1X2）-1=2（X2M1X2）-1,这里，X2M1X2恰为如下辅助回归的残差平方和SSRX2=X1B+v,于是：
Var（b2）=2/SSR,表明：
第k个解释变量参数估计量的方差，由模型随机扰动项的方差2第k个解释变量的样本方差SXk2第k个解释变量与其他解释变量的相关程度Rk2样本容量n四个方面的因素决定。
四个因素共同影响着bj方差的大小。
Rj2为Xj关于其他解释变量这一辅助回归的决定系数1/（1-Rj2）称为方差膨胀因子（varianceinflationfactor）,2、多重共线性问题,“Theconsequencesofmulticollinearityarethatthesamplingdistributionofthecoefficientestimatorsmayhavelargevariancesthatthecoefficientestimatesareunstablefromsampletosample.Thustheymaybetoounreliabletobeuse”（Judge）,估计量不准确，j的样本估计值可能会远离真值置信区间大，关于j的不同的假设都可能被接受，bj可能不会显著地异于“任何”假设t检验值变小，可能将重要的变量排除在模型之外使区间预测的“区间”变大，使预测失去意义。
由多重共线性引起的大方差将导致：
注意：
除非是完全共线性，多重共线性并不意味着任何基本假设的违背；因此，OLS估计量仍是最佳线性无偏估计量（BLUE）。
问题在于，即使OLS法仍是最好的估计方法，它却不是“完美的”，尤其是在统计推断上无法给出真正有用的信息。
3、何时需要多重共线性,多重共线性可能使单个的j不准确，却可使若干参数的组合更准确。
假设总体回归方程为E（Y）=0+1X1+2X2,记=1+2，则其样本估计量为t=b1+b2于是：
Var（t）=Var（b1）+Var（b2）+2Cov（b1,b2）,在离差形式下，记,特别地，取,于是,因此Var（b1）=Var（b2）=2/（1-r2）Cov（b1,b2）=-2r/（1-r2）Var（t）=22/（1-r2）-2r/（1-r2）=22（1-r）/（1-r2）=22/（1+r）,如果r=0，无共线性：
Var（b1）=Var（b2）=2Var（t）=22,可见，较强的共线性使得1、2的估计量的方差较大，从而对它们各自的估计变得不准确性确；但却使1、2的组合1+2的估计量的方差变小，因此使该组合的估计变得更准确。
如果r=0.9，有强共线性：
Var（b1）=Var（b2）=2/（1-0.92）=2/0.19=5.32Var（t）=22/（1+0.9）=22/1.9=1.052,5.3广义最小二乘估计GeneralizedLeastSquaresEstimation,一、广义经典回归模型GeneralizedClassicalRegressionModel,对经典回归模型，将假设5改为如下假设:
Assumption6：
|XN（0,2V）,where02isunknownandV=V（X）isaknownnnfiniteandpositivedefinitematrix:
E（i|X）=0Var（i|X）=2Vii（X）Cov（i,j|X）=2Vij（X）,注意：
（1）假设6意味着Var（|X）=E（|X）=2V=2V（X）
（2）假设6允许存在条件异方差（conditionalheteroskedasticity）（3）允许V可以是非对角阵，即cov（i,j|X）可以不为零,上述假设下的回归模型称为广义经典回归模型（GeneralizedClassicalRegressionModel,GCRM）,二、最小二乘估计LeastSquaresEstimation,对多元线性回归模型Y=X+仍可记其OLS估计为b=（XX）-1XY这时，残差项为e=MY=M显然:
E（b|X）=（XX）-1XX+E（|X）=Var（b|X）=（XX）-1XVar（Y|X）（XX）-1X=（XX）-1XVar（|X）（XX）-1X=2（XX）-1XV（XX）-1X,OLS估计b仍无偏，但其方差矩阵不再是一标量2与矩阵（XX）-1的乘积。
另外，E（e|X）=ME（|X）=0Var（e）=MVar（|X）M=2MVM,于是E（ee）=trVar（e）=2tr（MVM）=2tr（MMV）=2tr（MV）,由于MV=（I-P）V=V-X（XX）-1XV而trX（XX）-1XV=tr（XX）-1XVX于是tr（MV）=tr（V）-tr（XX）-1XVX,该式可方便地计算MV的迹。
显然，该期望不等于真值Var（b）=2（XX）-1XV（XX）-1X=2（XX）-1（XVX）（XX）-1,表明：
传统的b的方差的OLS估计是有偏的，传统的标准差也不再是对估计精确程度的正确测度，从而传统的置信区间以及假设检验都已不再适用。
如何解决问题？
1.以传统的b为的估计量，但需寻找b的正确的方差矩阵；2.直接寻找的更好的估计量。
注意：
在CR模型Y=X+满足基本假设1、3、6条件下，其OLS估计b具有:
无偏性:
E（b|X）=方差:
Var（b）=2（XX）-1XVX（XX）-12（XX）-1但在min（XX）（n）的条件下，Var（b）0表明b依均方收敛于，因此仍是一致估计量b-|XN（0,2（XX）-1XVX（XX）-1）Cov（b,e|X）=0,三、广义最小二乘估计GeneralizedLeastSquares（GLS）estimation,引理：
对任何对称正定矩阵V，总有非奇异矩阵C，使得V-1=CC,Theorem:
对GCR模型，在假设1、3、6下，的广义最小二乘（GLS）估计为b*=（XV-1X）-1XV-1Y,proof:
对原模型Y=X+由于V已知，总可以找到可逆矩阵C，使V-1=CC用C左乘原模型得CY=CX+C,记为：
Y*=X*+*（*）其中，Y*=CY，X*=CX，*=C,由于E（*|X）=E（C|X）=CE（|X）=0Var（*|X）=Var（C|X）=CE（|X）C=2CVC=2C（CC）-1C=2I因此，（*）式满足CR模型的基本假设，其OLS估计为b*=（X*X*）-1X*Y*=（XCCX）-1XCCY=（XV-1X）-1XV-1Y,b*称为的广义最小二乘估计（GeneralizedLeastSquare（GLS）estimator）,由于b*满足所有CR模型的基本假设，因此有：
注意：
t检验与F检验以GLS估计量b*为基础;如对H0：
R=r,F检验为F=（r-Rb*）R（X*X*）-1R-1（r-Rb*）/（Js2）
（2）由于GLS估计b*是BLUE，故OLS估计b不是BLUE（3）实践中，V往往并不已知，因此GLS实际实施有困难。
E（b*|X）=Var（b*|X）=2（X*X*）-1Cov（b*,e*|X）=0,wheree*=Y*-X*b*theGLSb*isBLUEE（s*2|X）=2,wheres*2=e*e*/（n-k-1）,四、可行的广义最小二乘法（FeasibleGLS）,注意：
（1）这里bF*的有限样本分布不同于b*的有限样本分布，因为后者以V已知为前提。
为了看清这一点，回顾以前所学内容：
在CNR模型中：
t=（bj-j）/sbj与z=（bj-j）/bj有着相同的渐近分布，即N（0,1）。
Replacinganunknownparameterbyaconsistentestimatormaymakethestatisticfeasibletocalculatewithoutaffectingtheasymptoticdistribution.,为了得到可用于FGLS的V的一致估计，仍可使用Y对X的OLS回归的残差项e，因为V=Var（）,其中=Y-X，且e=Y-Xb。
但，如何使用该残差项，V的估计的质量能否保证FGLS与GLS具有相同的渐近分布，还取决于V的结构。
通常情况下，V含有n（n+1）/2个未知数，在只有n个样本的情况下，对其估计几乎是不可能的，只有在V的某些特殊结构下，才能对其进行估计。
注意：
在第一种解决方案中，即“以传统的b为的估计量，寻找b的正确的方差矩阵”这一方案中。
关键是寻找Var（b|X）的一致估计量。
但这时传统的t检验与F检验是不能使用的，因为它们以Var（b|X）的正确设定为基础。
然而，如果寻找到了Var（b|X）的一致估计量，则可通过它得到修正的t检验与F检验。
当然，这里使用的只能是渐近分布。
5.4异方差与自相关性HeteroskedasticityandAutocorrelation,异方差与自相关是广义经典回归（GCR）模型的两种特殊情况。
一、异方差（PureHeteroskedasticity）,Y=X+其中:
E（|X）=0,Var（|X）=E（|X）=V=diag12,n2,1、广义最小二乘法（GLS）,对一个OLS估计：
Y=Xb+e,b是的无偏且一致的估计，e可视为对的估计，,于是，原模型的一个FGLS估计为：
由于这时易知C=diag1/|e1|,1/|e2|,1/|en|该FGLS估计相当于用C左乘原模型，得加权模型：
CY=CX+C,因此，该方法也称为加权最小二乘法（weightedleastsquares）,2、普通最小二乘法（OLS）,由于原模型的OLS估计是无偏的，只是非有效的，因此，也可采用第一种方法：
仍取OLS估计量，但修正相应的方差。
我们知道，原模型OLS估计b的正确的方差距阵是,Var（b|X）=（XX）-1XV（XX）-1X=（XX）-1（Xdiagi2X）（XX）-1但V或者说i2并不知道，仍需估计。
在只有n个样本的情况下要求n个i2也是困难的。
White（1980）指出，问题的关键并非是求i2而是求XVX=Xdiagi2X,于是，当仍用OLS估计原模型得到：
b=（XX）-1XY,这也被称为异方差稳键推断（heteroskedasticity-robustinference）,因此，我们仍可进行OLS估计，并用上述异方差一致标准误进行统计推断。
这时无论是否存在异方差性，以其为基础的t检验与F检验都是渐近有效的。
如F检验为：
两个关键性问题：
（1）OLS估计b的标准误的传统估计值与正确估计值之间的差别是什么？
（2）正确的OLS标准误与GLS标准误之间的差别又是什么？
蒙特卡罗试验（DavidsonandMacKinnon,1993）：
Yi=1+Xi+uiuiN（0,Xi）Xi为0,1间的均匀分布，为一可取任何值的参数,20,000个样本下的试验结果如下：
参数估计的标准误OLS截距GLSOLS斜率GLSFalseTrue截距FalseTrue斜率0.50.1640.1340.1100.2850.2770.2431.00.1420.1010.0480.2460.2470.1732.00.1160.0740.00730.2000.2200.1093.00.1000.0640.00130.1730.2060.056,结论性说明：
对截距，不正确的OLS标准误大于正确值；对斜率，除=0.3外，正确的OLS标准误与不正确的值差别很小；OLS的非有效性，可通过正确的标准误与GLS估计的标准误之间的对比显示出来。
3、异方差性检验图示法Park、Gleiser检验Goldfeld-Quandt检验White检验,二、自相关（autoregressiveProcess）,其中，ui是满足以下经典的OLS假定:
E（u|X）=0,Var（u|X）=E（uu|X）=u2I,Y=X+,p阶自相关往往可写成如下形式：
i=1i-1+2i-2+pi-p+ui-1j1,对于上述（V）nn，显然有n（n+1）/2个未知数，在只有n个样本点的情况下，要对其估计是困难的。
因此，还需对自相关做某种结构上的假定。
最常用的是假设随机扰动项呈现1阶自相关：
i=i-1+ui-11,1、广义最小二乘法（GLS）,这时，CVC=u2I,用C左乘原矩阵得：
CY=CX+C（*）,于是E（C|X）=CE（|X）=0Var（C|X）=CE（|X）C=2CVC=u2I因此，（*）式的OLS估计，或原式的GLS估计为b*=（XCCX）-1XCCY=（XV-1X）-1XV-1Y,注意：
（*）式相当于下面的变换：
Y*=CY，X*=CX,例如，由于i=i-1+ui，可用原模型的OLS估计的残差ei代替i得ei=ei-1+ui，再对该式进行OLS估计，得,由于是i与i-1的自相关系数，即=Cov（i,i-1）/Var（i）,显然，在ei为i的估计的情况下，残差的样本矩是相应总体矩的一致估计量。
2、一阶差分法,对Yi=0+1X1i+kXki+i（i=1,n）,在i=i-1+ui的情形下，可做如下1阶差分变换：
Yi-Yi-1=0（1-）+1（X1i-X1i-1）+k（Xki-Xki-1）+ui（i=2,n）,用OLS法可估计该式，但它只是GLS估计的一个近似，因此其有效性不及包含第1个观测值的GLS估计，该估计量被称为Cochrane-Orcutt估计量。
3、广义差分法,其中：
Yi*=Yi-（1Yi-1+pYi-p）Xji*=Xji-（1Xji-1+pXji-p）（i=p+1,n;j=1,k）,如果原模型的随机扰动项呈现高阶自相关：
i=1i-1+2i-2+pi-p+ui,可用OLS法估计该式，得Cochrane-Orcutt估计量，但它同样只是GLS估计的一个近似。
当n时，其极限分布为GLS估计的分布。
4、估计自相关系数,在用差分法实际进行估计时，无论是1阶自相关，还是高阶自相关的情形，都需首先估计自相关系数。
可以先用OLS法估计原模型，得残差项ei，1阶或高阶自相关系数可通过下面式子估计：
ei=ei-1+uiei=1ei-1+2ei-2+pei-p+ui,当然，还有其他估计自相关系数的方法，如：
Cochrane-Orcutt迭代法、Durbin两步法等。
5、OLS估计的性质,为简单，只考察无截距一元回归、1阶自相关的情形：
Yi=Xi+ii=i-1+ui|1,易知其OLS估计为:
b=（YiXi）/（Xi2）其正确的抽样方差为：
Var（b）=（XX）-1XVX（XX）-1其中，X=（X1,X2,Xn）,于是：
XVX=u2/（1-2）i=1nXi2+2i=2nXiXi-1+2i=3nXiXi-2+2n-1X1Xn,第1项是Var（b）的通常的表达式，但此处是不正确的。
括号内有其他项涉及到的幂和X的样本自
升级会员 