多元线性回归模型及其假设条件.docx
《多元线性回归模型及其假设条件.docx》由会员分享，可在线阅读，更多相关《多元线性回归模型及其假设条件.docx（20页珍藏版）》请在冰点文库上搜索。
多元线性回归模型及其假设条件
§5.1 多元线性回归模型及其假设条件
1．多元线性回归模型
多元线性回归模型：
yi = b0 + b1 x1i + b2 x
2i
+ L + bp x pi + ε i ， i
= 1,2,L , n
2．多元线性回归模型的方程组形式
3．多元线性回归模型的矩阵形式
4．回归模型必须满足如下的假设条件：
第一、有正确的期望函数。
即在线性回归模型中没有遗漏任何重要的解释变量，也没有包
含任何多余的解释变量。
第二、被解释变量等于期望函数与随机干扰项之和。
第三、随机干扰项独立于期望函数。
即回归模型中的所有解释变量
X
j
与随机干扰项 u 不
相关。
第四、解释变量矩阵 X 是非随机矩阵，且其秩为列满秩的，即：
rank （ X ） = k, k 〈n 。
式中
k 是解释变量的个数，n 为观测次数。
第五、随机干扰项服从正态分布。
第六、随机干扰项的期望值为零。
E（u）= 0
2
i
第八、随机干扰项相互独立，即无序列相关。
σ
§5.2 多元回归模型参数的估计
2
ui ,u j）= cov ui ,u j）=0
建立回归模型的基本任务是：
求出参数σ ,
b0 ,b1,L ,b
p
的估计值，并进行统计检验。
残差：
ei =
n
i=1
2
i
⎢L
⎢
⎢11n
-1
11
12
x21
x22
x2n
L
L
L
L
⎡ ˆ ⎤ ⎡ y ⎤
⎤ ⎢ 1 ⎥
x p2⎥ ， B = ⎢b1 ⎥ ， Y = ⎢ L ⎥ ，
⎢ ⎥ ⎢ n-1⎥
⎣ ⎦
ˆ
σ
2
=
Q
n - p - 1
要通过四个检验：
经济意义检验、统计检验、计量经济学检验、模型预测检验。
§5.4 多元线性回归模型的检验
一、
R
2
检验
1．
R
2
检验定义
R
2
检验又称复相关系数检验法。
是通过复相关系数检验一组自变量
x1, x2,L , x
m
与因变
量 y 之间的线性相关程度的方法。
复相关系数与复可决系数检验中的“复”是相对于一元函数而言。
复相关系数：
自变量在两个以上，检验线性关系密切程度的指标，记为
R
y,
x1x2L x p
，通常
用 R 表示。
复可决系数：
复相关系数的平方 R2。
在实际应用中，判别线性关系密切程度都是用 R2 检验，所以复可决系数 R2 是模型拟合优
度指标，R2 越接近于 1，模型拟合越好。
0≤R2≤1。
2
2
2．复相关系数检验法的步骤
1）计算复相关系数；
2）根据回归模型的自由度 n-m 和给定的显著性水平 α 值，查相关系数临界值表；
3）判别。
3．调整可决系数
R
2
⎛
⎝
2⎫ n -1
R
2
是一个随自变量个数增加而递增的函数，所以，当对两个具有不同自变量个数但性质
相同的回归模型进行比较时，不能只用
R
2
作为评价回归模型优劣的标准，还必须考虑回
归模型所包含的自变量个数的影响。
R
2
消除了自变量个数不同的影响，可以用于不同自变量个数间模型的比较。
4．
R
2
检验的目的
检验模型对原始数据的拟合程度，或对原始数据信息的解释程度。
二、F 检验
1．检验目的
通过 F 统计量检验假设
H 0 :
β 1 = β
2
= L =
β
m
= 0 是否成立的方法。
回归方程的显著性检
验是检验所有系数是否同时为 0，
2．F 统计量
2
2
2
的自由度。
，m-1 是回归变差
2
F 服从自由度为 （m -1,n - m）的 F 分布。
3．回归效果不显著的原因
1）影响 y 的因素除了一组自变量
x1, x2,L , x
m
之外，还有其他不可忽略的因素。
2）y 与一组自变量
3）y 与一组自变量
x1, x2,L , x
x1, x2,L , x
m
m
之间的关系不是线性的。
之间无关。
4．解决办法
分析原因另选自变量或改变模型的形式。
三、t 检验
1．检验目的
回归系数的显著性检验是检验某个系数是否为 0。
2．T 统计量
（X 'X ） 的第
统计假设 H0：
bi = 0 ；统计量：
ti =
bi
S y c
ii
，
S
y
=
Q
n - m
，
c
ii
是矩阵
-1
I 个对角元素。
ti 是一个自由度为 n-m 的 t 分布变量；统计检验判别：
ti ≥ tα 。
否定假设，
系数
bi ≠ 0 。
否则，接受假设 bi = 0 。
四、DW 检验
1．序列相关的概念及对回归模型的影响
序列相关是指数列的前后期相关。
若时差为一期的序列相关，称为一节自相关。
回归模型假设随机误差项之间不存在序列相关或自相关，即
ui 和 u
j
互不相关，
⎝
ui,u j ⎫ = 0,i ≠ j 。
若回归模型不满足这一假设，则称回归模型存在自相关。
当模型中存在序列自相关时，使用 OLS 方法估计参数，将产生下列严重后果：
（1）估计标准误差 S 可能严重低估 σ 的真实值。
（2）样本方差
2
j
可能严重低估 D⎛
⎝
β i ⎫ 的真实值。
（3）估计回归系数可能歪曲的真实值。
j
（4）通常的 F 检验和 t 检验将不再有效。
（5）根据最小二乘估计量所作的预测将无效。
2．序列相关的原因
（1）惯性：
变量的发展趋势。
（2）偏误：
模型设定有误，删去了一些必要变量。
（3）蛛网现象：
供给对价格的反应要迟一个时期。
（4）其他原因：
例如，现时消费取决于前期消费。
3．序列相关的检验方法
D—W 检验法。
适用条件：
序列相关是一阶自回归形式。
注意：
第一、D—W 检验不适用于随机项具有高阶序列相关的检验。
第二、D—W 检验有
一段不能判断其正相关或负相关的X围。
第三、对于利用滞后被解释变量做为解释变量的
模型，该检验失效。
（1）一阶自相关的数学表达式，
=ρ et-1
et + V
（2）D—W 检验给出了是否存在一阶自相关的结论。
（3）一阶自相关系数 ρ 的估计值：
ρ =
T
t=2
T
t=2
t t-1
2
t
；更常用的是：
ρ = 1 -
d
2
4．消除序列相关的方法
（1）一阶差分法
已知自相关的相关系数 ρ=1，原回归模型：
yt = β 0 + β 1 xt + ut ； ut = u
t-1
+ vt 。
令：
y't = yt - y
t-1
t t t-1
y't = β 1 x't + vt 。
（2）广义差分法
原回归模型：
yt = β 0 + β 1 xt + ut ； u
t
= ρ ut-1 + vt 。
令 y't =
yt - ρ y
t-1
，
x't = xt - ρ x
t-1
，
t t
d
（3）广义最小二乘法
做变换得到广义差分模型。
⎡
P= ⎢-0ρ
M
⎢0
⎣0
2
0
1
- ρ
M
0
0
0
0
1
M
0
0
L
L
L
M
L
L
0
0
0
M
1
- ρ
⎤
0⎥
⎥
0⎥ ，
⎥
0⎥
1⎥
-1 * *
u
*
*
X
*
*
~
-1
-1 ~ 2
-1
σ
2
v
=
-1
T - k
，ρ 用样本普通最小二乘残差的一阶自相关系数来估计。
k 是模型中估计参数个数（含常数项），T 是样本容量。
五、异方差
1．异方差及其检验方法
（1）异方差性在观察点聚图上的直观表示（对原始数据点而言）
（2）异方差性的检验方法：
（1）经济分析法。
对数据分组，分别计算方差。
（2）直观判
断法。
对残差而言。
（3）等级相关检验法。
（4）戈里瑟检验。
2．消除异方差的基本方法
（1）模型变换法
是已知异方差与自变量关系的形式，对模型进行变换，利用方差的性质可以证明是等方差
的。
（2）加权最小二乘法
使用异方差性的权矩阵 W 对模型进行变换。
B =
-1
-1
Y
yy
六、多重共线性
1．多重共线性：
是指模型中解释变量间存在着一定的相关关系，没有满足独立性要求。
2．原因：
（1）各经济变量间存在着内在联系。
（2）各经济变量在时间上有共同增长的趋
势。
（3）在建立模型时引入了一些解释变量的滞后值作为新的解释变量。
3．解决办法：
（1）经济分析的办法，找出引起多重共线性的变量，将他排除在外。
（2）
统计分析的方法，降维技术或者逐步回归的方法。
（3）改变变量定义的形式。
七、预测区间
1．估计标准误差
2
S =
n - m
2．点预测、预测误差的样本方差
（1）点预测
ˆˆ
y0 = x0 B
（2）预测误差的样本方差（和是向量）
00
预测误差：
0
预测误差的样本方差：
0
2
0
2 ⎡
⎣
0 0
-1
（3）预测区间
y0 ± tα
2
（n - m）S 0 ，n<30
y0 ± χ α 2 ⋅ S
0
， n ≥ 30
八、应用实例
1．散点图，线性关系检验。
2．建立回归模型。
3．计算回归系数。
4．模型检验（R、F、t、DW）。
5．计算预测区间。
升级会员 