理学第八章-相关与回归分析.ppt

理学第八章-相关与回归分析.ppt

《理学第八章-相关与回归分析.ppt》由会员分享，可在线阅读，更多相关《理学第八章-相关与回归分析.ppt（42页珍藏版）》请在冰点文库上搜索。

第8章相关与回归分析,8.1相关与回归的基本概念8.2简单线性相关与回归分析8.3多元线性相关与回归分析8.4非线性相关与回归分析,学习目标,1.变量间的相关关系与相关系数的计算2.总体回归函数与样本回归函数3.线性回归的基本假定4.简单线性回归参数的估计与检验,8.1相关与回归的基本概念,一、变量间的相互关系二、相关关系的类型三、相关分析与回归分析,一、变量间的相互关系,确定性的函数关系Y=f（X）不确定性的统计关系相关关系Y=f（X）+u（u为随机变量）两变量关系的图形描述：

坐标图（散点图）,二、相关关系的类型,从涉及的变量数量看简单相关多重相关（复相关）从变量相关关系的表现形式看线性相关散点图接近一条直线（左图）非线性相关散点图接近一条曲线（右图）,从变量相关关系变化的方向看正相关变量同方向变化负相关变量反方向变化从变量相关的程度看完全相关不完全相关不相关,相关关系的类型,三、相关分析和回归分析,1、相关分析分析变量之间是否存在相关关系分析相关关系的类型计量相关关系的密切程度相关分析：

不能说明变量间的相关关系的具体形式不能从一个变量去推测另一个变量的具体变化,2、回归分析：

回归是关于一个变量对另一个或多个变量依存关系的研究，是用适当的数学模型去近似地表达或估计变量之间地平均变化关系，回归分析目的：

根据已知的自变量的数值，去估计因变量的总体平均值。

3、相关分析和回归分析的区别与联系区别：

从研究目的上看：

相关分析是研究变量间相互联系的方向和程度；回归分析是寻求变量间联系的具体数学形式，是要根据自变量的固定值去估计和预测因变量的值。

从对变量的处理来看：

相关分析中的变量均为随机变量，不考虑两者的因果关系；回归分析是在变量因果关系的基础上研究自变量对因变量的具体影响，必须明确划分自变量和因变量，回归分析中通常假定自变量为非随机变量，因变量为随机变量。

联系：

共同的研究对象：

都是对变量间相关关系的分析只有当变量间存在相关关系时，用回归分析去寻求相关的具体数学形式才有实际意义相关分析只表明变量间相关关系的性质和程度，要确定变量间相关的具体数学形式依赖于回归分析,82简单线性相关与回归分析,一、简单线性相关系数及检验二、总体回归函数与样本回归函数三、回归系数的估计四、简单线性回归模型的检验五、简单线性回归模型预测,一、简单线性相关系数及检验,总体相关系数对于所研究的总体，表示两个相互联系变量相关程度的总体相关系数为：

总体相关系数反映总体两个变量X和Y的线性相关程度。

特点：

对于特定的总体来说，X和Y的数值是既定的总体相关系数是客观存在的特定数值。

样本相关系数,通过X和Y的样本观测值去计算样本相关系数，变量X和Y的样本相关系数通常用表示特点：

样本相关系数是根据从总体中抽取的随机样本的观测值计算出来的，是对总体相关系数的估计，它是个随机变量。

相关系数的特点：

相关系数的取值在-1与1之间。

当r=0时，表明X与Y没有线性相关关系。

当时，表明X与Y存在一定的线性相关关系；若表明X与Y为正相关;若表明X与Y为负相关。

当时，表明X与Y完全线性相关；若r=1，称X与Y完全正相关；若r=-1，称X与Y完全负相关。

相关系数的经验解释,|r|0.8时，可视为两个变量之间高度相关0.5|r|0.8时，可视为中度相关0.3|r|0.5时，视为低度相关|r|0.3时，说明两个变量之间的相关程度极弱，可视为不相关上述解释必须建立在对相关系数的显著性进行检验的基础之上,使用相关系数的注意事项：

X和Y都是相互对称的随机变量，所以相关系数只反映变量间的线性相关程度，不能说明非线性相关关系。

相关系数不能确定变量的因果关系，也不能说明相关关系具体接近于哪条直线。

相关系数的检验,为什么要检验？

样本相关系数是随抽样而变动的随机变量,相关系数的统计显著性还有待检验。

检验的依据：

如果X和Y都服从正态分布，在总体相关系数的假设下，与样本相关系数r有关的t统计量服从自由度为n-2的t分布：

相关系数的检验方法,给定显著性水平，查自由度为n-2的临界值若，表明相关系数r在统计上是显著的，应拒绝而接受的假设；反之，若，不拒绝的假设。

二、总体回归函数与样本回归函数,1、若干基本概念Y的条件分布:

Y在X取某固定值条件下的分布。

对于X的每一个取值，都有Y的条件期望与之对应，在坐标图上Y的条件期望的点随X的变化而变化的轨迹所形成的直线或曲线，称为回归线。

如果把Y的条件期望表示为X的某种函数：

这个函数称为回归函数。

如果其函数形式是只有一个自变量的线性函数,如,称为简单线性回归函数。

2、总体回归函数,概念：

将总体因变量Y的条件期望表现为自变量X的某种函数，这个函数称为总体回归函数。

表现形式：

（1）条件均值表现形式

（2）个别值表现形式（随机设定形式）,3、样本回归函数,概念：

Y的样本观测值的条件均值随自变量X而变动的轨迹，称为样本回归线。

如果把因变量Y的样本条件均值表示为自变量X的某种函数，这个函数称为样本回归数。

表现形式：

线性样本回归函数可表示为或,4、样本回归函数与总体回归函数的关系相互联系,样本回归函数的函数形式应与设定的总体回归函数的函数形式一致。

和是对总体回归函数参数的估计。

是对总体条件期望的估计残差e在概念上类似总体回归函数中的随机误差u。

回归分析的目的：

用样本回归函数去估计总体回归函数。

样本回归函数与总体回归函数的关系相互区别,总体回归函数虽然未知，但它是确定的；样本回归线随抽样波动而变化，可以有许多条。

样本回归线还不是总体回归线，至多只是未知总体回归线的近似表现。

总体回归函数的参数虽未知，但是确定的常数；样本回归函数的参数可估计，但是随抽样而变化的随机变量。

总体回归函数中的是不可直接观测的；而样本回归函数中的是只要估计出样本回归的参数就可以计算的数值。

三、回归系数的估计,随机误差项u无法直接观测，为了进行回归分析，必须对其性质作某些假定，估计才有良好性质，其检验才可进行。

估计的原则是使参数估计值“尽可能地接近”总体参数真实值。

简单线性回归的基本假定,假定1：

零均值假定。

假定2：

同方差假定。

假定3：

无自相关假定。

假定4：

随机扰动与自变量不相关。

假定5：

正态性假定,回归系数的最小二乘估计（methodofleastsquares）,德国科学家KarlGauss（17771855）提出用最小化图中垂直方向的误差平方和来估计参数使因变量的观察值与估计值之间的误差平方和达到最小来求得和的方法。

即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,KarlGauss的最小化图,x,y,（xn,yn）,（x1,y1）,（x2,y2）,（xi,yi）,最小二乘法（和的计算公式）,根据最小二乘法，可得求解和的公式如下,最小二乘估计的性质高斯马尔可夫定理,前提：

在基本假定满足时最小二乘估计是因变量的线性函数最小二乘估计是无偏估计，即在所有的线性无偏估计中，回归系数的最小二乘估计的方差最小。

结论：

回归系数的最小二乘估计是最佳线性无偏估计,四、简单线性回归模型的检验,回归模型的检验包括：

理论意义检验：

主要涉及参数估计值的符号和取值区间，检验它们与实质性科学的理论以及人们的实践经验是否相符。

一级检验：

又称统计学检验，利用统计学的抽样理论来检验样本回归方程的可靠性，具体分为拟合优度检验和显著性检验。

二级检验：

又称计量经济学检验，它是对标准线性回归模型的假设条件是否满足进行检验，包括自相关检验、异方差检验、多重共线性检验等。

（一）拟合优度的度量,基本思想：

样本回归直线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线。

样本回归拟合优度的度量建立在对因变量总离差平方和分解的基础上总离差平方和回归平方和残差平方和可决系数（判定系数）定义：

变差,因变量y的取值是不同的，y取值的这种波动称为变差。

变差来源于两个方面：

由于自变量x的取值不同造成的除x以外的其他因素（模型设定误差、随机误差、测量误差等）的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示。

误差的分解（图示）,x,y,误差平方和的分解（三个平方和的关系）,TSS=ESS+RSS,误差平方和的分解（三个平方和的意义）,总平方和（TSStotalsumofsquares）反映因变量的n个观察值与其均值的总离差回归平方和（ESSsumofsquaresofregression）反映自变量x的变化对因变量y取值变化的影响，或者说是由回归线做出解释的离差平方和残差平方和（RSSsumofsquaresofresidual）反映除x以外的其他因素对y取值的影响，是回归线未做出解释的离差平方和,可决系数r2,1、回归平方和占总误差平方和的比例,反映回归直线的拟合程度可决系数是非负的统计量,取值范围为0,1r21，说明回归方程拟合的越好；r20，说明回归方程拟合的越差在一元线性回归中，判定系数等于相关系数的平方可决系数是样本观测值的函数，可决系数是随抽样而变动的随机变量,

（二）显著性检验1、线性关系的F检验2、回归系数的t检验,回归系数的t检验,在一元线性回归中，等价于线性关系的显著性检验采用t检验,检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著,理论基础是回归系数的抽样分布,回归系数的检验（样本统计量的分布）,是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：

正态分布数学期望：

标准差：

由于未知，需用其估计量se来代替得到的估计的标准差,回归系数的检验（检验步骤）,提出假设H0:

b1=0（没有线性关系）H1:

b10（有线性关系）计算检验的统计量,确定显著性水平，并进行决策tt，拒绝H0；tt，不拒绝H0,五、简单线性回归模型预测,对平均值的点预测值：

Y的个别值置信度为1的预测区间：

影响区间宽度的因素,置信水平（1-）区间宽度随置信水平的增大而增大数据的离散程度s区间宽度随离散程度的增大而增大3.样本容量区间宽度随样本容量的增大而减小4.用于预测的xf与x的差异程度区间宽度随xf与x的差异程度的增大而增大,