时间序列分析部分讲义中国科学研究院安鸿志Word文档格式.docx

时间序列分析部分讲义中国科学研究院安鸿志Word文档格式.docx

《时间序列分析部分讲义中国科学研究院安鸿志Word文档格式.docx》由会员分享，可在线阅读，更多相关《时间序列分析部分讲义中国科学研究院安鸿志Word文档格式.docx（16页珍藏版）》请在冰点文库上搜索。

Wk=（Xk-μ）---第k代长子身高与平均身高之差,

c=a+（b-1）μ,

于是有

Wk+1=c+bWk+ek.（0.3）

特别人们发现:

0<

b<

1.它表明:

平均说来,当父亲身高超过平均身高时,

其子身高也会超过平均身高,

但是比父亲身高更靠近平均身高.

有回归平均身高的趋向!

稳定系统!

*回归模型的推广:

（线性模型）

*增加自变元个数:

比如,儿子身高不仅与父亲还与母亲,甚至于祖父母

有关,于是（0.1）式应推广为:

Yk=a+b1X1k+…+bpXpk+ek,1≤k≤n.（0.4）

*此为p元线性回归模型.

*向非线性推广:

仍以父-子身高的关系为例,它们的真实关系应是比

（0.1）式更一般的形式:

Yk=ϕ（Xk）+ek,1≤k≤n.（0.5）

（0.4）式更一般的形式:

Yk=ϕ（X1k,…,Xpk）+ek,1≤k≤n.（0.6）

近年来,又引出了比（0.6）式更广的模型:

Yk=ϕ（X1k,…,Xpk）+s（X1k,…,Xpk）ek,1≤k≤n.（0.7）

*此为异方差回归模型.

（0.7）式的更一般的形式:

Yk=ψ（X1k,…,Xpk;

ek）,1≤k≤n.（0.8）

模型越复杂,越近似真实情况,也越难统计分析.

*应用背景:

非常广泛!

主要用于预报,控制,检测,管理.

模型的获得方法有两类.

3.1期望,平稳性,遍历性:

确切说,是对（0.1）至（0.8）式中{ek}的最起码的假定,根据这些假定就可以引出随机过程和各种模型概念,用它们近似描述{ek}（本来是说不清的）.而且,对这些起码的假定,也只是以最直观的方式,而非严格的概率论观点,加以介绍.

*期望和随机过程

*随机过程:

{X（t）;

-∞<

t<

∞},其中X（t）是随机变量.

*随机序列:

{Xk;

k=…,-1,0,1,…},其中Xk是随机变量.

特别当Xk=X（kh）时,序列{Xk}是过程{X（t）}的等间隔采样序列.

回忆随机变量X和它的样本的定义,我们有:

*样本序列:

{…,x-1,x0,x1,…}是序列{Xk}的一个样本序列,

又称为一个实现,又称为一个观测序列,等等.

请注意:

随机变量X的一个样本,就是一个数;

随机向量X的一个样本,就是一个向量数;

随机序列{Xk}的一个样本,是一个无穷数列;

在实际应用中,我们无法记录无穷数列,从而在讨论随机序列{Xk}的样本时,只能考虑一个样本的有限部分,比如

{x1,x2,…,xn}是序列{Xk}的一段观测值序列.

在理论讨论时,为了方便又不得不涉及无穷数列.这些都是学习和掌握时间序列分析时,首先要认清的起点.

**序列的分布:

回忆随机变量X的定义便知,它的特征被它的概率分布所确定.同样,随机序列也被它的概率分布所确定.不过,随机序列的分布是无穷个随机变量的概率分布,其复杂性可以想得到.这里为了避免涉及太深的概率论概念,我们仅考虑最简单的特疏情况,即

Xk~N（μk,σ2k）,它有密度

fk（x）=（2πσ2k）-1/2exp{（x-μk）2/2σ2k}

而且（Xk+1,Xk+2,…,Xk+m）有联合正态分布.于是有:

*期望（均值）:

EXk=⎰xfk（x）dx=μk,

*方差:

Var（Xk）=E（Xk-μk）2=⎰（x-μk）2fk（x）dx=σ2k.

*自协方差:

γkj=E[（Xk-μk）（Xj-μj）]=⎰⎰（x-μk）（y-μj）fkj（x,y）dxdy

=E[（Xj-μj）（Xk-μk）]=γjk.

回忆二元随机变量X和Y的协方差定义便可理解上式.

*平稳序列:

一类重要的特疏随机序列.

弱平稳序列:

如果μk=μ;

γkj=γk-j=γj-k.

严平稳序列:

如果（Xk+1,Xk+2,…,Xk+m）的分布与k无关!

正态平稳序列:

弱平稳序列≅严平稳序列!

**遍历性:

一个重要性质—-时间序列统计分析的基础.

（与大数是律有关）

（1/n）∑k=1nXk→EXk=⎰xfk（x）dx=μk,当n→∞.

（1/n）∑k=1ng（Xk）→Eg（Xk）=⎰g（x）fk（x）dx,当n→∞.

3.2白噪声序列:

什么是?

为什么叫?

有什么用?

它是基楚性的随机序列,具体来说,{…,ε-1,ε0,…}是相互独立相同分布的随机变量序列,且均值为零,方差为σ2.（常用i.i.d.{εt}表示）

Eεt=0,Eεt2=σ2,Eεtεs=0,（t≠s）

（3.2.1）（3.2.2）（3.2.3）

因为,当t≠s时

γts=E[（εt-Eεt）（εs-Eεs）]=Eεtεs=EεtEεs=0=γt-s.

为什么叫白噪声序列,在讲谱分析更能看清.

它有什么用呢?

可以说,很多很多的随机序列都是通过白噪声序列的变化生成的!

*请看几个例子:

例1.Yt=a+bt+εt,（确定函数+白噪声）

μt=EYt=E（a+bt+εt）=a+bt+Eεt==a+bt,

γkj=E[（Yk-EYk）（Yj-EYj）]=Eεkεj=EεkEεj=0,（j≠k）

γkk=E（Yk-EYk）2=Eεk2=σ2.

例2.Yt=εt+a1εt-1+a2εt-2,（白噪声延迟的线性和）

例3.Yt=εtεt-1,（白噪声⨯白噪声延迟）

例4.Yt=εt/（1+εt-12）.（白噪声+白噪声延迟的函数）

●一个有趣的问题:

是否用白噪声序列能生成所有的

平稳序列?

（回答是,不能!

）

3.3移动平均过程（滑动平均序列

—MovingAverage-MA）

*移动平均过程定义的由来---概述:

设{εk}为白噪声序列,顾名思义,滑动平均序列是:

Yt=（εt+εt-1+…+εt-m+1）/m,t=…,-1,0,1,…

推而广之

Yt=（θ0εt+θ1εt-1+…+θmεt-m+1）/（θ0+θ1+…+θm）,

更广之

Yt=μ+θ1εt-1+…+θmεt-m+1+εt,（3.3.8）

或

Yt=μ+∑i=0∞ψiεt-i.（线性序列）（3.3.13）

Yt=μ+∑i=-∞∞ψiεt-i.（线性序列,非现实）

*移动平均过程的特征:

*均值函数:

EYt=μ+∑i=0∞ψiEεt-i=μ.（ByEεt-i=0）（*）

*自协方差函数:

γkj=E[（Yk-μ）（Yj-μ）]（用上式）

=E[∑i=0∞ψiεk-i∑i=0∞ψiεj-i]

=E[∑i=0∞∑s=0∞ψiψsεk-iεj-s]

=∑i=0∞∑s=0∞ψiψsEεk-iεj-s（ByEεk-iεj-s=0,ifk-i≠j-s）

=∑i=0∞ψiψi+|k-j|Eε12（ByEε12=σ2）

=σ2∑i=0∞ψiψi+|k-j|=γk-j.（3.3.18）*

可见,（3.3.13）式的{Yt}是平稳序列.特别当{εk}为正态白噪声序列时,{Yt}也是正态平稳序列.

还特别指出:

为保证（3.3.18）式可求和,要求

∑i=0∞ψi2<

∞.（3.3.14）

或者更强的要求

∑i=0∞|ψi|<

∞.（3.3.15）

由此式可导出

∑i=0∞|γi|<

∞.（3.3.19）

此式能保证序列{Yt}具有遍历性.

*一阶移动平均过程（MA

（1））

Yt=μ+θεt-1+εt,（3.3.1）

相当于（3.3.13）式中的ψ0=1,ψ1=θ,其它ψi=0.以此代入（*）和（3.3.13）式则有

EYt=μ,（3.3.2）

γ0=σ2（1+θ2）,γ1=γ-1=σ2θ,γi=0,当|i|>

1时.

（3.3.3）（3.3.4）（3.3.5）

（3.3.5）式是一阶移动平均过程的基本特征!

它表现为

自协方差函数序列{γ0,γ1,γ2,…},

在1以后是截尾的,即{γ0,γ1,0,0,0,…}.

易见,这一特征与γ0和γ1的具体取值并不密切,所以,可用序列的自相关函数表述.

*自相关函数:

ρk=γk/γ0,k=0,1,…（3.3.6）

这是因为

ρk=γk/γ0=γk/γ01/2γ01/2=

E[（Yt+k-μ）（Yt-μ）]/{E（Yt+k-μ）2E（Yt-μ）2}1/2,

它是Yt+k和Yt的相关系数,依平稳性它与t无关,但与k有关,所以称函数,又因是序列自身的关系,所以称自相关函数.

*对于（3.3.1）的一阶移动平均过程而言,由（3.3.4）和（3.3.5）知

ρ0=1,ρ1=θ/（1+θ2）,当k>

1,ρk=0.（3.3.7）

可见,自相关函数在1以后全为零（截尾）是一阶移动平均过程的本质性特征!

*以上内容不难推广到

*q阶移动平均过程:

（MA（q））（见p58-59）

模型

Yt=μ+θ1εt-1+…+θqεt-q+εt,（3.3.8）

特征

γk=0,ρk=0,当k>

q.（3.3.12）

即,它的自协方差函数在q步以后截尾.

关于γ0,γ1,…,γq的具体表达式为

γ0=（1+θ12+θ22+…+θq2）σ2,（σ2=Eεt2）（3.3.10）

γj=（θj+θj+1θ1+θj+2θ2+…+θqθq-j）σ2,j=1,2,…,q（3.3.12）

注意,以上（3.3.10）和（3.3.10）式,表达了γ0,γ1,…,γq

和参数θ1,θ2,…,θq2,σ2的相互依赖关系!

但是,除非q=1,一般很难求解.况且,它们的解还有不唯一性问题,此问题方在3.7节中解答.

例2（见p59）.

3.4自回归过程.（自回归序列—AutoRegression--AR）

*一阶自回归过程（AR

（1））（相当于概述）

*实际背景:

*定义:

Yt=c+φYt-1+εt,（3.4.1）

其中{εt}是白噪声序列,而且,εt与{Yt-1,Yt-2,…}独立!

所以,在文献中,{εt}又被称为新息序列!

*求解:

由（3.4.1）式反复迭代有:

（不妨叫反复迭代法）

Yt=c+φYt-1+εt

=c+φ（c+φYt-2+εt-1）+εt

=c+φc+φ2Yt-2+φεt-1+εt

=φ2Yt-2+（c+φc）+（εt+φεt-1）

=φ3Yt-3+（c+φc+φ2c）+（εt+φεt-1+φ2εt-2）

=…

=φnYt-n+（c+φc+…+φn-1c）+（εt+φεt-1+…+φn-1εt-n+1）

→（c+φc+φ2c+…）+（εt+φεt-1+φ2εt-2…）（当n→∞）

=c/（1-φ）+∑k=0∞φkεt-k.（3.4.2）

*平稳性:

显然,上式成立的充分必要条件是:

|φ|<

1.即φ∈（-1,1）

于是有名称:

区间（-1,1）为AR

（1）模型的平稳域;

（3.4.2）式的解为AR

（1）模型的平稳解;

---AR

（1）平稳序列;

它也是MA（∞）序列（见（3.3.13）式）.

由（3.4.2）式和Eεt=0,有

Yt=c/（1-φ）=μ.（3.4.3）

在（3.3.18）式,此时

ψj=φj,j=0,1,…

于是AR

（1）的自协方差函数为

γk=σ2φj/（1-φ2）=φjγ0,j=0,1,…（3.4.5）

AR

（1）的自相关函数为

ρk=γk/γ0=φj,j=0,1,…（3.4.6）

*模型推演方法:

（不用（3.3.18）式）

回顾模型AR

（1）（3.4.1）式

Yt=c+φYt-1+εt,两边同取均值得

μ=EYt=Ec+φEYt-1+Eεt=c+φμ⇒μ=c/（1-φ）.

在（3.4.1）式两边同减上式μ=c+φμ得

（Yt-μ）=φ（Yt-1-μ）+εt.

记Wt=（Yt-μ）,它是{Yt}的中心化序列!

它满足中心化的AR

（1）模型

Wt=φWt-1+εt.（3.4.1）’

以Wt-k（k≥1）同乘上式两边,然后再同取均值得

γk=EWtWt-k=φEWt-1Wt-k+EεtWt-k=φγk-1,k=1,2,…（3.4.15）

其中用到εt与Wt-k独立,和Eεt=0,即EεtWt-k=EεtEWt-k=0.由此可得γk=φkγ0.将Wt=φWt-1+εt两边平方后,再同取均值得

γ0=EWt2=φ2EWt-12+Eεt2+2φEWt-1εt=φ2γ0+σ2⇒γ0=σ2/（1-φ2）.

记L为（一步）延迟算子（运算）,即Lεt=εt-1,L2Wt=Wt-2,等等.于是,Wt=φWt-1+εt可写成

Wt=φLWt+εt或者Wt-φLWt=εt或者

（1-φL）Wt=εt.（3.4.1）’’

对上式进行形式上的代数运算可得

Wt=（1-φL）-1εt=∑k=0∞φkLkεt=∑k=0∞φkεt-k.

其中

（1-φL）-1=∑k=0∞φkLk⇔（1-φL）∑k=0∞φkLk=1.

以上推演方法,不仅简便,而且能推广到高阶情况!

*高阶推广:

Yt=c+φ1Yt-1+…+φpYt-p+εt,（3.4.13）

μ=c+φ1μ+…+φpμ,

Wt=φ1Wt-1+…+φpWt-p+εt,

记

.

则Wt=φ1Wt-1+…+φpWt-p+εt等价于

Zt=AZt-1+Uεt.（*）

于是,以上对模型AR

（1）的推演步骤都无困难地推广到以上p元一阶AR模型.唯一的差别就是要用到矩阵运算.例如,类似于（3.4.2）式的解为

Zt=∑k=0∞AkUεt-k.（*）

此时（3.4.13）式具有平稳解的充分必要条件是:

A的本征值的模都小于1,

ρ（A）<

1.（对比|φ|<

1,ρ（A）是A的谱半径）

我们所说的模型推演方法暂叙到此.

*二阶AR模型:

（见p64-66）（概述其难点所在）

模型:

Yt=c+φ1Yt-1+φ2Yt-2+εt,

Wt=φ1Wt-1+φ2Wt-2+εt,（3.4.10）

依前所述,只要求得（3.4.10）式的解,就不难获得AR

（2）模型的个项特征量.要获得（3.4.10）式的解,就等价于求

{Wt}的（3.3.13）式中的系数ψj（0≤j<

∞）.如上所述,我们有两种方法:

一是用（3.4.10）式反复迭法;

（仿（3.4.2）式）

一是算子的代数运算法;

（求二元一阶AR模型的解）

说实话,都不简单!

为什么?

请看

若用（3.4.10）式反复迭法,则有

Wt=φ1Wt-1+φ2Wt-2+εt=εt+φ1（φ1Wt-2+φ2Wt-3+εt-1）+φ2Wt-2

=εt+φ1εt-1+（φ12+φ2）Wt-2+φ1φ2Wt-3=…

以下难于寻找εt-2,εt-3,…的系数的表示法.（难于寻找规律）

若用算子的代数运算求解（3.4.10）式,此时

Zt=

A=

在用（*）式求Zt的表达式时,要求出Ak（k=1,2,…）,同样难于寻找规律!

究其根源在于:

此时（3.4.10）式可写为

Wt-φ1Wt-1-φ2Wt-2=εt,（3.4.10）’

记Φ（L）=1-φ1L-φ2L2,则（3.4.10）式又可写为

Φ（L）Wt=εt,（3.4.10）’’

于是有解

Wt=Φ-1（L）εt=∑j=0∞ψjεt-j（=Yt-μ=Yt-cΦ-1

（1））

Φ-1（L）=∑i=0∞ψiLj⇔Φ（L）=∑i=0∞ψiLj=1

式中的系数ψj与Φ（x）=0的根有关,而且只有当

Φ（x）=0的根都在单位圆外,即Φ（x）≠0,对|x|<

1.（3.4.18）

（3.4.10）式才有平稳解!

而且,一般难于给出ψj的显示表达式!

对Ak而言也如此!

注意AR

（1）时只有一个实根;

AR

（2）时可能有两个不同的实根,有一个的实的双重根,有两个不同的但是共轭的复根.

对于注重应用者,更关心自协方差函数,请看:

将Wt=φ1Wt-1+φ2Wt-2+εt两边同乘Wt-k,再求均值可得

EWtWt-k=φ1EWt-1Wt-k+φ2EWt-2Wt-k+EεtWt-k

注意,对于k≥1时,EεtWt-k=EεtEWt-k=0,于是有

γk=φ1γk-1+φ2γk-2,k≥1,或者（3.4.25）

γk-φ1γk-1-φ2γk-2=0,k≥1.（3.4.25）’

当k=0时,将Wt=φ1Wt-1+φ2Wt-2+εt两边同乘Wt,再求均值得

EWtWt=φ1EWt-1Wt+φ2EWt-2Wt+EεtWt

=φ1γ1+φ2γ2+Eεt（φ1Wt-1+φ2Wt-2+εt）

=φ1γ1+φ2γ2+φ1EεtWt-1+φ2EεtWt-2+Eεt2（ByEεtWt-j=0,j≥1）

=φ1γ1+φ2γ2+σ2.（3.4.29）

至此我们得到了（3.4.29）式和（3.4.25）式.人们已注意到,（3.4.25）式也是二阶差分方程,也难得显示解.但是我们不关心它的解,而关心γ0,γ1,γ2和参数φ1,φ2,σ2的相互依赖关系!

至于γ3,γ4,…,它们被γ0,γ1,γ2（或φ1,φ2,σ2）唯一确定,而且不被关注.进一步而言,（3.4.29）式和（3.4.25）式中取k=1,2就唯一确定了γ0,γ1,γ2和参数φ1,φ2,σ2的相互依赖关系!

现写下这三个方程:

γ0=φ1γ1+φ2γ2+σ2,

γ1=φ1γ0+φ2γ1,

γ2=φ1γ1+φ2γ0.

将γ0同除以上后两式的

ρ1=φ1+φ2ρ1,（3.4.27）

ρ2=φ1ρ1+φ2.（3.4.28）

由此不难解出ρ1,ρ2与φ1,φ2的关系.其实,我们更关心φ1,φ2对ρ1,ρ2的依赖关系!

注意,（3.4.27）和（3.4.28）式联合起来,称为（AR

（2）的）Yule-Walker方程.

*p阶AR模型:

（见p66-68）

Yt=c+φ1Yt-1+…+φpYt-p+εt,（3.4.31）

记Wt=Yt-μ=Yt-c/（1-φ1-…-φp）,

Wt=φ1Wt-1+…+φpWt-p+εt,（3.4.31）’

Wt-φ1Wt-1-…-φpWt-p=εt,

Φ（L）Wt=εt,

Φ（L）=1-φ1L-…-φpLp.

平稳条件:

1.（3.4.32）

Y-W方程:

ρt=φ1ρt-1+…+φpρt-p,t=1,2,…（3.4.37）

若记φ=（φ1,φ2,…,φp）τ,ρ=（ρ1,ρ2,…,ρp）τ,再记

R=

则由（3.4.37）式可得

Rφ=ρ.（3.4.37）’

有解

φ=R-1ρ.（3.4.37）’’

**偏相关函数:

若将（3.4.37）’中的p用k代替,并记相应的记号为

φ（k）=（φ1k,φ2k,…,φkk）τ,ρ（k）=（ρ1,ρ2,…,ρk）τ和R（k）,则有

φ（k）=R-1（k）ρ（k）,k=1,2,…（3.4.37）*

序列{φkk:

k=1,2,…}为偏相关函数列.

请注意,ρk是Wt+k和Wt的相关系数,而φkk是在已知Wt+1,Wt+2,…,Wt+k-1条件下,Wt+k和Wt的相关系数.粗略地说,在扣除Wt+1,Wt+2,…,Wt+k-1的影响后,Wt+k和Wt的相关系数.

可以证明,对于平稳AR（p）序列而言,偏相关函数列在p以后都为零,也称截尾,即

{φkk:

k=1,2,…}={φ11,φ22,…,φpp,0,0,…}.（*）

3.5自回归滑动平均过程:

（ARMA（p,q））

讨论ARMA（p,q）模型时,用多元化的方法并不方便,常用的方法是延迟算子的方法.具体如下:

*ARMA（p,q）模型:

Yt=c+φ1Yt-1+…+φpYt-p+θ1εt-1+…+θqεt-q+εt.（3.5.1）

Yt-φ1Yt-1-…-φpYt-p=c+εt+θ1εt-1+…+θqεt-q

Φ（L）=1-φ1L-…-φpLp;

Θ（L）=1+θ1L+…+θqLq;

于是（3.5.1）式可写成

Φ（L）Yt=c+Θ（L）εt,（3.5.2）

上式有解

Yt=Φ-1（L）c+Φ-1（L）Θ（L）εt,

=μ+ψ（L）εt.

μ=c/（1-φ1-…-φp）（书中有此式,但无编号）

=cΦ-1

（1）

ψ（L）εt=Φ-1（L）Θ（L）εt=（∑k=0∞ϕkLk）Θ（L）εt

=∑k=0∞ψkLkεt=∑k=0∞ψkεt-k=Wt.

于是（3.5.1）（或（3.5.2））有解

Yt=μ+Wt=μ+∑k=0∞ψkεt-k.（*）

中心化的ARMA模型为

Φ（L）Wt=Θ（L）εt,（3.5.2）’

Wt=Φ-1（L）Θ（L）εt.

关于ARMA（p,q）模型的特性,能说些什么呢?

它的自相关函数和偏相关函数都不截尾