辛钦大数定律的证明(在第15页).doc

辛钦大数定律的证明(在第15页).doc

《辛钦大数定律的证明(在第15页).doc》由会员分享，可在线阅读，更多相关《辛钦大数定律的证明(在第15页).doc（24页珍藏版）》请在冰点文库上搜索。

第四章大数定律与中心极限定理

极限定理是概率论与数理统计学中最重要的理论结果。

本章简单地介绍两类极限定理---“大数定律”和“中心极限定理”。

通常，把叙述在什么条件下一随机变量序列的算术平均值（按某种意义）收敛于某数的定理称为“大数定律”；把叙述在什么条件下大量的随机变量之和近似服从正态分布的定理称为“中心极限定理”。

本教材只介绍极限定理的经典结果。

分布函数、矩和特征函数是解决经典极限定理的主要工具。

一、教学目的与要求

1．掌握四个大数定律的条件、结论及数学意义；

2．理解随机变量序列的两种收敛性的定义及其关系，了解特征函数的连续性定理；

3．掌握独立同分布中心极限定理的条件、结论，并会用来解决一些实际问题。

二、教学重点和难点

教学重点是讲清大数定律的条件、结论和中心极限定理的条件、结论。

教学难点是随机变量序列的两种收敛性及大数定律和中心极限定理的应用。

§4.1大数定律

一、大数定律的意义

在第一章中引入事件与概率的概念时曾经指出，尽管随机事件A在一次试验可能出现也可能不出现，但在大量的试验中则呈现出明显的统计规律性——频率的稳定性。

频率是概率的反映，随着观测次数的增加，频率将会逐渐稳定到概率。

这里说的“频率逐渐稳定于概率”实质上是频率依某种收敛意义趋于概率，这个稳定性就是“大数定律”研究的客观背景。

详细地说：

设在一次观测中事件A发生的概率，如果观测了次（也就是一个重贝努里试验），A发生了次，则A在次观测中发生的频率为，当充分大时，频率逐渐稳定到概率。

若用随机变量的语言表述，就是：

设表示第次观测中事件A发生次数，即

则是个相互独立的随机变量，显然。

从而有

因此“稳定于”，又可表述为次观测结果的平均值稳定于。

现在的问题是：

“稳定”的确切含义是什么？

稳定于是否能写成

（1）

亦即，是否对，

（2）

对重贝努里试验的所有样本点都成立？

实际上，我们发现事实并非如此，比如在次观测中事件A发生次还是有可能的，此时，从而对，不论多么大，也不可能得到成立。

也就是说，在个别场合下，事件（）还是有可能发生的，不过当很大时，事件（）发生的可能性很小。

例如，对上面的，有。

显然，当时，，所以“稳定于”是意味着对，有

（3）

（概率上“稳定于”还有其他提法，如博雷尔建立了，从而开创了另一形式的极限定理---强大数定律的研究）

沿用前面的记号，（3）式可写成

一般地，设是随机变量序列，为常数，如果对，有

（4）

即

则称稳定于。

概率论中，一切关于大量随机现象之平均结果稳定性的定理，统称为大数定律。

若将（4）式中的换成常数列，即得大数定律的一般定义。

定义4.1：

若是随机变量序列，如果存在常数列，

使对，有

成立，则称随机变量序列服从大数定律。

若随机变量具有数学期望，则大数定律的经典形式是：

对，有

这里常数列

二、四个大数定律

本段介绍一组大数定律，设是一随机变量序列，我们总假定

存在。

首先看一课后题的（马尔可夫大数定律）

如果随机变量序列，当时，有（*）

证明：

服从大数定律。

证明:

对，由契贝晓夫不等式，有

因此

即

故服从大数定律。

＃

此大数定律称为马尔可夫大数定律，（*）式称为马尔可夫条件。

定理4.2（契贝晓夫大数定律）设是一列两两不相关的随机变量，又设它们的方差有界，即存在常数，使有

则随机变量序列服从大数定律，即对，有

证明：

因为两两不相关，且由它们的方差有界即可得到

从而有

满足马尔可夫条件，因此由马尔可夫大数定律，有

＃

注：

契贝晓夫大数定律是马尔可夫大数定律的特例。

例4.1设为独立同分布随机变量序列，均服从参数为的普哇松分布，则由独立一定不相关，且，因而满足定理4.2的条件，因此有

注：

此例题也可直接验证满足马尔可夫条件。

定理4.1（贝努里定理或贝努里大数定律）:

设是重贝努里试验中事件A出现的次数，又A在每次试验中出现的概率为，则对，有

证明：

令

显然

由定理条件，独立同分布（均服从二点分布）。

且都是常数，从而方差有界。

由契贝晓夫大数定律，有

＃

贝努里大数定律的数学意义：

贝努里大数定律阐述了频率稳定性的含义，当充分大时可以以接近的概率断言，将落在以为中心的内。

贝努里大数定律为用频率估计概率（）提供了理论依据。

注1：

此定理的证明也可直接验证满足马尔可夫条件。

注2：

贝努里大数定律是契贝晓夫大数定律的特例。

它是1713年由贝努里提出的概率极限定理中的第一个大数定律。

以上大数定律的证明是以契贝晓夫不等式为基础的，所以要求随机变量的方差存在，通过进一步研究，我们发现方差存在这个条件并不是必要条件。

定理4.3（辛钦大数定律）设是一列独立同分布的随机变量，且数学期望存在,则对，有

成立。

此定理的证明将在§4.2随机变量序列的两种收敛性中给出。

注：

贝努里大数定律是辛钦大数定律的特例。

辛钦大数定律的数学意义：

辛钦大数定律为实际生活中经常采用的算术平均值法提供了理论依据。

它断言：

如果诸是具有数学期望、相互独立、同分布的随机变量，则当充分大时，算术平均值一定以接近1的概率落在真值的任意小的邻域内。

据此，如果要测量一个物体的某指标值，可以独立重复地测量次，得到一组数据：

，当充分大时，可以确信，且把作为的近似值比一次测量作为的近似值要精确的多，因，；但，，即关于的偏差程度是一次测量的偏差程度的，越大，偏差越小。

再比如要估计某地区小麦的平均亩产量，只要收割一部分有代表性的地块，计算它们的平均亩产量，这个平均亩产量就是，在比较大的情形下它可以作为全地区平均亩产量，即亩产量的期望的一个近似。

这种近似或“靠近”并不是我们数学分析中的极限关系，而是§4.2中的依概率收敛。

辛钦大数定律也是数理统计学中参数估计理论的基础，通过第六章的学习，我们对它会有更深入的认识。

作业：

§4.2随机变量序列的两种收敛性

一、依概率收敛

在上一节上，我们从频率的稳定性出发，得出下面的极限关系式：

）=0，其中或等价于

这与数学分析中通常的数列收敛的意义不同。

在上式中以随机变量代替常数便得到新的收敛概念。

1、定义4.2（依概率收敛）设有一列随机变量，如果对，有

或

则称随机变量序列依概率收敛于，记作

或

（）

从定义可见，依概率收敛就是实变函数中的依测度收敛。

由定义可知，

有了依概率收敛的概念，随机变量序列服从大数定律的经典结果就可以表示为

特别地，贝努里大数定律可以描述为（

辛钦大数定律描述为（

例1、设是独立同分布的随机变量序列，且，

证明：

（

证：

，由契贝晓夫不等式

=

故

即

＃

2、性质

1）、若则。

证明：

，由则中至少有一个成立，即

于是

即对

从而有

＃

这表明，若将两个以概率为1相等的随机变量看作相等时，依概率收敛的极限是唯一的。

2）、设是两个随机变量序列，,为常数，若且在点连续，则。

3）、若；

；

是常数，且，则。

2）、3）的证明方法类似于1）。

二、按分布收敛

我们知道，分布函数全面地描述了随机变量的统计规律，那么当时，其相应的分布函数与之间会有什么样的关系呢？

是不是对所有的，有→（n→）成立呢？

答案是否定的。

例4．2设都是服从退化分布的随机变量，且

于是对，当时，有

所以

又的分布函数为

的分布函数为

显然，当时，有

但当时，

上例表明，一个随机变量序列依概论收敛到某随机变量，相应的分布函数列不是在每一点都收敛于这个随机变量的分布函数的。

但如果仔细观察一下这个例子，发现不收敛的点正是的不连续点。

要求在每一点都收敛到是太苛刻了，可以去掉的不连续点来考虑。

1、定义4.3设,是一列分布函数，如果对的每个连续点，都有

成立，则称分布函数列弱收敛于分布函数，并记作

若随机变量序列的分布函数弱收敛于随机变量的分布函数,也称按分布收敛于，并记作

2、依概率收敛与按分布收敛（弱收敛）之间的关系

定理4.4若随机变量序列依概率收敛于随机变量，即

则相对应的分布函数列弱收敛于分布函数，即

定理4.4也可表示成如下形式：

证明：

对任意的有

从而有

即

如果，由就有

所以有

同理可证，当时，有

于是对有

令，即得

显然，如果是的连续点，就有

＃

注意：

这个定理的逆命题不一定成立，即不能从分布函数列的弱收敛肯定相

应的随机变量序列依概率收敛。

例4.3抛掷一枚均匀的硬币，有两个可能的结果：

=“出现正面”，=“出现反面”，则

令

因是一个随机变量，其分布函数为

这时，若，则显然与有相同的分布函数。

再令，的分布函数记作，故=，于是对任意的，有

所以成立，而对任意的，恒有

即不可能有成立。

但在特殊情况下，它却是成立的。

定理4.5随机变量序列为常数）的充要条件是

这里的分布函数，也就是退化分布:

定理4.5也可表示成如下形式：

证明：

必要性已由定理4.4给出，下面只要验证充分性。

对任意的，有

定理4.5得证。

＃

本章将要向大家介绍的大数定律实际上就是随机变量列依概率收敛于常数的问题，由定理4.5知，它可归结为相应的分布函数列弱收敛于一退化分布，而中心极限定理就是随机变量的分布函数列弱收敛问题，可见分布函数列的弱收敛在本章讨论中占重要地位。

然而，要直接判断一个分布函数列是否弱收敛是很困难的,上一章我们就知道，分布函数与特征函数一一对应，而特征函数较之分布函数性质优良很多，故判断特征函数的收敛一般较容易，那么是否有

相应的

答案是肯定的。

即下述的特征函数的连续性定理。

三、特征函数的连续性定理

定理4.6分布函数列弱收敛于分布函数的充要条件是相应的特殊函数列收敛于的特征函数。

证明：

整个证明比较冗长（略）。

例4.4若是服从参数为的普哇松分布的随机变量，证明：

证明：

已知的特征函数为，故的特征函数为

对任意的，有

于是

从而对任意的点列，有

又是分布的特征函数，由定理4.6即知有

因是可以任意选取的，所以

＃

注：

此例说明普哇松分布（当参数时）收敛于正态分布。

下面我们利用定理4.6来证明上一节的定理4.3（辛钦大数定律）。

证明：

因同分布，故有相同的特征函数，又，将在处展开，有

由相互独立，得的特征函数为

对于任意取定的，有

由例题3.26已知是退化分布的特征函数，相应的分布函数为

由定理4.6知的分布函数弱收敛于，再由定理4.5得

故辛钦大数定律成立。

＃

我们曾经指出特征函数在求独立和的分布时所具有的特殊威力，而本节所叙述的特征函数连续性定理（定理4.6）“如虎添翼”，更增加了特征函数在解决独立和的分布的极限问题时的效能，使之成为无与伦比的锐利工具。

在下一节中将利用这一工具专门讨论独立和的分布的极限问题。

最后了解如下的斯鲁茨基定理：

定理4.7设是个随机变量序列，并且

又是元变量的有理函数，并且，则有

成立。

掌握斯鲁茨基定理的如下几个特例：

如果是两个随机变量序列，并且当时有

其中是两个常数，这时有

（1）；

（2）

成立。

作业：

§4.3中心极限定理

前一章介绍正态分布时，我们一再强调正态分布在概率统计中的重要地位和作用，为什么实际上有许多随机现象会遵循正态分布？

这仅仅是一些人的经验猜测还是确有理论依据，“中心极限定理”正是讨论这一问题的。

在长达两个世纪的时间内成为概率论讨论的中心课题，因此得到了中心极限定理的名称。

一、中心极限定理的概念

设为一独立随机变量序列，且，均存在，称

为的规范和。

概率论中，一切关于随机变量序列规范和的极限分布是标准正态分布的定理统称为中心极限定理，即设的规范和，有

则称服从中心极限定理。

中心极限定理实质上为近似服从标准正态分布。

二、独立同分布中心极限定理

大数定律仅仅从定性的角度解决了频率稳定于概率p，即，为了定量地估计用频率估计概率的误差，历史上DeMoivre—Laplace给出了概率论上第一个中心极限定理，这个定理证明了的标准化随机变量渐近于分布。

定理4.8（德莫佛—拉普拉斯）极限定理

在重贝努里试验中，事件A在每次试验中出现的概率为，为次试验中事件A发生的次数，则

注：

定理4.8说明近似服从，从而近似服从，又服从二项分布，所以定理4.8也称为二项分布的正态近似或二项分布收敛于正态分布。

在第二章，普哇松定理也被说成是“二项分布收敛于普哇松分布”。

同样一列二项分布，一个定理说是收敛于普哇松分布，另一个定理又说是收敛于正态分布，两者不是说有矛盾吗？

请仔细比较两个定理的条件和结论，就可以知道其中并无矛盾之处。

这里应该指出的是在定理4.8中，而普哇松定理中则要求。

所以在实际问题中作近似计算时，如果很大，不大或不大（即很小或很小），则应该利用普哇松定理；反之，若都较大，则应该利用定理4.8。

定理4.9（林德贝尔格-勒维）极限定理

设，,……是一列独立同分布的随机变量，且

，

则有

注：

德莫佛—拉普拉斯极限定理是林德贝尔格-勒维极限定理的特例。

证明：

设的特征函数为，则

的特征函数为

又因为

所以

于是特征函数为有展开式

从而对任意固定的，有

又是分布的特征函数，由定理4.6有

注：

定理4.9表明：

当充分大时，的分布近似于，从而具有近似分布。

这意味大量相互独立、同分布且存在方差的随机变量之和近似服从正态分布。

该结论在数理统计的大样本理论中有广泛应用，同时也提供了计算独立同分布随机变量之和的近似概率的简便方法。

三、应用

德莫佛—拉普拉斯中心极限定理是概率论历史上的第一个中心极限定理，它有许多重要的应用。

下面介绍它在数值计算方面的一些具体应用。

1、二项概率的近似计算

设是重贝努里试验中事件发生的次数，则～，对任意有

当很大时，直接计算很困难。

这时如果不大（即较小接近于0）或不大（即接近于1）则用普阿松定理来近似计算（大小适中）；

当不太接近于0或1时，可用正态分布来近似计算（较大）：

例1、（的）

在一家保险公司里有10000个人参加保险，每人每年付12元保险费。

在一年内一个人死亡的概率为0.006，死亡时其家属可向保险公司领得1000元，问：

（1）保险公司亏本的概率多大？

（2）保险公司一年的利润不少于40000元的概率为多大？

解：

保险公司一年的总收入为120000元，这时

（1）若一年中死亡人数，则保险公司亏本；

（2）若一年中死亡人数，则利润元。

令

则，记,已足够大，于是由德莫佛—拉普拉斯中心极限定理可得欲求事件的概率为

（1）

（其中）

同理可求得

（2）。

例2、某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。

可以认为各个电话分机用不同外线是相互独立的。

问：

总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？

解：

由题意，任意一个分机或使用外线或不使用外线只有两种可能结果，且使用外线的概率=0.04，260个分机中同时使用外线的分机数～

设总机确定的最少外线条数为,则有

由于较大，故由德莫佛—拉普拉斯定理，有

查正态分布表可知

解得

所以总机至少备有16条外线，才能以95%的把握保证各个分机使用外线时不必等候。

2、用频率估计概率的误差估计

由贝努里大数定律

那么对给定的和较大的，究竟有多大？

贝努里大数定律没有给出回答，但利用德莫佛—拉普拉斯极限定理可以给出近似的解答。

对充分大的

故

由此可知，德莫佛—拉普拉斯极限定理比贝努里大数定律更强，也更有用。

例3、重复掷一枚质地不均匀的硬币，设在每次试验中出现正面的概率未知。

试问要掷多少次才能使出现正面的频率与相差不超过的概率达95%以上？

解：

依题意，欲求，使

所以要掷硬币9604次以上就能保证出现正面的频率与概率之差不超过。

作业：

§4.4中心极限定理（续）

独立非同分布中心极限定理

自学讨论

了解林德贝尔格条件和李雅普诺夫中心极限定理及其数学意义。

24