信号检测估计_第六章-估计的基本理论—参数估计.ppt

信号检测估计_第六章-估计的基本理论—参数估计.ppt

《信号检测估计_第六章-估计的基本理论—参数估计.ppt》由会员分享，可在线阅读，更多相关《信号检测估计_第六章-估计的基本理论—参数估计.ppt（60页珍藏版）》请在冰点文库上搜索。

第0章前言第一章基础知识第二章随机信号分析第三章信号检测的基本理论第四章确知信号的检测第五章随机参量信号的检测第六章估计的基本理论参数估计第七章信号波形估计第八章功率谱估计,教学内容,信号检测理论,信号估计理论,第六章估计的基本理论参数估计,61估计子的性能62Bayes估计63最大似然估计64线性均方估计65最小二乘法66区间估计67递推估计,本章内容：

详细讨论参数估计的理论，讨论如何规范估计子的性能，并介绍如何实行估计过程的适合方法。

参数估计：

利用样本数据来估计待定的参数。

参数估计方法：

（1）点估计：

需求一个估计子，它将给出待定参数的单个估计值，这个估计值叫点估计值。

（2）区间估计：

确定的是待定参数可能位于某个区间，这个区间叫做置信区间估值。

第六章估计的基本理论参数估计,11估计子的性能令x（t）是一个与未知参数有关的随机信号，,的估计子记为,1.无偏性无偏估计定义：

若,否则就是有偏估计子。

估计偏差定义：

第六章估计的基本理论参数估计61估计子的性能,是采样值，,例题6.1由,给定的观测样本，其中s和vi分别为信号和噪声，信号s的一个可能估值是,判断该估值是否是无偏估计？

第六章估计的基本理论参数估计61估计子的性能,解：

第六章估计的基本理论参数估计61估计子的性能,渐进无偏估计定义：

的渐进无偏估计子。

例题6.2线性平稳过程的自相关函数的估计子为,若假设观测数据x（m）是独立的。

判断它是否为无偏估计，若是有偏估计，再判断是否为渐进无偏估计。

第六章估计的基本理论参数估计61估计子的性能,解：

因为这是个平稳过程，所以有,第六章估计的基本理论参数估计61估计子的性能,2.Cramer-Rao不等式（克拉美-罗不等式）一个估计子最基本的特性体现在偏差和方差上。

精确的估计通常是困难的。

此时希望得到方差可能达到的一个下界。

Cramer-Rao下界定义：

任何一个无偏估计子方差的下界常叫做Cramer-Rao下界。

的一个无偏估计子，且,存在，则有,定理1.1：

第六章估计的基本理论参数估计61估计子的性能,说明：

该不等式就是常用的称为克拉美-罗不等式，它给出了随机参量估计误差方差的下界。

第六章估计的基本理论参数估计61估计子的性能,证明：

由假设条件可知,对上式两边求对求偏微分，有,第六章估计的基本理论参数估计61估计子的性能,整理得,第六章估计的基本理论参数估计61估计子的性能,第六章估计的基本理论参数估计61估计子的性能,即,证毕。

Cramer-Rao不等式的另外一种形式。

说明：

第六章估计的基本理论参数估计61估计子的性能,对上式进行两次求导，,所以,第六章估计的基本理论参数估计61估计子的性能,第六章估计的基本理论参数估计61估计子的性能,3.有效性若估计子的估计方差越小，则估计值越有效,定义1.3:

任何一个满足Cramer-Rao不等式中的等号的无偏估计子称作为优效估计子。

相对有效性定义：

相对有效性定义为,说明：

一个优效估计子是我们能够构造的最有效的估计，通常称为最小方差无偏估计。

第六章估计的基本理论参数估计61估计子的性能,估计的均方误差定义：

证明：

均方误差准则：

在多个估计子中选择均方误差小的估计子的方法称为均方误差准则。

其中：

一致性估计定义：

是的一致估计，若当样本N趋于无穷大时，以概率1收敛于真值，即,第六章估计的基本理论参数估计61估计子的性能,4.一致性,估计的基本性能,无偏性有效性一致性,第六章估计的基本理论参数估计61估计子的性能,定理1.2令,是基于N个观测样本获得的,的估计。

假定,则,是,一致估计。

一致估计也称为弱一致估计。

证明：

利用Chebyshev不等式（参见张贤达书P573）,有,第六章估计的基本理论参数估计61估计子的性能,根据一致估计的定义，可知,是的,一致估计。

说明：

定理1.2给出了一致估计的一个充分条件。

第六章估计的基本理论参数估计61估计子的性能,强一致估计定义：

是,的均方一致估计，若,均方收敛于,，也即,；如果,以概率1收敛于,，则称,是,的强一致估计。

第六章估计的基本理论参数估计62Bayes估计,定义：

令,是属于参数空间的某个参数，,取值的一个估计（子）。

是一个代价函数，若它是,和,二者的实值函数，满足以下两个条件：

和,，,至少在A内存在一个，,使得,是在判定A中,1）对所有,2）对每个,使得,62Bayes估计,估计准则：

（1）成本函数最小，成本函数依赖于估计子和真值。

（2）采用最大似然函数。

下面是代价函数的三个常用例子。

2）平方偏差,3）均匀函数,1）绝对偏差,这些代价函数如图6.2-1所示。

图6.2.1估计子的几种代价函数,第六章估计的基本理论参数估计62Bayes估计,e,e,C（e）,C（e）,C（e）,第六章估计的基本理论参数估计62Bayes估计,Bayes估计定义：

将代价函数的数学期望值,称作风险函数，使该风险函数最小的估计叫做Bayes估计。

1.二次代价函数与最小均方估计,最小的估计叫做最小均方估计。

最小均方估计定义：

使二次函数,第六章估计的基本理论参数估计62Bayes估计,第六章估计的基本理论参数估计62Bayes估计,2.均匀代价函数与最大似然估计均匀代价函数的风险函数为,第六章估计的基本理论参数估计62Bayes估计,满足上面方程的就是使Runf有最小值的。

第六章估计的基本理论参数估计62Bayes估计,显然，满足上面方程的估计就是的最大似然估计。

结论：

基于均匀代价函数的Bayes估计与最大似然估计等价，即有,63最大似然（ML）估计最大似然法：

本质上就是求使似然函数最大的一个参数作为估计。

的性质，通常选择使,的自然对数,本身最大化。

是观测样本，,是待估计的参数。

求得。

说明：

鉴于似然函数,最大，而不是,令,定义对数似然函数,第六章估计的基本理论参数估计63最大似然估计,通常,是一向量参数，如,，,确定。

若,是独立的抽样，则,在这种情况下，通过求解,第六章估计的基本理论参数估计63最大似然估计,最大似然法有性质：

最大似然估计一般不是无偏的，但是这种偏差可以通过乘某个合适的常数加以消除；,是均值为,、方差为,的高斯分布。

第六章估计的基本理论参数估计63最大似然估计,2.最大似然估计是一致估计；,4.对于大的N,3.最大似然法将给出优效估计，如果它存在的话；,例题6.2.令,是一个具有概率密度函数,的正态分布得到的随机样本。

求均值,和方差,的最大似然估计。

解：

似然函数是,和,二者的函数，所以有,第六章估计的基本理论参数估计63最大似然估计,第六章估计的基本理论参数估计63最大似然估计,由于对似然函数直接求偏导较复杂，因此可以先对L求对数，然后在求偏导，即令,对待估参数分别求偏导，然后令偏导为零，得,整理得,第六章估计的基本理论参数估计63最大似然估计,可以证明:

样本-均值,样本方差,说明：

均值的最大似然估计是无偏的；而方差的最大似然估计是有偏的，但是这个偏差可以通过乘一常数,加以消除。

是无偏的；,是无偏的。

（作业.证明以上两个结论及说明的内容。

）,64线性均方估计,LMS估计中估计子的定义：

在LMS（linermeansquare:

线性均方）估计中，待定参数的估计子表示为观测数据的线性加权之和，即,第六章估计的基本理论参数估计64线性均方估计,Bayes估计和最大似然估计中，需要知道观测样本的条件概率密度。

但是在很多情况下，这些它们是未知的。

另外最大似然估计会导致非线性估计问题，它是不容易求解的。

第六章估计的基本理论参数估计64线性均方估计,线性均方的原理：

就是使均方误差函数,方法：

其中,令,上式条件叫做正交原理，既当且仅当估计误差正交于每一个给定的观测数据时，均方误差最小。

最小。

是估计误差。

第六章估计的基本理论参数估计64线性均方估计,重新整理（6-4-3）有,R非奇异的条件：

权系数wi之间是独立的。

有公式（6-4-1）可知，相当于已知样本小xi（i=1,2,N）是独立的。

方程（6-4-5）称为法方程。

法方程用矩阵形式表示如下。

R称为自相关矩阵。

当R非奇异时，权向量可由,求出。

651最小二乘估计假设观测数据与未知参数之间的矩阵方程为,其中：

X是一组观测值，,A是Np（pN）维系数矩阵，为已知；,是一个N维“拟合误差”向量，未知。

，为已知；,是一个p维的未知数向量，,第六章估计的基本理论参数估计65最小二乘法,65最小二乘法,最小二乘法估计准则：

使误差平方和最小，既有,由此得到的,的估值记为,为了描述方便，令,，展开为,令偏导得零,，叫做最小二乘估计。

第六章估计的基本理论参数估计65最小二乘法,以上方程有两类不同的解，分析过程如下。

非奇异，称,可以唯一确定，有,2）Rank（A）p,奇异，称,更一般地说，如果参数在不同值给出的抽样空间上的有相同分布，则称这一参数是不可以辩识的。

是可识别的，,是不可识别。

第六章估计的基本理论参数估计65最小二乘法,1）Rank（A）=p,此时,也就是说未知参数,此时,定理1.3（Gauss-Makov定理）：

令X是一个可以表示为,的随机向量，其中A是Np矩阵，其秩为p，,未知向量；,是一个误差向量。

若,则对线性参数函数,的任何一个别的无偏估计子,有,（详细证明见参考教材。

）,是一个,。

第六章估计的基本理论参数估计65最小二乘法,6.5.2加权最小二乘估计我们考虑更一般的情况，即考虑由下面公式给出的加权误差函数，,其中W为加权系数矩阵。

的估计使,最小化，既有,令偏导得零,现在我们来求,第六章估计的基本理论参数估计65最小二乘法,说明：

定理1.3告诉我们，当误差向量,相同的方差，而且还不相关时，最小二乘估计,但是如果误差分量具有不相同的方差，或者分量之间是相关的，此时很明显，估计,就不是最佳的；而选择加权矩阵w,估计是最佳的，也就是说任何其它估计都不能比,具有更小的方差。

的各分量不仅具有,可以使,具有在最小,方差的意义上是最佳的。

第六章估计的基本理论参数估计65最小二乘法,详细证明见（教材1的P14）除了普通的最小二乘方法和加权最小二乘方法之外，还有广义最小二乘法和总体最小二乘法。

第六章估计的基本理论参数估计65最小二乘法,66区间估计,g是,的可测函数，且与任何未知的参数无关,介绍几个定理，相关证明在一般的概率论与数理统计教材中即可。

概念：

是N个观测样本，,称为统计量，它是一个随机变量。

第六章估计的基本理论参数估计66区间估计,前几节主要介绍参数点的估计。

任何一种估计方法均存在偏差，本节介绍分析参数位于区间的概率，也称为参数的区间估计。

定理1.4：

令,是独立的正态分布随机变量，,，方差为,，若,其中a1,a2,aN为常数，则y是一个正态分布的随机变量，其均值为,方差为,其均值,第六章估计的基本理论参数估计66区间估计,第六章估计的基本理论参数估计66区间估计,定理1.5（中心极限定理）：

令,是独立的正态分布随机样本，且均值,和方差,有界。

若,是样本均值，即,则随机随机变量,即ZN（0，1）.,具有极限标准正态分布，,第六章估计的基本理论参数估计66区间估计,定理1.6：

令,抽样自均值,和方差,的正态分布，则随机变量,是一个自由度为N的,分布。

定理1.7：

令,抽样自均值,和方差,的正态分布，则随机变量,是一个具有N1自由度的t分布。

第六章估计的基本理论参数估计66区间估计,6.6.1的置信区间,是抽样自具有未知均值,，但是方差,现在希望构造一个关于,的,其中是某个小的,，有中心极限定理，,举例说明：

令,为已知,正数，即,根据要求，有,正态分布的N个随机样本。

置信区间，,第六章估计的基本理论参数估计66区间估计,第六章估计的基本理论参数估计66区间估计,6.6.2,和,假设：

数据样本是从正态分布的抽样；,求：

1.均值估计的置信区间计算方法,，,的置信区间,和,未知；,和,的置信区间。

利用定理1.7中的统计量,第六章估计的基本理论参数估计66区间估计,令,通过查N自由度的t分布计算表，可得T1和T2。

这样，均值估计的置信区间为,第六章估计的基本理论参数估计66区间估计,2.方差估计的置信区间的计算方法,这样,根据定理1.6，,服从N自由度的N的,分布。

定义随机变量CH如下,第六章估计的基本理论参数估计66区间估计,这样CH服从N自由度的N的,分布。

此时有,通常用样本均值和样本方差来估计总体均值和总体方差。

第六章估计的基本理论参数估计,6.7递推估计以上几节的估计过程中，参数估计是基于观测值的批处理。

本节介绍的方法称为递推估计（或序贯估计）。

递推估计原理：

现时估计是由前一时刻的估计值和现时观测值决定，而与过去的观测值无关。

本节仅讨论均值和方差的递推估计方法，其它参数的递推估计方法类似。

1.均值的递推估计方法假设用样本均值来估计随机信号的均值。

计算出来的样本均值。

第六章估计的基本理论参数估计6.7递推估计,新增加一个观测值,后的新的样本均值为,整理得,（6-7-3）称为估计更新公式。

2.方差的递推估计方法,有了新的观测值,后的新的样本方差为,用样本方差来估计随机信号的方差，当从k个观测值计算得到的样本方差为,第六章估计的基本理论参数估计6.7递推估计,第六章估计的基本理论参数估计6.7递推估计,证明：

第六章估计的基本理论参数估计6.7递推估计,第0章前言第一章基础知识第二章随机信号分析第三章信号检测的基本理论第四章确知信号的检测第五章随机参量信号的检测第六章估计的基本理论参数估计第七章信号波形估计第八章功率谱估计,教学内容,信号检测理论,信号估计理论,