概率论精要回顾与补充.docx

概率论精要回顾与补充.docx

《概率论精要回顾与补充.docx》由会员分享，可在线阅读，更多相关《概率论精要回顾与补充.docx（18页珍藏版）》请在冰点文库上搜索。

概率论精要回顾与补充

龚光鲁,钱敏平著应用随机过程教程–及其在算法和智能计算中的应用

清华大学出版社,2004

目录

前言

符号说明

第1章概率论精要回顾与补充

1基本框架与典型分布

1.1概率

1.2随机变量

　1.3d维随机向量

1.4独立性

　1.5Chebyshev不等式

　1.6基本极限与基本极限定理（大数定律与中心极限定理）

　1.7典型分布

1.8次序随机变量的分布

2条件概率，条件分布，条件（数学）期望

2.1条件概率

　2.2条件分布

　2.3条件（数学）期望

2.4期望与方差的Wald等式

3统计简要

　3.1用样本作矩估计

　3.2最大似然估计

　3.3线性模型的最小二乘估计及其推广

习题１

第2章随机样本生成法

　1　一维随机数

　1.1均匀随机变量的计算机模拟

　1.2分布函数F（x）的随机数

1.3正态随机数

1．4Poisson随机数

1．5混合分布随机数

1.6VonNeuman取舍原则

1.7Gamma随机数与Beta随机数的生成

2多维随机数

2.1连续型多维随机数

2.2离散型多维随机数

2.3多维正态随机数

2.4多维Beta随机数（Dirichlet随机数）的生成

　3．附录－用Matlab生成随机数

3．1Matlab语言的简单提示

3．2　Matlab生成随机数的语句

习题２

第3章随机过程的一般概念与独立增量过程

1一般概念

　1.1随机过程与有限维分布族

1.2独立增量过程

2Poisson过程与复合Poisson过程

　2.1事故申报次数的概率模型与Poisson过程

2.2Poisson过程与指数流的关系

　2.3与指数流有关的一些随机变量与分布

2.4常见的推广

2.5复合Poisson过程

3Brown运动（Wiener过程）及其函数

　3.1历史背景与物理模型

　3.2Brown运动（数学模型）

　3.3Brown运动的简单性质

　3.4Brown运动的反射原理及首达性质

3.5与Brown有关的几个简单随机过程

　3.6漂移Brown运动

3.7几何Brown运动

4简单随机徘徊

4.1双侧吸收壁的吸收概率

4.2随机徘徊的对称原理

　4.3随机徘徊的首达时刻

　4.4简单随机徘徊与首达时

　　习题３

第4章更新现象及其理论

1Stieltjes积分

2更新过程的概念

　2.1作为Poisson过程推广的更新过程

　2.2更新函数的更新方程

2.3年龄与剩余寿命

3更新定理与更新次数的正态近似

　3.1更新定理

3.2更新过程的正态近似

3．3Blackwell定理与主更新定理

3.4更新间隔为正整值随机变量的更新过程

4更新过程的变种模型

4．1交错更新过程

　4．2延迟更新过程

　4．3带酬更新过程

5再生过程与其相系的更新过程

　5．1再生过程的概念

　5.2与再生过程相系的更新过程

　5.3比例极限定理在再生过程中的应用

5.4存储模型的一个例子

6Erlang更新过程

6．1Erlang更新过程的定义

　6．2Erlang更新过程的矩母函数

　　习题４

第5章离散时间的Markov链

1　Markov链的概念

1.1定义与Markov性质

　　1.2概率转移矩阵

1.3时齐的Markov链

1.4Markov链的例

2Markov链的状态分类

２．１　首达分解,

步转移概率的递推式，矩母函数,常返性

２．２常返性再访与Markov链的基本结构

２．３　平均回访时间与正常返性

3Markov链的转移概率的极限与不变分布

３．１不变分布与平稳Markov链

３．２有限状态Markov链的的不变分布与极限分布

３．３转移矩阵的平均极限

4Dobrushin不等式与指数收敛性

4.1Dobrushin不等式

4.2Dobrushin收敛定理

5与常返态相系的延迟更新流,互通常返Markov链的极限定理

５．１与常返态相系的延迟更新流

５．２互通常返链的极限定理

6停时与强Markov性

６．１停时

６．２强Markov性

7禁忌概率与首达分布

７．１禁忌概率

７．２首达时与首达分布

７．３禁忌概率,首达分布与平均首达时间

8可逆Markov链与可逆分布

８．１　可逆Markov链

８．２例

８．３　可逆初分布存在性判别法

9分支Markov链（Galton-Watson简单分支过程）

　习题５

第6章连续时间的Markov链（Q-过程）

1时间连续的Markov链及其转移矩阵

１．1定义与等价性叙述

１．2连续时间的Markov链概率转移矩阵

１．3连续时间的时齐的Markov链

2Poisson过程与复合Poisson过程再访

２．１Poisson过程作为Markov过程转移矩阵与转移速率阵

２．２复合Poisson过程的转移矩阵与转移速率阵

3由转移速率矩阵确定的连续时间的Markov链

３．１Kolmogorov方程及Master方程

３．２转移速率矩阵的概率含义

4　连续时间的Markov链的极限分布

４．１连续时间的Markov链的转移矩阵的平均极限

４．２连续时间的Markov链的极限分布

5　连续时间的Markov链的转移矩阵

的不变分布

５．１连续时间的Markov链的转移矩阵

及其嵌入链的不变分布

５．２　连续时间Markov链的遍历极限

５．３　对称的与可逆的连续时间的Markov链

6　例

　６．１　连续时间分支过程

６．２　有限格点上的Ising模型与Gauber动力学

６．３　生灭类过程

６．４　系统与有效度

7连续时间的Markov链的模拟与加速收敛

７．１　连续时间的Markov链的模拟

　７．２加速收敛的均匀化方法

　　习题６

第7章排队过程简介

1排队过程的描述

１．１排队系统

１．２排队系统的一般框图,输入过程与输出过程

１．３可逆性引理

2　最简单排队过程—Markov排队过程

　２．１最简单的排队过程--M/M/1系统

２．２N个服务员的简单排队过程—M/M/N系统

２．３　序贯排队与排队网络系统

２．４M／M／∞排队系统

3排队系统的一般概念

３．１关于排队论的一般注记

３．２M／M／N消失制

３．３M/G/1排队系统

３．４G/M/1排队系统

4半Markov过程

４．１　半Markov过程

４．２　半Markov过程的渐近性质

5有限位相型分布（PH-分布）

５．1背景

５．2PH分布（有限位相型分布）

５．3　离散位相型分布

５．4　PH分布类的封闭性

　　习题７

第8章Markov链MonteCarlo方法

１计算积分的MonteCarlo方法与采样量估计

１．１用频率估计概率来计算积分的MonteCarlo方法

１．２用样本函数的平均值估计期望来计算积分的MonteCarlo方法

　１．３减少方差的技术

2　Markov链MonteCarlo（MCMC）

　　２．１Gibbs采样（Gibbssampler）

　　２．２按有限状态空间上分布

作随机采样的Metropolis-Hasting方法

２．３通过条件分布对分布

作随机采样的Gibbs方法

2.4MCMC应用于Bayes参数估计

3　模拟退火

３．１模拟退火方法的基本想法

３．２有关模拟退火算法的非时齐马氏链的理论背景

第9章以图像信息为背景的随机场,迭代Markov系统

1有限格点上的Markov随机场与图像

１．１有限格点上的Markov随机场

１．２相邻系统Gibbs随机场--

邻位势Gibbs场

１．３图像处理的随机过程方法的思路原则简介

１．４　Gibbs分布的样本的Gibbs采样法

１．５Gibbs分布的模拟退火

2时间离散状态连续的Markov链

２．１概率空间再访

２．２时间离散状态连续的Markov链

２．３概率转移核

２．４时齐的连续状态Markov链

２．５例

２．６

上函数

的最小值位置与模拟退火算法

２．７　Dobrushin不等式.指数遍历性与收敛性

3随机迭代函数系统

３．1局部相似性的基本想法

３．2轮廓图全体组成的距离空间

３．3灰度图与随机迭代函数系统

4.统计中的Bayes方法与图象的处理,分割与重建

４．１　Bayes统计要义

４．２　Bayes方法在图像中的应用与观测量不是状态变量时的参数估计

　习题９

第10章隐马氏模型及其应用

１熵与相对熵

１．１离散分布的熵与相对熵

１.２分布密度的熵与相对熵

２隐Markov模型

２．１一个实例

２．２隐Markov模型的描述

２．３隐Markov模型的等价表述

２．４非线性滤波作为隐Markov模型的特例

２．５　在应用中研究隐Markov模型的主要方面

３解码问题--已知模型与观测时状态的估计

３．1出现当前的观测的概率

的计算

３．２解码问题--已知模型

与观测

时状态

的估计

４学习问题-由观测估计模型参数

４．０　状态链样本已知时的参数的频率估计

４．１　模型参数估计的EM算法的思想

４．２　隐Markov模型中M–步骤的解

５关于隐Markov模型的评注

５．１隐Markov模型包容度大有非常宽的应用面

５．２隐Markov模型的更为一般的形式

６隐Markov模型的应用例子梗概

６．１语音的机器识别

６．２脱机手写体汉字识别

６．３DNA序列片断装配

　　习题１０

第11章二阶矩过程,Gauss系与时间序列

1全体方差有限的随机变量构成的Hilbert空间

1．１实值情形

1．２复值情形

2随机变量族的均方信息空间与滤波

　　2．１均方信息空间

　　2．２滤波问题

　3Gauss系与投影再访

　　3．１　定义,等价条件与特性

　　3．２　Gauss过程的投影--线性滤波

　　　3．３　复Gauss过程

3．４　Gauss过程的特征泛函

4平稳性与宽平稳性

　　4．１　平稳序列与宽平稳序列

4．２　渐近平稳序列与渐近宽平稳序列

4．３　平稳增量序列

5ARMA模型

　　5．１　ARMA（p,q）

　　5．２　AR模型的定阶与偏相关系数以及模型参数的估计

　　5．３　MA模型的定阶与参数估计

6　ARCH模型

　　6．１　ARCH（p）

　　6．２　ARCH（p）的参数估计

6．３ARCH（q）模型的方差的预报

7GARCH（p,q）模型与其它随机方差模型

7．１　GARCH模型

　　　7．２　金融证券模型中的GARCH（1,1）

　　　7．３　GARCH的参数估计

8　二阶矩序列的滤波再访

　　8．１　线性滤波的一般概念

　　8．２　Kalman-Bucy滤波

9二阶自相似时间序列与长程相关

9．１　统计自相似性

9．２　二阶自相似性

9．３长程相关性

10非线性AR模型与二重ARMA模型

10．１　非线性AR模型（NonLinearAR,NLAR）

10．２　非线性AR模型的常见例子

10．３　二重ARMA模型

　　习题１１

第12章　连续状态的Markov过程,鞅,Ito积分与随机微分方程

1　连续时间连续状态的Markov过程

１．１平稳Gauss过程

１．２　时间与状态都连续的时齐Markov过程

2　鞅列与鞅

２．1　条件期望再访

２．2　鞅列

２．3　连续时间参数的鞅

3Ito积分-对Brown运动的积分

３．１　对Brown运动的积分与其特殊性

　　　３．２　Ito公式

4　随机微分方程与扩散过程简介

４．１　随机微分方程

　　　４．２　扩散过程

４．３　Girsanov定理与Feyman-Kac公式

5　随机微分方程的解的数值模拟算法

５．１　随机微分方程在固定时刻附近的随机Taylor展开与解的差分近似

５．２　Ito过程的一个光滑函数

在固定时刻附近的随机Taylor展开

５．３　差分近似模型的改进

　　　习题１２

第13章金融证券未定权益的定价

1　Black-Scholes模型的欧式未定权益的定价

１．１　术语与基本假定

１．２　套期方法

１．３　风险中性概率方法

１．４　币值单位与随机折现因子方法

１．５　倒向随机微分方程方法

１．６　时变Black-Scholes模型

2二叉模型

２．１　二叉模型与Black-Scholes模型的二叉近似

２．２　Black-Scholes模型的二叉近似

3　二叉模型的美式未定权益简述

３．１　美式未定权益

３．２　二叉模型美式未定权益

的定价与定价函数组

4随机利率与债券利率的期限结构

４．１

零息债券

４．２零息债券导出的各种的随机利率概念

４．３　资产定价基本定理与利率衍生证券

４．４　利率的风险中性模型

5.基于证券的随机利率的债券为币值单位折现的证券的未定权益的定价

　　　习题１３

第14章在风险模型中的应用

1　基本概念

１．１　保险中的利率概念

１．２　生存模型的寿命分布与精算模型中的余寿

2集体风险模型与破产理论

　　　２．１　盈余过程与永不破产的概率

２．２　时刻

前不破产的概率的公式与估计

２．３　最终破产概率的上界与调节系数

　　　２．４　保险费的效用函数与制定保险费策略

　　　２．５　最大损失的分布

3考虑利率与投资的保险模型简述

第15章与数据建模有关的几个算法

　　1EM算法–隐状态变量分布中参数的最大似然估计

１．１　EM算法的基本想法

　　１．２　Rubin算法

１．３　EM算法的变通–广义EM算法

2　在数据不完全时，用增补潜在数据，对参数的Bayes分布作估计–Tanner–Wong的潜变量法

２．１　基本想法－估计后验分布

２．２　未知参数的后验分布的迭代估计

3几种智能算法

３．１　背景

３．２　决定性的人工神经网络

３．３随机的人工神经网络

３．４演化算法，遗传算法

4聚类，Kohonen自组织学习,自适应算法

４．１　k－平均聚类

４．２自适应聚类的基本思路

４．３固定规模的Kohonen网络

４．４　网络的规模的竞争学习

5适应最小二乘法--一种适应的变步长的随机逼近

第16章　状态连续的Markov控制与决策过程简介

1例

１．１　随机决策模型的简单例子

１．２简单模型的启示

2动作只依赖当前所处状态的简单决策模型

２．１简单模型的一般描述

２．２　有限时段总报酬准则下的最佳Markov决策的构造

２．３无穷时段下的总报酬情形

第17章Poisson随机分析简介

1非时齐的Poisson过程与非时齐的复合Poisson过程与特征泛函的特征泛函

１．１　数值函数对Poisson过程的积分

１．２Poisson过程的特征泛函

１．３非时齐Poisson过程的统计性质

１．４　函数对非时齐Poisson过程的积分，非时齐的Poisson过程的特征泛函

　　１．５　非时齐的复合Poisson过程及其特征泛函

２与非时齐的复合Poisson过程相系的Poisson点过程

２．１　将非时齐复合Poisson过程表示为非时齐Poisson过程的积分（时间积分表示）

２．２　将非时齐复合Poisson过程表示为Poisson点过程的积分（空间积分表示）

２．３　将非时齐复合Poisson过程表示为时空Poisson过程的积分（时空积分表示）

３　过滤的Poisson过程

４　Poisson微积分简介

４．１　关于时空Poisson点过程的随机积分

４．２　Poisson过程和以时空Poisson点过程驱动的随机微分方程与Poisson随机微积分的复合函数的Ito公式

４．３　由Brown运动和时空Poisson过程联合驱动的随机微分方程

５自激点过程

　　　５．１　自激点过程的强度过程与条件计数强度

５．２　自激点过程的绝对概率

５．３　自激点过程的事件到达时刻的联合分布

５．４　具有限记忆的自激点过程

５．５　对于自激点过程的随机积分

５．６　二重Poisson过程

习题１７

参考文献

索引