贝叶斯计量经济学从先验到结论.docx

贝叶斯计量经济学从先验到结论.docx

《贝叶斯计量经济学从先验到结论.docx》由会员分享，可在线阅读，更多相关《贝叶斯计量经济学从先验到结论.docx（25页珍藏版）》请在冰点文库上搜索。

贝叶斯计量经济学从先验到结论

2006年中国经济学年会投稿论文

研究领域：

数理经济学与计量经济学

贝叶斯计量经济学：

从先验到结论

BayesianEconometrics:

FromPriorstoConclusions

刘乐平

摘要

本文从现代贝叶斯分析与现代贝叶斯推断的角度探讨贝叶斯计量经济学建模的基本原理。

并通过一具体应用实例介绍贝叶斯计量经济学常用计算软件WinBUGS的主要操作步骤，希望有更多的国内计量经济学研究学者关注现代计量经济学研究的一个重要方向——贝叶斯计量经济学（BayesianEconometrics）。

关键词:

贝叶斯计量经济学,MCMC,WinBUGS

Abstract:

BasicprinciplesofBayesianeconometricswithModernBayesianstatisticsanalysisandBayesianstatisticsinferencearereviewed.MCMCcomputationmethodandBayesiansoftwareWinBUGSareintroducedfromapplicationexample.

KEYWORDS:

BayesianEconometrics,MCMC,WinBUGS

JELClassifications:

C11,C15,

一、引言

美国经济学联合会将2002年度“杰出资深会员奖（DistinguishedFellowAward）”授予了芝加哥大学ArnoldZellner教授，以表彰他在“贝叶斯方法”方面对计量经济学所做出的杰出贡献。

1985年，ArnoldZellner教授在Econometrica上发表论文——BayesianEconometrics，1996年，ArnoldZellner的著作《AnIntroductiontoBayesianInferenceinEconometrics》正式出版。

近年来，GaryKoop（2003）的专著《BayesianEconometrics》、TonyLancaster（2004）的专著《AnIntroductiontoModernBayesianEconometrics》和JohnGeweke（2005）的专著《ContemporaryBayesianEconometricsandStatistics》等，加上大量出现在各种计量经济学重要期刊上的文献无疑已逐渐形成了现代计量经济学研究的一个重要方向——贝叶斯计量经济学（BayesianEconometrics）。

本文从现代贝叶斯分析与现代贝叶斯推断的角度探讨贝叶斯计量经济学建模的基本原理。

并通过一具体应用实例介绍贝叶斯计量经济学常用计算软件WinBUGS的主要操作步骤，希望有更多的国内计量经济学研究人员关注贝叶斯计量经济学。

二、现代贝叶斯分析与现代贝叶斯推断

虽然对贝叶斯分析方法至今还有许多争议，但贝叶斯统计学在统计学中的地位可用中国科学院院士陈希孺教授的一段话来形容：

“托马斯.贝叶斯……这个生性孤僻，哲学气味重于数学气味的学术怪杰，以其一篇遗作的思想重大地影响了两个世纪以后的统计学术界，顶住了统计学的半边天”。

在大约三百年以前，人们开始严肃地思考这样一个问题：

“当存在不确定性时，如何进行推理？

”。

JamesBernoulli（1713）恐怕是第一个构造该问题的人（SamuelKotz,吴喜之，2000）。

他意识到在可应用于机会游戏的演绎逻辑和每日生活中的归纳逻辑之间的区别。

对于他来说，这个未回答的问题在于前者的机理如何能帮助处理后者的推断问题。

托马斯·贝叶斯（ReverendThomasBayes,1702-1761）是对归纳推理给出精确定量表达方式的第一人，他死后发表的论文，可以作为科学史上最著名的论文之一（Press，1989：

P181）。

他在18世纪上半叶欧洲学术界不算一个起眼的人物。

在他生前，没有片纸只字的科学论著发表。

那时，传播和交流科学成果的一种方式，是学者间的私人通信。

这些信件许多都得以保存下来并发表传世，例如Huygens—Pascal通信。

但在贝叶斯生前，除在1755年有一篇致John.Condon的信（其中讨论了Simpsons有关误差理论的工作）见John的文件外，历史上也没有记载下他与当时的人有何重要的学术交往。

不过，他一定曾以某种方式表现出其学术造诣而为当时的学术界所承认，因为他在1742年就当选为英国皇家学会会员，这个称号相当于今天的英国科学院院士。

这篇“遗作”的题目就是《Anessaytowardssolvingaprobleminthedoctrineofchances》（机遇理论中一个问题的解），发表在1764年伦敦皇家学会的《PhilosophicalTransactions》上。

1812年，Laplace在他的概率论教科书第一版中首次将贝叶斯思想以贝叶斯定理的现代形式展示给世人。

Laplace本人不仅重新发现了贝叶斯定理，阐述得远比贝叶斯更为清晰，而且还用它来解决天体力学、医学统计、甚至法学问题（SamuelKotz和吴喜之，2000）。

目前被承认的现代贝叶斯统计工具的使用，应归功于Jeffreys（1939），Wald（1950），Savage（1954），Raiffa和Schlaifer（1961），Lindly（1972）和DeFinetti（1974-1975）。

在20世纪90年代，由于高维计算上的困难，贝叶斯方法的应用受到了很大的限制。

但随着计算机技术的发展和贝叶斯方法的改进，特别是MCMC方法的发展和WinBUGS软件的应用，原来复杂异常的数值计算问题如今变得非常简单，参数后验分布的模拟也趋于方便，所以现代贝叶斯理论和应用得到了迅速的发展（刘乐平、袁卫，2004）。

1.现代贝叶斯分析

经典统计学，它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。

据现有资料看、这方面最早的工作是Gauss，C．F．（1777—1855）和Legendre，A．M．（1752—1833）的误差分析、正态分布和最小二乘法。

从十九世纪末期到二十世纪上半叶，经Pearson，K．（1857一l936）、Fisher，R．A．（1890一1962）和Neyman，J（1894一1981）等人杰出的工作创立了经典统计学。

如今统计学教材几乎全是叙述经典统计学的理论与方法。

二十世纪下半叶，经典统计学在工业、农业、医学、经济、管理、军事等领域里获得广泛的应用。

这些领域中又不断提出新的统计问题，这又促进了经典统计学的发展，随着经典统计学的持续发展与广泛应用，它本身的缺陷也逐渐暴露出来了，从而带动了贝叶斯理论、方法和应用的发展。

贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法。

（SamuelKotz和吴喜之，2000）。

一个完全的贝叶斯分析（FullBayesianAnalysis）包括数据分析、概率模型的构造、先验信息和效应函数的假设和最后的决策（Lindley,2000）。

贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数（茆诗松，王静龙等，1998）。

Duke大学统计与决策科学学院的统计学教授JamesO.Berger，可以称得上是当代国际贝叶斯统计学领域研究的顶尖人物，他是ISBA的发起者，他在贝叶斯理论和应用方面的做了许多重要的研究工作。

他的著作《统计决策论及贝叶斯分析》（第二版）（StatisticalDecisionTheoryandBayesianAnalysis）已作为“现代外国统计学优秀著作译丛“之一被介绍到中国。

他于2000年在《美国统计学会期刊》（JASA：

JournaloftheAmericanStatisticalAssociation）上发表文章，对贝叶斯统计学今日的状况和明日的发展进行了综述（Berger，2000）：

（1）客观贝叶斯分析（ObjectiveBayesianAnalysis）

将贝叶斯分析当作主观的理论是一种普遍的观点。

但这无论在历史上，还是在实际中都不是非常准确的。

第一个贝叶斯学家，贝叶斯学派的创始人ThomasBayes和Laplace进行贝叶斯分析时，对未知参数使用常数先验分布。

事实上，在统计学的发展中，这种被称为“逆概率”（inverseprobability）方法在十九世纪非常具有代表性，而且对十九世纪初的统计学产生了巨大的影响。

对使用常数先验分布的批评，使得Jeffreys对贝叶斯理论进行了具有非常重大意义的改进。

Berger认为，大多数贝叶斯应用研究学者都受过Laplace-Jefferys贝叶斯分析客观学派的影响，当然在具体应用上也可能会对其进行现代意义下的改进。

许多贝叶斯学者的目的是想给自己贴上“客观贝叶斯”的标签，这种将经典统计分析方法当作真正客观的观点是不正确的。

对此，Berger认为，虽然在哲学层面上同意上述这个观点，但他觉得这里还包含很多实践和社会学中的原因，使得人们不得已地使用这个标签。

他强调，统计学家们应该克服那种用一些吸引人的名字来对自己所做的工作大加赞赏的不良习惯。

客观贝叶斯学派的主要内容是使用无信息先验分布（noninformativeordefaultpriordistribution）。

其中大多数又是使用Jeffreys先验分布。

最大熵先验分布（maximumentropypriors）是另一种常用的无信息先验分布（虽然它们也常常使用一些待分析总体的已知信息，如均值或方差等）。

在最近的统计文献中经常强调的是参照先验分布（referencepriors）（Bernardo1979,YangandBerger1997），这种先验分布无论从贝叶斯的观点，还是从非贝叶斯的观点进行评判，都取得了显著的成功。

KassandWasserman（1996）对选择无信息先验分布的方法进行了综述。

客观贝叶斯学派研究的另一个完全不同的领域是研究对“默认”模型（defaultmodel）的选择和假设检验。

这个领域有着许多成功的进展（Berger1999）。

而且，当对一些问题优先选择默认模型时，还有许多值得进一步探讨的问题。

经常使用非正常先验分布（improperpriordistribution）也是客观贝叶斯学派面临的主要问题。

这不能满足贝叶斯分析所要求的一致性（coherency）。

同样，一个选择不适当的非正常先验分布可能会导致一个非正常的后验分布。

这就要求贝叶斯分析过程中特别要对此类问题加以重视，以避免上述问题的产生。

同样，客观贝叶斯学派也经常从非贝叶斯的角度进行分析，而且得出的结果也非常有效。

（2）主观贝叶斯分析（SubjectiveBayesianAnalysis）

虽然在传统贝叶斯学者的眼里看起来比较“新潮”，但是，主观贝叶斯分析已被当今许多贝叶斯分析研究人员普遍地接受，他们认为这是贝叶斯统计学的“灵魂”（soul）。

不可否认，这在哲学意义上非常具有说服力。

一些统计学家可能会提出异议并加以反对，他们认为当需要主观信息（模型和主观先验分布）的加入时，就必须对这些主观信息完全并且精确的加以确定。

这种“完全精确的确定”的不足之处是这种方法在应用上的局限性。

主观贝叶斯分析方法的重要进展可参见TheStatistician,47,1998。

有很多问题，使用主观贝叶斯先验分布信息是非常必要的，而且也容易被其他人所接受。

对这些问题使用主观贝叶斯分析可以获得令人惊奇的结论。

即使当研究某些问题时，如使用完全的主观分析不可行，那么同时使用部分的主观先验信息和部分的客观先验信息对问题进行分析，这种明智的选择经常可以取得很好的结果（Andrews,Berger,andSmith1993）。

（3）稳健贝叶斯分析（RobustBayesianAnalysis）

稳健贝叶斯分析研究者认为不可能对模型和先验分布进行完全的主观设定，即使在最简单的情况下，完全主观设定也必须包含一个无穷数。

稳健贝叶斯的思想是构建模型与先验分布的集合，所有分析在这个集合框架内进行，当对未知参数进行多次推导（elicitation）之后，这个集合仍然可以反映此未知参数的基本性质。

关于稳健贝叶斯分析基础的争论是引人注目的（Kadane1984；Walley1991），关于稳健贝叶斯分析最新进展的文献可参见Berger,（1985，1994，1996）。

通常的稳健贝叶斯分析的实际运用需要相应的软件。

（4）频率贝叶斯分析（FrequentistBayesianAnalysis）

统计学存在许多不断争议的学科基础——这种情况还会持续多久，现在很难想像。

假设必须建立一个统一的统计学科基础，它应该是什么呢？

今天，越来越多的统计学家不得不面对将贝叶斯思想和频率思想相互混合成为一个统一体的统计学科基础的事实。

Berger从三个方面谈了他个人的观点。

第一，统计学的语言（LanguageofStatistics）应该是贝叶斯的语言。

统计学是对不确定性进行测度的科学。

50多年的实践表明（当然不是令人信服的严格论证）：

在讨论不确定性时统一的语言就是贝叶斯语言。

另外，贝叶斯语言在很多种情况下不会产生歧义，比经典统计语言要更容易理解。

贝叶斯语言既可对主观的统计学，又可以对客观的统计学进行分析。

第二，从方法论角度来看，对参数问题的求解，贝叶斯分析具有明显的方法论上的优势。

当然，频率的概念也是非常有用的，特别是在确定一个好的客观贝叶斯过程方面。

第三，从频率学派的观点看来，基础统一也应该是必然的。

我们早就已经认识到贝叶斯方法是“最优”的非条件频率方法（Berger1985），现在从条件频率方法的角度，也产生了许多表明以上结论是正确的依据。

（5）拟（准）贝叶斯分析（Quasi-BayesianAnalysis）

有一种目前不断在文献中出现的贝叶斯分析类型，它既不属于“纯”贝叶斯分析，也不同于非贝叶斯分析。

在这种类型中，各种各样的先验分布的选取具有许多特别的形式，包括选择不完全确定的先验分布（vagueproperpriors）；选择先验分布对似然函数的范围进行“扩展”（span）；对参数不断进行调整，从而选择合适的先验分布使得结论“看起来非常完美”。

Berger称之为拟（准）贝叶斯分析，因为虽然它包含了贝叶斯的思想，但它并没有完全遵守主观贝叶斯或客观贝叶斯在论证过程中的规范要求。

拟（准）贝叶斯方法，伴随着MCMC方法的发展，已经被证明是一种非常有效的方法，这种方法可以在使用过程中，不断产生新的数据和知识。

虽然拟（准）贝叶斯方法还存在许多不足，但拟（准）贝叶斯方法非常容易创造出一些全新的分析过程，这种分析过程可以非常灵活的对数据进行分析，这种分析过程应该加以鼓励。

对这种分析方法的评判，不必要按照贝叶斯内在的标准去衡量，而应使用其它外在的标准去判别（例如，敏感性，模拟精度等）。

2.现代贝叶斯推断

贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数。

（茆诗松，王静龙等，1998）

一个完全的贝叶斯分析（fullBayesiananalysis）包括数据分析、概率模型的构造、先验信息和效应函数的假设和最后的决策。

（Lindley,2000）

袁卫（1990）从认识论的角度阐述了贝叶斯辨证推断的思想。

他认为，贝叶斯公式中包含了丰富的辨证思想：

（1）贝叶斯公式既考虑了主观概率，又尊重了客观信息。

（2）贝叶斯公式将静态与动态结合起来，充分利用前人的知识和经验，符合认识的发展过程。

（3）人类的认识过程是一个从实践到认识，再从认识到实践这样循环往复的过程。

经典的统计理论仅仅反映了这一无限的认识链条中的一个环节，即“实践—>认识”过程；而贝叶斯推断则反映整个认识链条中互相联系的两个环节“认识—>实践—>认识”。

其中第一个认识活动即先验知识，反映为先验分布；实践活动主要表现为样本观察；第二个认识活动是通过认识到实践再到认识的重新认识活动，是对第一次认识的补充、修改和提高。

毫无疑问，历史和前人的知识对实践会起指导作用。

陈希孺院士（1999）从统计推断的观点对贝叶斯估计进行了论述。

他从纯科学研究的性质（不考虑损失，只关心获取有关未知参数的知识），解释了贝叶斯方法：

（1）先验分布总结了研究者此前（试验之前）对未知参数可能取值的有关知识或看法。

（2）在获得样本后，上述知识或看法有了调整，调整结果为后验分布。

按贝叶斯学派的观点，在获得后验分布后，统计推断的任务原则上就完成了。

理由很简单：

推断的目的是获取有关未知参数的知识，而后验分布反映了当前对未知参数的全部知识。

至于为了特定的目的而需要对未知参数作出某种特定形式的推断，它可以由研究者根据后验分布，以他认为合适的方法去做，这些都已不是贝叶斯方法中固有的，而只是研究者个人的选择。

陈希孺院士还总结了吸引应用者的贝叶斯推断思想和方法的特点：

（1）“先验分布+样本—>后验分布”这个模式符合人们的认识过程，即不断以新发现的资料来调整原有的知识或看法。

（2）贝叶斯推断有一个固定的、不难实现的程式：

方法总是落实到计算后验分布。

这可能很复杂但无原则困难。

在频率学派的方法中，为进行推断，往往需要知道种种统计量的抽样分布，这在理论上往往是很难的问题。

（3）用后验分布来描述对未知参数的认识，显得比频率学派通过用统计量来描述更自然些。

（4）对某些常见的问题，贝叶斯方法提供的解释比频率学派更加合理。

三、贝叶斯计量经济学

1.什么是贝叶斯计量经济学？

RagnarFrisch在1933年《计量经济学》（ECONOMETRICA）杂志首期创刊中指出：

“经验表明，统计学、经济理论和数学对理解现代经济生活的定量关系都是必须的，但其中任何单独一种都是不够的，三者的结合才是强有力的，且正是这三者的结合构成了计量经济学”。

（ECONOMETRICSistheunificationofStatistics,EconomicTheoryandMathematics.）

从RagnarFrisch对计量经济学的定义可以很清晰地看出，将统计学放在首位，置于经济理论和数学之前，表明统计学对于计量经济学的特别突出的重要性。

我们知道，建立经济模型、估计经济模型和检验经济模型是计量经济学的主要内容，而估计和检验——统计推断的主要内容正是计量经济学方法的核心，之所以在计量经济学中，统计学比数学更有效，主要的原因是因为经济问题的不确定性，而不确定性是很难用严密的数学去描述的。

而什么是贝叶斯计量经济学？

从贝叶斯计量经济学的英文定义——BayesianEconometrics——可以看出，贝叶斯计量经济学不仅仅是在经典计量经济学的参数估计中使用贝叶斯估计或检验中使用贝叶斯检验（否则可用BayesianInferenceinEconometrics），而是以贝叶斯统计思想和原理为基础，从一个全新的角度，将计量经济学模型中的参数作为具有先验分布的随机变量，然后根据贝叶斯定理，得出后验分布，以此为基础，再进行模型参数估计和模型检验的过程。

贝叶斯计量经济学不仅在模型参数估计和模型检验中使用贝叶斯方法，更重要的是在模型的构建中也使用了贝叶斯思想。

如果从统计学角度对计量经济学进行分类，可以分为频率（或频率统计学）计量经济学和贝叶斯计量经济学。

而其中的频率计量经济学包含了使用频率统计学的经典计量经济学和现代计量经济学（经典、微观、非参数、时间序列和动态计量经济学等）的绝大部分内容。

而现代贝叶斯计量经济学（ModernBayesianEconometrics）可以理解为以MCMC方法为代表的现代贝叶斯统计学的发展促进了现代贝叶斯统计推断方法的进展，而将MCMC方法和相应的软件（如WinBUGS）应用到贝叶斯计量经济学中，对后验分布进行模拟，对模型的参数进行估计，对模型进行检验等构成了现代贝叶斯计量经济学区别于传统计量经济学的主要方面。

2.贝叶斯计量经济学模型的构建过程有哪些步骤？

按照李子奈（2005）关于建立计量经济学模型的步骤和要点，可将非贝叶斯计量经济学模型的构建过程用以下框图表示：

而以贝叶斯统计分析和贝叶斯统计推断为基础的贝叶斯计量经济学模型的构建过程则变换为：

3.贝叶斯计量经济学的先验信息是否可靠？

对于贝叶斯计量经济学的批评的主要方面——先验信息是否可靠？

同贝叶斯方法受到了经典频率统计学批评类似，批评的理由也会集中在三个方面——主观性、先验分布的误用和先验依赖数据或模型。

针对这些批评，贝叶斯学派的回答如下：

几乎没有什么统计分析哪怕只是近似是“客观的”。

因为只有在具有研究问题的全部覆盖数据时，才会得到明显的“客观性”，此时，贝叶斯分析也可得出同样的结论。

但大多数统计研究都不会如此幸运，以模型作为特性的选择对结论会产生严重的影响。

实际上，在许多研究问题中，模型的选择对答案所产生的影响比参数的先验选择所产生的影响要大得多。

Box（1980）说：

“不把纯属假设的东西看作先验……我相信，在逻辑上不可能把模型的假设与参数的先验分布区别开来。

”

Good（1973）说的更直截了当：

“主观主义者直述他的判断，而客观主义者以假设来掩盖其判断，并以此享受着客观性的荣耀。

”

防止误用先验分布的最好方法就是给人们在先验信息方面以适当的教育。

另外，在贝叶斯分析的最后报告中，应将先验（和数据、损失）分开来报告，以便使其他人对主观的输入做合理性的评价。

两个“接近的”先验可能会产生很不相同的结果。

没有办法使这个问题完全消失，但通过“稳健贝叶斯”方法和选择“稳健先验”可以减轻。

（Berger,1985）

能否在计量经济学中利用主观经验，加入先验信息，我国著名科学家钱学森的一段话非常值得我们深思（成平，1990）：

“处理复杂行为系统的定量学方法学，是科学理论、经验和专家判断力的结合，这是定量方法学，是半经验半理论的。

提出经验性假设（猜想或判断），是建立复杂行为系统数学模型的出发点。

这些经验性假设（猜想或判断）不能用严谨的科学方法证明，但需要经验性数据对其确实性进行检测。

从经验性假设（猜想或判断）出发，通过定量方法途径获得的结论，仍然具有半经验、半理论的属性。

当人们寻求用定量的方法处理复杂行为系统时，容易注重于数学模型和逻辑推理，而忽视数学模型微妙的经验含义或解释。

要知道，这样的数学模型看起来‘理论性’很强，其实不免牵强附会，从而脱离真实。

与其如此，反不如从建模一开始就老实承认理论的不足，而求援于经验的判断，让定性的方法和定量的方法结合起来，最后定量。

”

本文观点与SamuelKotz和吴喜之（2000）观点相同，认为杰出的当代贝叶斯统计学家A.O’Hagan（1977）的观点是最合适的：

“劝说某人不加思考地利用贝叶斯方法并不符合贝叶斯统计的初衷。

进行贝叶斯分析要花更多的努力。

如果存在只有贝叶斯计算方法才能处理的很强的先验信息或者更复杂的数据结构，这时收获很容易超过付出，由此能热情地推荐贝叶斯方法。

另一方面，如果有大量的数据和相对较弱的先验信息，而且一目了然的数据结构能导致已知合适的经典方法（即近似于弱先验信息时的贝叶斯分析），则没有理由去过分极度地敲贝叶斯的鼓（过分强调贝叶斯方法）。

”

四、贝叶斯计算方法及软件应用

1.贝叶斯计算方法

20年前，人们经常听到的一句话是：

“贝叶