贝叶斯网络研究文档格式.docx

1、这种方式完全是一种数据驱动的方法，具有很强的适应性。而且随着人工智能、数据挖掘和机器学习的不断发展，使得这种方法成为可能。如何从数据中学习贝叶斯网的结构和参数，已经成为贝叶斯网络研究的热点。由领域专家确定贝叶斯网络的节点，通过专家的知识来指定网络的结构，而通过机器学习的方法从数据中学习网络的参数。这种方式实际上是前两种方式的折中，当领域中变量之间的关系较明显的情况下，这种方法能大大提高学习的效率。在由领域专家确定贝叶斯网络的节点后，构造贝叶斯网的主要任务就是学习它的结构和参数。为使贝叶斯网作为知识模型是可用的，在学习过程中致力于寻找一种最简单的网络结构是非常必要的，这种简单的结构模型称之为稀疏

2、网络，它含有最少可能的参数及最少可能的依赖关系。Bayesian 网是联合概率分布的简化表示形式，可以计算变量空间的任意概率值。当变量数目很大时，运用联合概率分布进行计算通常是不可行的，概率数目是变量数目的指数幂，计算量难以承受。Bayesian 网利用独立因果影响关系解决了这个难题。Bayesian 网中三种独立关系：条件独立、上下文独立及因果影响独立。三种独立关系旨在把联合概率分布分解成更小的因式，从而达到节省存储空间、简化知识获取和领域建模过程、降低推理过程中计算复杂性的目的，因此可以说独立关系是 Bayesian 网的灵魂。贝叶斯网络结构的方法分成两类：基于评分的方法（Based on

3、 scoring）和基于条件独立性的方法（Based on Conditional independence）。基于评分的方法把贝叶斯网络看成是含有属性之间联合概率分布的结构，学习的目的是搜索与数据拟和最好的结构。一般的做法是给出评价网络结构的评分函数（如贝叶斯后验概率、最小描述长度和Kullback-Leiber 熵等。基于评分函数的结构学习算法主要由两部分组成：评分函数和相应的搜索算法。评分函数给出一定网络结构下，联合分布的一种概率度量，常用的评分函数有基于贝叶斯统计的方法和基于最小描述长度原理（MDL: Minimum Description Length Principle）的方法。搜

4、索方法是从众多的可选网络结构中，找出评分最好的结构，这是一个 NP 问题，一般情况下搜索算法找到的是具有某一特殊结构的网络。Friedman 从理论上证明，基于评分的结构学习在分类中可能导致较坏的分类性能。同时，基于评分的方法在实际应用时，复杂性较高，而基于独立性检验的方法从原理上更接近于贝叶斯网的语义特性，在实际中获得较好的效果。基于独立性检验的网络结构学习的一些典型算法包括：Wermuth-Lauritzen算法、Boundary-DAG 算法、SRA 算法、Constructor 算法等。第二种方法把贝叶斯网络看作是编码了变量间独立性关系的结构。学习的目的是根据独立性关系（如卡方检验）对

5、变量分组。参数学习贝叶斯网络的参数学习实质上是在已知网络结构的条件下，来学习每个节点的概率分布表。对完备数据集 D 进行概率参数学习的目标是找到能以概率形式 概括样本 D 的参数（ |）ipx 。参数学习一般要首先指定一定的概率分布族，如 分布、多项分布、正态分布、泊松分布，然后利用一定的策略估计这些分布的参数。对完备数据集的学习，有两种常用的学习方法：最大似然估计 MLE（Maximum Likelihood Estimation）方法和贝叶斯方法。这两种方法都是基于下面的独立同分布i.i.d（Independent identify Distribution ）假设前提下：1） 样本中的数

6、据是完备的；2） 各实例之间是相互独立的；3） 各实例服从统一的概率分布。最大似然估计 MLE MLE 是基于传统的统计分析的思想。它依据样本与参数的似然程度来评判样本与模型的拟合程度。似然函数的一般形式为：如果知道变量的分布函数，可通过对上式利用拉各朗日乘子法获得最大似然值，从而获得参数的估计。从统计学的原理我们可以知道，MLE 具有下面的优点：1） 一致性（consistence），随着观测值个数的增多，参数收敛于最佳可能值实际的物理概率；2） 渐进有效性（asymptotic efficient），寻找使样本发生可能性最大的参数，尽可能接近实际的概率值，实例越多，接近程度越好；3） 表示

7、灵活性（representation invariant），参数的不同分布形式不影响估计出的概率分布效果。基于条件独立性测试的贝叶斯网络结构学习 类性能Fri97。同时，基于评分的方法在实际应用时，复杂性较高，而基于独立性检验的方法从原理上更接近于贝叶斯网的语义特性，在实际中获得较好的效果。下表给出基于独立性检验的网络结构学习的一些典型算法。贝叶斯网络推理 贝叶斯推理的目的是通过联合概率分布公式，在给定的网络结构和已知证据下，计算某一事件发生的概率。理论上，在给定网络结构和概率分布表下，任何查询都可以通过反复应用贝叶斯公式和乘积与求和公式而得到，常见的推理方法可分为精确推理和近似推理两种。网络

8、的结构特征和相关查询的类型是选择和设计推理算法应该考虑的主要因素。网络的结构特征主要包括网络的拓扑结构、网络的类型、网络规模的大小、网络中领域变量的类型和分布特征。其中网络的拓扑结构是影响推理性能的关键。相关查询的特征主要包括查询任务的类型、查询的种类、可用的计算资源及其相关证据的特征。贝叶斯网络具有双向推理的能力：预测和诊断。预测是给出一些特征，来预测可能发生的情况，而诊断是指已知发生的事件，去探索发生该事件的可能原因。3. Junction 树算法 该算法是当前贝叶斯推理中比较流行的一种精确推理方法。它的基本原理是划分变量集为相互交叠的子集，推理过程在单个的子集上进行，在一个子集上的计算结

9、果被传递到另一个子集中，新的结果又会参与后续的计算。该算法有两个有点：这是一个精确推理算法，它根据贝叶斯网的联合概率分布，返回精确的查询结果；它充分利用了贝叶斯网的结构特性：条件独立性。在这些独立性基础上构造规模较小的子集，有效的降低了计算复杂性。张剑飞在贝叶斯网络推理中，主要有以下两种推理方式:因果推理:是由原因推结论，也称为由顶向下的推理（c a u s a l o r t o p-d o w ni n f e r e n c e），目的是由原因推导出结果己知一定的原因（证据），则用贝叶斯网络的推理计算，求出在该原因的倩况下结果发生的概率。诊断推理:结论推知原因，也称为由底向上的推理（d

10、i a g n o s t i c o r b o t t o m-u pi n f e r e n c e），目的是在己知结果时，找出产生该结果的原因、己知发生了某些结果，根据贝叶斯网络推理计算，得到造成该结果发生的原因和发生的概率、该推理常用在病理诊断、故障诊断中，目的是找到疾病发生、故障发生的原因。对贝叶斯网络的学习有两种方法:搜索与打分的算法和依赖分析的算法。对于基于依赖分析的算法，条件独立关系的判定在算法中起着非常重要的作用在从数据中学习贝叶斯网络时，可以用信息理论来决定条件独立关系，然后用d-s e p a r a t i o n的概念来推导出贝叶斯网络的结构。*条件概率，具有传播性，形成一个链式的规则。如x - y - z - w每两个相邻变量的条件概率都知道，如何求P（w|x）。这就是贝叶斯定理的概率传播。联合概分布的求解。p（xyzw） = p（x） * p（y|x） * p（z|x,y） * p（w|x, y, z）贝叶斯网络的一个重要性质，一个节点独立于非前驱节点。即p（xi | x（i-1）.x1） = p（xi | x（i-1） 类似马尔科夫过程。贝叶斯网络，也可以看做马尔科夫链的非线性扩展。