人工智能导论-第四章02-59.pptx

人工智能导论-第四章02-59.pptx

《人工智能导论-第四章02-59.pptx》由会员分享，可在线阅读，更多相关《人工智能导论-第四章02-59.pptx（59页珍藏版）》请在冰点文库上搜索。

第四章非经典推理,4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论,2023/7/1,人工智能导论-刘珊,1,基本框架,2023/7/1,人工智能导论-刘珊,2,贝叶斯网络,全联合概率分布贝叶斯网络的定义独立和条件独立贝叶斯网络的构造贝叶斯网络的应用精确推理近似推理,2023/7/1,人工智能导论-刘珊,3,4.6贝叶斯网络,全联合概率分布,定义设X=X1,X2,Xn为任何随机变量集，其全联合概率分布是指当对每个变量取特定值时xi（i=1,2,n）时的合取概率，即P（X1=x1X2=x2Xn=xn），其简化表示形式为P（x1,x2,xn）。

重复使用乘法法则,2023/7/1,人工智能导论-刘珊,4,得到如下全联合概率分布表示,4.6贝叶斯网络,贝叶斯网络,基本概念一系列变量的联合概率分布的图形表示一个表示变量之间的相互依赖关系的数据结构定义是一个有向无环图随机变量集X=X1,X2,Xn组成网络节点，变量可离散或连续连接节点对的有向边组成边集合每节点Xi都有一个条件概率分布表：

P（Xi|par（Xi），量化其父节点对该节点的影响,2023/7/1,人工智能导论-刘珊,5,4.6贝叶斯网络,示例,例1、假设学生在碰见难题和遇到干扰时会产生焦虑，而焦虑又可导致思维迟缓和情绪波动。

请用贝叶斯网络描述这一问题。

解：

在该贝叶斯网络中，大写英文字母A、D、I、C和E分别表示节点“产生焦虑”、“碰见难题”、“遇到干扰”、“认知迟缓”和“情绪波动”，并将各节点的条件概率表置于相应节点的右侧。

所有随机变量取布尔变量，因此可以分别用小写英文字母a、d、i、c和e来表示布尔变量A、D、I、C和E取逻辑值为“True”，用a、d、i、c和e来表示布尔变量A、D、I、C和E取逻辑值为“False”。

2023/7/1,人工智能导论-刘珊,6,4.6贝叶斯网络,示例,右图贝叶斯网络中每个节点的概率表就是该节点与其父节点之间的一个局部条件概率分布。

由于节点D和I无父节点，故它们的条件概率表由其先验概率来填充,2023/7/1,人工智能导论-刘珊,7,4.6贝叶斯网络,联合概率分布表示,贝叶斯网络的联合概率分布表示用par（Xi）表示Xi的所有父节点的相应取值，P（Xi|par（Xi）是节点Xi的一个条件概率分布函数，则对X的所有节点，有如下联合概率分布：

2023/7/1,人工智能导论-刘珊,8,局部化特征每个节点只受到整个节点集中少数别的节点的直接影响，而不受这些节点外的其它节点的直接影响。

贝叶斯网络的语义,4.6贝叶斯网络,独立和条件独立,Weather和其它3个变量相互独立。

给定Cavity后，Toothache和Catch条件独立,2023/7/1,人工智能导论-刘珊,9,贝叶斯网络能实现简化计算的最根本基础-条件独立性。

两个判别准则1）给定父节点，一个节点与非其后代的节点之间是条件独立的。

2）给定一个节点，该节点与其父节点、子节点和子节点的父节点一起构成了一个马尔科夫覆盖，则该节点与马尔科夫覆盖以外的所有节点之间都是条件独立的。

4.6贝叶斯网络,条件独立,2023/7/1,人工智能导论-刘珊,10,【说明】：

给定节点X的父节点U1.Um，节点X与它的非后代节点（即Zij）是条件独立的。

4.6贝叶斯网络,条件独立,2023/7/1,人工智能导论-刘珊,11,【说明】：

给定马尔可夫覆盖（两圆圈之间的区域），节点X和马尔可夫覆盖中所有其它节点都是条件独立的。

4.6贝叶斯网络,贝叶斯网络的构造,构造过程

（1）首先建立不依赖于其它节点的根节点，并且根节点可以不止一个。

（2）加入受根节点影响的节点，并将这些节点作为根节点的子节点。

此时，根节点已成为父节点。

（3）进一步建立依赖于已建节点的子节点。

重复这一过程直到叶节点为止。

（4）对每个根节点，给出其先验概率；对每个中间节点和叶节点，给出其条件概率表。

主要原则忽略过于微弱的依赖关系利用变量间的因果关系,2023/7/1,人工智能导论-刘珊,12,4.6贝叶斯网络,贝叶斯网络的简单应用,例2、对例1所示的贝叶斯网络，若假设某学生已经产生了焦虑情绪，但实际上并未碰见难题，也未遇到干扰，请计算思维迟缓和情绪波动的概率。

解：

令相应变量的取值分别为：

a,d,i,c,e，P（ceadi）=P（c|a）P（e|a）P（a|di）P（d）P（i）=0.80.90.10.850.95=0.05814即所求的概率为0.05814,2023/7/1,人工智能导论-刘珊,13,4.6贝叶斯网络,贝叶斯网络推理,概念在给定一组证据变量观察值的情况下，利用贝叶斯网络计算一组查询变量的后验概率分布。

变量分类查询变量X证据变量集E=E1,E2,En观察到的特定事件s非证据变量集Y=y1,y2,ym全部变量的集合V=xEY其推理就是要查询后验概率P（X|s）。

2023/7/1,人工智能导论-刘珊,14,4.6贝叶斯网络,贝叶斯网络推理,步骤首先确定各相邻节点之间的初始条件概率分布；然后对各证据节点取值；接着选择适当推理算法对各节点的条件概率分布进行更新；最终得到推理结果。

分类精确推理：

一种可以精确地计算查询变量的后验概率的推理方法，适用于单连通贝叶斯网络。

近似推理：

在不影响推理正确性的前提下，通过适当降低推理精确度来提高推理效率的一类方法。

2023/7/1,人工智能导论-刘珊,15,4.6贝叶斯网络,贝叶斯网络精确推理,主要方法基于枚举的算法基于变量消元的算法基于团树传播的算法等基于枚举的算法利用全联合概率分布去推断查询变量的后验概率,2023/7/1,人工智能导论-刘珊,16,4.6贝叶斯网络,示例,例3、以例1所示的贝叶斯网络为例，假设目前观察到的一个事件s=c,e，求在该事件的前提下碰见难题的概率P（D|c,e）是多少？

解：

按照精确推理算法，该询问可表示为：

2023/7/1,人工智能导论-刘珊,17,先对D的不同取值d和d分别进行处理，当D取值d时，有,4.6贝叶斯网络,示例,2023/7/1,人工智能导论-刘珊,18,当D取值d时，有,取=1/（0.0519+0.0901）=1/0.142。

因此有P（D|c,e）=（0.0519,0.0901）=（0.3655,0.6345）,即在思维迟缓和情绪波动都发生时，碰见难题的概率是P（d|c,e）=0.3655,没有碰见难题的概率是P（d|c,e）=0.6345,4.6贝叶斯网络,贝叶斯网络近似推理,马尔可夫链蒙特卡罗（MCMC）算法是目前使用较广的一类贝叶斯网络推理方法。

它通过对前一个事件状态作随机改变来生成下一个问题状态，通过对某个隐变量进行随机采样来实现对随机变量的改变。

MCMC方法可视为：

在状态空间中的随机走动，但是证据变量的值固定不变。

2023/7/1,人工智能导论-刘珊,19,4.6贝叶斯网络,示例,例4、学习情绪会影响学习效果。

假设有一个知识点，考虑学生在愉快学习状态下对该知识点的识记、理解、运用的情况，得到了如右图所示的贝叶斯网络。

如果目前观察到一个学生不但记住了该知识，并且还可以运用该知识，询问这位学生是否理解了该知识。

2023/7/1,人工智能导论-刘珊,20,4.6贝叶斯网络,示例,解：

要求的是P（U|m,a）。

应用MCMC算法的推理步骤如下：

（1）将“知识识记”节点M和“知识运用”节点A作为证据变量，并保持它们的观察值不变；

（2）隐变量“愉快学习”节点E和查询变量“知识理解”节点U进行随机初始化。

假设，取值分别为e和u，问题的初始状态为e,m,u,a；（3）反复执行如下步骤，对隐变量E进行采样，由于E的马尔科夫覆盖（其父节点、子节点和子节点的父节点）仅包含节点M和U，可以按照变量M和U的当前值进行采样，若采样得到e，则生成下一状态e,m,u,a；对查询变量U进行采样，由于U的马尔科夫覆盖包含节点E、M和A，可以按照变量E、M和A的当前值进行采样，若采样得到u，则生成下一状态e,m,u,a。

（4）重复以上步骤直到所要求的访问次数N。

若为true和false的次数分别为n1,、n2，则查询解为Normalize（）=,2023/7/1,人工智能导论-刘珊,21,4.6贝叶斯网络,示例,解：

在上述采样过程中，每次采样都需要两步。

以对隐变量E的采样为例，每次采样步骤如下：

1、先依据该隐变量的马尔科夫覆盖所包含的变量的当前值，计算该状态转移概率p；2、确定状态是否需要改变。

其基本方法是，生成一个随机数r0,1，将其与第一步得到的转移概率p进行比较，若rp，则E取e，转移到下一状态；否则，还处在原状态不变。

在初始状态下，对变量E进行采样，第一步计算P（E|m,u），以此判断是否转移到下一状态e,m,u,a。

P（e|m,u）=P（e,m,u）/P（m,u）=P（e）P（m|e）P（u|e）/P（e）P（m|e）P（u|e）+P（e）P（m|e）P（u|e）=（0.750.90.3）/0.750.90.3+0.250.40.3=0.2025/0.2325=0.8710第二步，假设产生的随机数r=0.46，有0.460.871，则E取e，转移到下一状态e,m,u,a,2023/7/1,人工智能导论-刘珊,22,4.6贝叶斯网络,第四章非经典推理,4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论,2023/7/1,人工智能导论-刘珊,23,基本概念,可信度：

根据经验对一个事物或现象为真的相信程度。

CF模型：

基于可信度表示的不确定性推理的基本方法。

主要内容1、C-F模型中规则的不确定性表示2、C-F模型中证据的不确定性表示3、C-F模型中组合证据不确定性的计算4、C-F模型中不确定性的更新5、C-F模型中结论的不确定性合成6、带加权因子的可信度推理,2023/7/1,人工智能导论-刘珊,24,4.7可信度方法,1、规则不确定性的表示,产生式规则表示IFETHENH（CF（H,E）CF（H,E）：

可信度因子，反映前提条件与结论的联系强度。

CF（H，E）的取值范围：

-1,1。

若由于相应证据的出现增加结论H为真的可信度，则CF（H，E）0，证据的出现越是支持H为真，就使CF（H，E）的值越大。

反之，CF（H，E）0，证据的出现越是支持H为假，CF（H，E）的值就越小。

若证据的出现与否与H无关，则CF（H，E）=0,2023/7/1,人工智能导论-刘珊,25,4.7可信度方法,2、证据不确定性的表示,证据E的可信度取值范围：

-1，1。

对于初始证据，若所有观察S能肯定它为真，则CF（E）=1；若肯定它为假，则CF（E）=1。

若以某种程度为真，则0CF（E）1。

若以某种程度为假，则1CF（E）0。

若未获得任何相关的观察，则CF（E）=0。

静态强度CF（H，E）：

知识的强度，即当所对应的证据E为真时对H的影响程度。

动态强度CF（E）：

证据E当前的不确定性程度,2023/7/1,人工智能导论-刘珊,26,4.7可信度方法,3、组合证据不确定性的算法,组合证据：

多个单一证据的合取E=E1ANDE2ANDANDEn则CF（E）=minCF（E1）,CF（E1）,CF（En）组合证据：

多个单一证据的析取E=E1ORE2OROREn则CF（E）=maxCF（E1）,CF（E1）,CF（En）,2023/7/1,人工智能导论-刘珊,27,4.7可信度方法,4、不确定性的传递算法,C-F模型中的不确定性推理：

从不确定的初始证据出发，通过运用相关的不确定性知识，最终推出结论并求出结论的可信度值。

结论H的可信度由下式计算:

2023/7/1,人工智能导论-刘珊,28,CF（E）0时，CF（H）=0;CF（E）=1时，CF（H）=CF（H,E）,4.7可信度方法,5、结论不确定性的合成算法,设知识：

IFE1THENH（CF（H,E1）IFE2THENH（CF（H,E2）

（1）分别对每一条知识求出CF（H）：

CF1（H）=CF（H,E1）max0,CF（E1）CF2（H）=CF（H,E2）max0,CF（E2）

（2）用如下公式求E1与E2对H的综合可信度,2023/7/1,人工智能导论-刘珊,29,4.7可信度方法,6、带加权因子的可信度推理,当知识的前提条件为多个子条件组合，且这些子条件对结论的重要程度不同时，在前提条件中加入加权因子，以说明每个前提的重要程度。

知识的不确定性表示ifE1（w1）andE2（w2）andandEn（wn）thenHCF（H,E）其中w1,w2,wn为加权因子，一般满足归一条件即w1+w2+wn=1,2023/7/1,人工智能导论-刘珊,30,4.7可信度方法,带加权因子的可信度推理,组合证据不确定性的计算若E=E1（w1）andE2（w2）andandEn（wn）则E的可信度因子可以按如下方式计算CF（E）=wi*CF（Ei）不确定性的更新直观的方法为：

CF（H）=CF（H，E）*CF（E）,2023/7/1,人工智能导论-刘珊,31,4.7可信度方法,示例,例1、已知规则r1:

ifE1（0.6）andE2（0.4）thenE5（0.8）r2:

ifE3（0.5）andE4（0.3）andE5（0.2）thenH（0.9）以及CF（E1）=0.9,CF（E2）=0.8,CF（E3）=0.7,CF（E4）=0.6求CF（H）？

2023/7/1,人工智能导论-刘珊,32,4.7可信度方法,示例,解：

CF（E5）=CF（E5,E）*CF（E）=0.8*0.86=0.69CF（E3（0.5）andE4（0.3）andE5（0.2）=0.67CF（H）=0.9*0.67=0.603,2023/7/1,人工智能导论-刘珊,33,4.7可信度方法,第四章非经典推理,4.1概述4.2不确定性推理4.3非单调推理4.4概率方法4.5主观贝叶斯方法4.6贝叶斯网络4.7可信度方法4.8证据理论,2023/7/1,人工智能导论-刘珊,34,证据理论,又称DS理论在证据理论的基础上已经发展了多种不确定性推理模型主要内容概率分配函数信任函数似然函数信任函数与似然函数的关系概率分配函数的正交和（证据的组合）基于证据理论的推理,2023/7/1,人工智能导论-刘珊,35,4.8证据理论,基本概念,证据理论假设有一个不变的两两相斥的完备元素集合U，如右图所示，其中,2023/7/1,人工智能导论-刘珊,36,证据理论说明图,4.8证据理论,例如,U=三轮车，汽车，火车U=赤，橙，黄，绿，青，蓝，紫U=马，牛，羊，鸡，狗，兔,基本概念,证据理论用集合表示命题。

设D是变量x所有可能取值的集合，且D中的元素是互斥的，在任一时刻x都取D中的某一个元素为值，称D为x的样本空间。

在证据理论中，D的任何一个子集A都对应于一个关于x的命题，称该命题为“x的值在A中”。

设x：

所看到的颜色，D=红，黄，蓝，则A=红：

“x是红色”；A=红，蓝：

“x或者是红色，或者是蓝色”。

为了描述和处理不确定性，引入了概率分配函数、信任函数及似然函数等概念。

2023/7/1,人工智能导论-刘珊,37,4.8证据理论,概率分配函数,设D为样本空间，领域内的命题都用D的子集表示。

定义：

设函数M：

且满足,2023/7/1,人工智能导论-刘珊,38,4.8证据理论,则称M是上的概率分配函数，M（A）称为A的基本概率函数。

对样本空间D的任一子集都分配一个概率值。

概率分配函数,2023/7/1,人工智能导论-刘珊,39,几点说明：

（1）样本空间D中有n个元素，则D中子集的个数为2n个。

2D：

D的所有子集。

（2）概率分配函数：

把D的任意一个子集A都映射为0,1上的一个数M（A）。

AD，AD时，M（A）：

对相应命题A的精确信任度。

（3）概率分配函数与概率不同。

例如，设A=红，M（A）=0.3：

命题“x是红色”的信任度是0.3。

设D=红，黄，蓝M（红）=0.3，M（黄）=0，M（蓝）=0.1，M（红，黄）=0.2，M（红，蓝）=0.2，M（黄，蓝）=0.1，M（红，黄，蓝）=0.1，M（）=0但：

M（红）+M（黄）+M（蓝）=0.4,设D=红，黄，蓝则其子集个数238，具体为：

A=红，A=黄，A=蓝，A=红，黄，A=红，蓝，A=黄，蓝，A=红，黄，蓝，A=,4.8证据理论,信任函数,2023/7/1,人工智能导论-刘珊,40,设D=红，黄，蓝M（红）=0.3，M（黄）=0，M（红，黄）=0.2,由信任函数及概率分配函数的定义推出：

4.8证据理论,似然函数,似然函数定义为Pl：

2D0,1且pl（A）=1-Bel（A），AD,2023/7/1,人工智能导论-刘珊,41,设D=红，黄，蓝M（红）=0.3，M（黄）=0，M（红，黄）=0.2，Bel（红,黄）=M（红）+M（黄）+M（红,黄）=0.5Pl（蓝）=1-Bel（蓝）=1-Bel（红,黄）=1-0.5=0.5,4.8证据理论,信任函数与似然函数的关系,Pl（A）Bel（A）Bel（A）：

对A为真的信任程度。

Pl（A）：

对A为非假的信任程度。

A（Bel（A）,Pl（A）：

对A信任程度的下限与上限。

例如红：

0.3,0.9表示红的精确信任度为0.3，不可驳斥部分为0.9典型值A0,1：

对A一无所知A0,0：

说明A为假A1,1：

说明A为真,2023/7/1,人工智能导论-刘珊,42,4.8证据理论,概率分配函数的正交和,2023/7/1,人工智能导论-刘珊,43,如果K0，则正交和M也是一个概率分配函数；如果K=0，则不存在正交和M，即没有可能存在概率函数，称M1与M2矛盾。

4.8证据理论,设M1和M2是两个概率分配函数，则其正交和定义为,概率分配函数的正交和,设M1,M2,Mn是n个概率分配函数，则其正交和M=M1M2Mn为M（）=0,2023/7/1,人工智能导论-刘珊,44,其中：

4.8证据理论,实例,设D=黑，白，且,2023/7/1,人工智能导论-刘珊,45,则，,4.8证据理论,实例,同理可得：

2023/7/1,人工智能导论-刘珊,46,组合后得到的概率分配函数：

4.8证据理论,一类特殊的概率分配函数,设D=s1,s2,sn，M为定义在2D上的概率分配函数，且M满足：

M（si）0,对任给siDi=1nM（si）1M（D）=1-i=1nM（si）当AD，且A的元素多于1个或没有元素，M（A）=0。

2023/7/1,人工智能导论-刘珊,47,4.8证据理论,一类特殊的概率分配函数,对这类概率分配函数，其信任函数和似然函数的性质为：

Bel（A）=siAM（si）Bel（D）=siDM（si）+M（D）=1Pl（A）=1-Bel（A）=1-siAM（si）=1-siDM（si）+siAM（si）=M（D）+Bel（A）Pl（D）=1-Bel（D）=1,2023/7/1,人工智能导论-刘珊,48,4.8证据理论,类概率函数,设D为有限域，对任何命题AD，其类概率函数定义为f（A）=Bel（A）+|A|/|D|Pl（A）-Bel（A）其中|A|和|D|表示A和D中的元素个数。

类概率函数的性质siDf（si）=1对任何AD，有Bel（A）f（A）Pl（A）对任何AD，有f（A）=1-f（A）则，f（）=0；f（D）=1；对任何AD，0f（A）1,2023/7/1,人工智能导论-刘珊,49,4.8证据理论,规则不确定性的表示,D-S理论中，不确定性规则的表示形式为ifEthenH=h1,h2,hnCF=c1,c2,cn其中：

E为前提条件，可以是简单条件，也可以是复合条件；H是结论，用样本空间的子集表示，h1,h2,hn是该子集的元素；CF是可信度因子，用集合的方式表示。

c1,c2,cn用来表示h1,h2,hn的可信度。

2023/7/1,人工智能导论-刘珊,50,4.8证据理论,证据不确定性的表示,证据E的不确定性由证据的类概率函数给出：

CER（E）=f（E）,2023/7/1,人工智能导论-刘珊,51,4.8证据理论,不确定性的更新,设有知识ifEthenH=h1,h2,hnCF=c1,c2,cn根据证据E的不确定性为CER（E），确定结论H的不确定性描述CER（H），方法如下：

1）求H的概率分配函数：

M（h1,h2,hn）=（c1CER（E）,c2CER（E）,cnCER（E）；M（D）=1-i=1nM（hi）2）求Bel（H），Pl（H）及f（H）：

Bel（H）=i=1nM（hi）；Pl（H）=1-Bel（H）；f（H）=Bel（H）+|H|/|D|M（D）3）CER（H）=f（H）,2023/7/1,人工智能导论-刘珊,52,4.8证据理论,结论不确定性的合成,如果有两条知识支持同一结论ifE1thenH=h1,h2,hnCF=c1,c2,cnifE2thenH=h1,h2,hnCF=e1,e2,en先求出每条知识的概率分配函数M1，M2，然后求出两个概率分配函数的正交和M1M2；以正交和作为H的概率分配函数。

2023/7/1,人工智能导论-刘珊,53,4.8证据理论,推理,步骤：

（1）建立问题的样本空间D。

（2）由经验给出，或者由随机性规则和事实的可信度计算基本概率分配函数。

（3）计算所关心的子集的信任函数值、似然函数值。

（4）由信任函数值、似然函数值得出结论。

2023/7/1,人工智能导论-刘珊,54,4.8证据理论,实例,例1、设有规则：

（1）如果流鼻涕，则感冒但非过敏性鼻炎（0.9）或过敏性鼻炎但非感冒（0.1）；

（2）如果眼发炎，则感冒但非过敏性鼻炎（0.8）或过敏性鼻炎但非感冒（0.05）。

有事实：

（1）小王流鼻涕（0.9）；

（2）小王发眼炎（0.4）。

问：

小王患的什么病？

2023/7/1,人工智能导论-刘珊,55,4.8证据理论,实例,解：

取样本空间D=h1,h2,h3，h1表示“感冒但非过敏性鼻炎”，h2表示“过敏性鼻炎但非感冒”，h3表示“同时得了两种病”。

计算概率分配函数：

2023/7/1,人工智能导论-刘珊,56,4.8证据理论,2023/7/1,人工智能导论-刘珊,57,将两个概率分配函数组合：

4.8证据理论,2023/7/1,人工智能导论-刘珊,58,似然函数：

结论：

小王可能是感冒了。

信任函数：

4.8证据理论,小结,贝叶斯网络定义、构造简单应用精确推理近似推理可信度方法可信度C-F模型证据理论信任函数似然函数推理,2023/7/1,人工智能导论-刘珊,59,