第2章习题.ppt

第2章习题.ppt

《第2章习题.ppt》由会员分享，可在线阅读，更多相关《第2章习题.ppt（17页珍藏版）》请在冰点文库上搜索。

2023/10/28,1,习题1,同时掷两个正常的骰子，即各面呈现的概率都是1/6。

求：

“3和5同时出现”这一事件的自信息量。

“两个1同时出现”这一事件的自信息量。

两个点数的各种组合（无序对）的熵。

两个点数之和（即2,3，12构成的子集）的熵。

两个点数中至少有一个是1的自信息。

两个点数是3的信息量。

两个点数是7的信息量。

2023/10/28,2,习题1,2023/10/28,3,习题2,黑白传真机的消息元只有黑色和白色两种，即X黑，白。

一般气象图上，黑色出现的概率为p（黑）0.3，白色出现的概率为p（白）0.7。

求：

假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图。

实际上各元素之间有关联，其转移概率为：

p（白/白）0.9143p（黑/黑）0.8求：

这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

2023/10/28,4,习题3,有6行、8列的棋型方格，若有两个质点A和B分别以等概率落入任一方格内，但A、B不能落入同一方格内。

求：

若仅有质点A，求A落入任一个格的平均信息量若已知A已落入，求B落入的平均信息量若A、B是可分辨的，求A、B都落入的平均信息量,2023/10/28,5,习题4,从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：

“你是否色盲？

”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量，平均每个回答中含有多少信息量？

如果问一位女士，则答案中含有的平均自信息量是多少？

2023/10/28,6,习题5,在一个袋中放有5个黑球，10个白球，以摸一个球为一个实验，摸出的球不再放进去。

求：

一次实验包含的不确定度。

第一次实验X摸出的是黑球，第二次实验Y给出的不确定度。

第一次实验X找出的是白球，第二次实验Y给出的不确定度。

第二次实验Y包含的不确定度。

2023/10/28,7,习题6,有一个可旋转的圆盘，盘面上被均匀地分成38份，用1,2，38数字标示，其中有2份涂绿色，18份涂黑色，18份涂红色。

圆盘停转后，盘面上指针指向某一数字和颜色。

求：

若仅对颜色感兴趣，计算平均不确定度。

若对颜色和数字都感兴趣，计算平均不确定度。

如果颜色已知时，计算条件熵。

2023/10/28,8,习题7,有两个二元随机变量X和Y，它们的联合概率如右表所示，并定义另一随机变量ZXY（一般乘积）。

试计算：

H（X），H（Y），H（Z），H（XZ），H（YZ）和H（XYZ）H（X/Y），H（Y/X），H（X/Z），H（Z/X），H（Y/Z），H（Z/Y），H（X/YZ），H（Y/XZ）和H（Z/XY）I（X;Y），I（X;Z），I（Y;Z），I（X;Y/Z），I（Y;Z/X）和I（X;Z/Y）,2023/10/28,9,习题7,2023/10/28,10,习题8、9,某无记忆信源的符号集为0,1，已知p0=1/4，p1=3/4。

求：

求符号的平均熵。

由100个符号构成的序列，求某特定序列（m个“0”和100-m个“1”）的自信息量的表达式。

计算中序列的熵。

设有一个二进制一阶马尔可夫信源，其信源符号为X（0,1），条件概率为p（0/0）=0.25p（0/1）=p（1/1）=0.5p（1/0）=0.75画出状态图并求出各符号稳态概率。

2023/10/28,11,习题10,设有一信源，它在开始时以p（a）=0.6，p（b）=0.3，p（c）=0.1的概率发出X1。

如果X1为a时则X2为a、b、c的概率为1/3；如果X1为b时则X2为a、b、c的概率为1/3；如果X1为c时则X2为a、b的概率为1/2，而为c的概率是0。

而且后面发出Xi的概率只与Xi1有关。

又p（Xi/Xi-1）=p（X2/X1）,i3。

试利用马尔可夫信源的图示法画出状态转移图，并求出转移概率矩阵和信源熵H。

2023/10/28,12,习题11,一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。

画出一阶马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵H1。

画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。

2023/10/28,13,习题12,有一个一阶马尔可夫链X1,X2,Xr,各Xr取值于集A=a1,a2,a3。

已知起始概率p（ai）为：

p1=1/2,p2=p3=1/4，转移概率如下表所示。

求：

X1X2X3的联合熵和平均符号熵。

这个链的极限平均符号熵。

H0,H1,H2和它们所对应的冗余度。

2023/10/28,14,习题12,p1=1/2,p2=p3=1/4,p（X21）=7/12p（X22）=5/24p（X23）=5/24,2023/10/28,15,习题13,一阶马尔可夫信源的状态图如图所示，信源X的符号集为0,1,2。

求信源平稳后的概率分布p（0），p

（1）和p

（2）。

求此信源的熵。

近似认为此信源为无记忆时，符号的概率分布等于平稳分布。

求近似信源的熵H（X）并与H进行比较。

对一阶马尔可夫信源，p取何值时H取最大值，又当p=0或p=1时结果如何？

2023/10/28,16,习题13,2023/10/28,17,习题14,一阶马尔可夫信源的状态图如图所示。

信源X的符号集为0,1,2。

平稳后的信源的概率分布。

信源熵H当p=0或p=1时信源的熵，并说明其理由。