信息论与编码陈运主编答案完整版.docx

信息论与编码陈运主编答案完整版.docx

《信息论与编码陈运主编答案完整版.docx》由会员分享，可在线阅读，更多相关《信息论与编码陈运主编答案完整版.docx（81页珍藏版）》请在冰点文库上搜索。

信息论与编码陈运主编答案完整版

信息论与编码课后习题答案详解

试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲能够表示4个不同的消息，例如：

{0,1,2,3}

八进制脉冲能够表示8个不同的消息，例如：

{0,1,2,3,4,5,6,7}二进制脉冲能够表示2个不同的消息，例如：

{0,1}假设每一个消息的发出都是等概率的，那么：

四进制脉冲的平均信息量HX

（1）=logn=log4=2bitsymbol/八进制脉冲的平均信息量HX

（2）=logn=log8=3bitsymbol/

二进制脉冲的平均信息量HX（0）=logn=log2=1bitsymbol/

因此：

四进制、八进制脉冲所含信息量别离是二进制脉冲信息量的2倍和3倍。

居住某地域的女小孩有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女小孩中身高160厘米以上的占总数的一半。

假设咱们得知“身高160厘米以上的某女孩是大学生”的消息，问取得多少信息量？

解：

设随机变量X代表女小孩学历

Xx1（是大学生）x2（不是大学生）

P（X）

设随机变量Y代表女小孩身高

Yy1（身高>160cm）y2（身高<160cm）

P（Y）

已知：

在女大学生中有75%是身高160厘米以上的即：

py（1/x1）=bit

求：

身高160厘米以上的某女孩是大学生的信息量

pxpy

（1）（1/x1）log×=bit即：

Ix（1/y1）=−logpx（1/y1）=−log=−

py

（1）

一副充分洗乱了的牌（含52张牌），试问

（1）任一特定排列所给出的信息量是多少？

（2）假设从中抽取13张牌，所给出的点数都不相同能取得多少信息量？

解：

（1）52张牌共有52！

种排列方式，假设每种排列方式显现是等概率的那么所给出的信息量是：

px（i）=

Ix（i）=−logpx（i）=log52!

=bit

（2）52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

413px（i）=C5213

413

Ix（i）=−logpx（i）=−logC5213=bit

设离散无经历信源⎢⎡⎣PX（X）⎥⎦⎤=⎨⎩⎧x31/=80

x2=1x3=2x4=3⎫⎬，其发出的信息为1/41/41/8⎭

（202032），求

（1）此消息的自信息量是多少？

（2）此消息中平均每符号携带的信息量是多少？

解：

（1）此消息总共有14个0、13个一、12个二、6个3，因此此消息发出的概率是：

p=⎛⎜3⎞⎟14×⎛⎜1⎞⎟25×⎛⎜1⎞⎟6

⎝8⎠⎝4⎠⎝8⎠

此消息的信息量是：

I=−logp=bit

（2）此消息中平均每符号携带的信息量是：

In/=45=bit

从大量统计资料明白，男性中红绿色盲的发病率为7%，女性发病率为%，若是你问一名男士：

“你是不是是色盲？

”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每一个回答中含有多少信息量？

若是问一名女士，那么答案中含有的平均自信息量是多少？

解：

男士：

px（Y）=7%

Ix（Y）=−logpx（Y）=−=bit

px（N）=93%

Ix（N）=−logpx（N）=−=bit

HX（

）px（）logpx（）bitsymbol/

i

女士：

HX（

）px（）logpx（）bitsymbol/

i

⎡X⎤⎧x设信源=1

x2x3

x4x5x6⎫，求这个信源的熵，并解释为什么

⎢PX（）⎥⎦⎨⎩⎬⎭

⎣

H（X）>log6不知足信源熵的极值性。

解：

HX

pxpx

i

=−++++=bitsymbol/

HX（）>log62=

不知足极值性的缘故是

。

i

证明：

H（X3/X1X2）≤H（X3/X1），并说明当X1,X2,X3是马氏链时等式成立。

证明：

HX（3/XX12）−HX（3/X1）

=−∑∑∑pxxx（i1i2i3）logpx（i3/xxi1i2）+∑∑pxx（i1i3）logpx（i3/xi1）

i1i2i3i1i3

=−∑∑∑pxxx（i1i2i3）logpx（i3/xxi1i2）+∑∑∑pxxx（i1i2i3）logpx（i3/xi1）

i1i2i3i1i2i3px（i3/xi1）

=∑∑∑i1i2i3pxxx（i1i2i3）logpx（i3/xxi1i2）

⎛px（i3/xi1）1⎞⎟⎟log2e

≤∑∑∑i1i2i3pxxx（i1i2i3）⎜⎜⎝px（i3/xxi1i2）−⎠

=⎜⎛∑∑∑pxx（i1i2）（pxi3/xi1）−∑∑∑pxxx（i1i2i3）⎞⎟log2e

⎝i1i2i3i1i2i3⎠

⎛⎡⎤⎞

=⎜⎜∑∑pxx（i1i2）⎢∑px（i3/xi1）⎥−1⎟⎟log2e

⎝i1i2⎣i3⎦⎠

=0

∴HX（3/XX12）≤HX（3/X1）

px（i3/xi1）10时等式等等当−=px（i3/xxi12i）

⇒px（i3/xi1）=px（i3/xxi12i）

⇒pxx（i12i）（pxi3/xi1）=px（i3/xxi12i）（pxxi12i）

⇒px（i1）（pxi2/xi1）（pxi3/xi1）=pxxx（i123ii）⇒px（i2/xi1）（pxi3/xi1）=pxx（i23i/xi1）

∴等式等等的等等是X1,X2,X3是马氏链_

证明：

H（X1X2。

。

。

Xn）≤H（X1）+H（X2）+…+H（Xn）。

证明：

HXX（12...Xn）=HX

（1）+HX（2/X1）+HX（3/XX12）+...+HX（n/XX12...Xn−1）

IX（2;X1）≥0⇒HX

（2）≥HX（2/X1）IX（3;XX12）≥0⇒HX（3）≥HX（3/XX12）

...

IX（N;XX12...Xn−1）≥0⇒HX（N）≥HX（N/XX12...Xn−1）

∴HXX（12...Xn）≤HX

（1）+HX

（2）+HX（3）++...HX（n）

设有一个信源，它产生0，1序列的信息。

它在任意时刻而且不论以前发生过什么符号，均按P（0）=，P

（1）=的概率发出符号。

（1）试问那个信源是不是是平稳的？

（2）试计算H（X2）,H（X3/X1X2）及H∞；

（3）试计算H（X4）并写出X4信源中可能有的所有符号。

解：

（1）

那个信源是平稳无经历信源。

因为有这些词语：

“它在任意时刻．．．．而且不论以前发生过什么符号．．．．．．．．．．．……”

（2）

HX

（2）=2HX（）=−2×=bitsymbol/

HX（3/XX12）=HX（3）=−∑px（i）logpx（i）=−=bitsymbol/

i

H∞=limHX（N/XX12...XN−1）=HX（N）=bitsymbol/

N−>∞

（3）

HX（4）=4HX（）=−4×=bitsymbol/

X4的所有符号：

000000010010

0011

010001010110

0111

100010011010

1011

110011011110

1111

一阶马尔可夫信源的状态图如以下图所示。

信源X的符号集为{0,1,2}。

（1）求平稳后信源的概率散布；

（2）求信源的熵H∞。

解：

（1）

⎧pe

（1）=pepe

（1）（1/e1）+pe

（2）（pe1/e2）

⎪

⎨pe

（2）=pe

（2）（pe2/e2）+pe（3）（pe2/e3）

⎪⎩pe（3）=pe（3）（pe3/e3）+pepe

（1）（3/e1）

⎧pe

（1）=ppe⋅

（1）+ppe⋅

（2）

⎪⎪

⎨pe

（2）=ppe⋅

（2）+ppe⋅（3）

⎪⎪⎩pe（3）=ppe⋅（3）+ppe⋅

（1）

⎧pe

（1）=pe

（2）=pe（3）

⎨

⎩pe

（1）+pe

（2）+pe（3）=1

⎧pe

（1）=1/3

⎪

⎨pe

（2）=1/3⎪⎩pe（3）=1/3

⎧px

（1）=pe

（1）（px1/e1）+pe

（2）（px1/e2）=ppe⋅

（1）+ppe⋅

（2）=（p+p）/3=1/3

⎪⎪

⎨px

（2）=pe

（2）（px2/e2）+pe（3）（px2/e3）=ppe⋅

（2）+ppe⋅（3）=（p+p）/3=1/3

⎪⎪⎩px（3）=pe（3）（px3/e3）+pepx

（1）（3/e1）=ppe⋅（3）+ppe⋅

（1）=（p+p）/3=1/3

⎡X⎤⎧012⎫

⎢PX（）⎥⎦=⎨⎩1/31/31/3⎬⎭

⎣

（2）

H

pepe（）（/e）logpe（j/ei）ij

=−⎡⎢13pe（1/e1）logpe（1/e1）+13pe（2/e1）logpe（2/e1）+13pe（3/e1）logpe（3/e1）⎣

111⎤

+3pe（/e）logpe（1/e3）+3pe（2/e3）logpe（2/e3）+3pe（3/e3）logpe（3/e3）⎦⎥

p

p

p

p

p

p

log

1

log

1

log

1

log

1

log

1

log

1

3

1

⎢

⎡

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

⋅

+

+

+

+

=−

+

⋅

33pp3pp33pp3⎤⎥⎦

⎣

=−（p⋅logp+p⋅logpbitsymbol）/

黑白气象图的消息只有黑色和白色两种，即信源X={黑，白}。

设黑色显现的概率为

P（黑）=，白色显现的概率为P（白）=。

（1）假设图上黑白消息显现前后没有关联，求熵H（X）；

（2）假设消息前后有关联，其依托关系为P（白/白）=，P（黑/白）=，P（白/黑）=，

P（黑/黑）=，求此一阶马尔可夫信源的熵H2（X）;

（3）别离求上述两种信源的剩余度，比较H（X）和H2（X）的大小，并说明其物理含义。

解：

（1）

HX（）=−∑px（i）logpx（i）=−=bitsymbol/

i

（2）

⎧pe

（1）=pepe

（1）（1/e1）+pe

（2）（pe1/e2）

⎨

⎩pe

（2）=pe

（2）（pe2/e2）+pepe

（1）（2/e1）

⎧pe

（1）=（pe1）+（pe2）

⎨

⎩pe

（2）=（pe2）+（pe1）

⎧pe

（2）=2（pe1）

⎨

⎩pe

（1）+pe

（2）=1⎧pe

（1）=1/3

⎨

⎩pe

（2）=2/3

H∞=−∑∑pepe（i）（j/ei）logpe（j/ei）

ij

=−⎛⎜1×1×2×2×333⎠

=bitsymbol/

（3）

η1=H0−H∞=log2−=%

H0log2

%

H（X）>H2（X）

表示的物理含义是：

无经历信源的不确信度大与有经历信源的不确信度，有经历信源的结构化信息较多，能够进行较大程度的紧缩。

同时掷出两个正常的骰子，也确实是各面呈现的概率都为1/6，求：

（1）“3和5同时显现”这事件的自信息；

（2）“两个1同时显现”这事件的自信息；

（3）两个点数的各类组合（无序）对的熵和平均信息量；（4）两个点数之和（即2,3,…,12组成的子集）的熵；（5）两个点数中至少有一个是1的自信息量。

解：

（1）

px（i）=

×

+

×

=

Ix（i）=−logpx（i）=−log

=bit

（2）

px（i）=

×

=

Ix（i）=−logpx（i）=−log

=bit

（3）

两个点数的排列如下：

11121314

15

16

212223242526

313233343536

414243444546

515253545556

616263646566

共有21种组合：

其中11，22，33，44，55，66的概率是

其他15个组合的概率是

HX（）=−∑px（i）logpx（i）=−⎛⎜6×361log361+15×181log181⎞⎟⎠=bitsymbol/i⎝

（4）

参考上面的两个点数的排列，能够得出两个点数求和的概率散布如下：

⎡⎢PX（X）⎤⎦⎥=⎧⎪⎪⎨⎩36121813121419536561763685919101211811112361⎫⎪⎪⎭⎬⎣

HX（）=−∑ipx（i）logpx（i）

=−⎛⎜2×1log1+2×1log1+2×1log1+2×1log1+2×5log5+1log1⎞⎟

⎝36361818121299363666⎠

=bitsymbol/

（5）

px（i）=

×

×11=

Ix（i）=−logpx（i）=−log

=bit

某一无经历信源的符号集为{0,1}，已知P（0）=1/4，P

（1）=3/4。

（1）求符号的平均熵；

（2）有100个符号组成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；

（3）计算

（2）中序列的熵。

解：

（1）

HX（）=−∑px（i）logpx（i）=−⎛⎜14log14+43log34⎟⎞⎠=bitsymbol/i⎝

（2）

px（i）=⎛⎜14⎞⎟⎠m×⎛⎜⎝34⎟⎠⎞100−m=−m

⎝

3100−m

Ix（i）=−logpx（i）=−log4100=+bit

（3）

HX（100）=100HX（）=100×=bitsymbol/

对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合显现的相对频度如下：

若把这些频度看作概率测度，求：

（1）忙闲的无条件熵；

（2）天气状态和气温状态已知时忙闲的条件熵；（3）从天气状态和气温状态取得的关于忙闲的信息。

解：

（1）

依照忙闲的频率，取得忙闲的概率散布如下：

⎡X⎤⎧⎪x1忙闲x2⎫⎪

⎢PX（）⎥⎦=⎨⎪⎩1036310340⎬⎪⎭

⎣

HX（）=−∑2px（i）logpx（i）=−⎛⎜10363log10363+10340log10340⎞⎟⎠=bitsymbol/i⎝

（2）

设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z

HXYZ（）=−∑∑∑pxyz（ijk）logpxyz（ijk）

ijk

=−⎛⎜12log12+8log8+27log27+16log16

⎝103103103103103103103103

+8log8+15log15+log5+12log12⎟⎞5

103103103103103103103103⎠

=bitsymbol/

HYZ（）=−∑∑pyz（jk）logpyz（jk）jk

=−⎛⎜20log20+23log23+32log32+28log28⎟⎞

⎝103103103103103103103103⎠

=bitsymbol/

HXYZ（/）=HXYZ（）−HYZ（）=−=bitsymbol/

（3）

IXYZ（;）=HX（）−HXYZ（/）=−=bitsymbol/

有两个二元随机变量X和Y，它们的联合概率为

Y

X

x

=0

x

=1

y

=0

1

/8

3

/8

y

=1

3

/8

1

/8

并概念另一随机变量Z=XY（一样乘积），试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）和H（XYZ）；

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）和H（Z/XY）；（3）I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）和I（X;Z/Y）。

解：

（1）

px

pxypxypx

pxypxy

HX（）=−∑px（i）logpx（i）=1bitsymbol/

i

py

pxypxypy

pxypxy

HY（）=−∑py（j）logpy（j）=1bitsymbol/

j

Z=XY的概率散布如下：

⎡Z⎤⎧⎪z1=0z2=1⎫⎪

⎢⎣PZ（）⎥⎦=⎨⎪⎩7818⎬⎪⎭

HZ（）=−∑k2pz（k）=−⎛⎜⎝78log87+81log18⎞⎟⎠=bitsymbol/

px

（1）=pxz（11）+pxz（12）pxz（12）=0pxz（11）=px

（1）=pz

（1）=pxz（11）+pxz（21）

pz

（2）=pxz（12）+pxz（22）

HXZ（）=−∑∑pxz（ik）logpxz（ik）=−⎛⎜12log12+83log83+81log81⎠⎟⎞=bitsymbol/

ik⎝

py

（1）=pyz（11）+pyz（12）pyz（12）=0pyz（11）=py

（1）=pz

（1）=pyz（11）+pyz（21）

pz

（2）=pyz（12）+pyz（22）

HYZ（）=−∑∑kpyz（jk）logpyz（jk）=−⎛⎜12log12+83log83+81log18⎠⎟⎞=bitsymbol/j⎝

pxyz（112）=0pxyz（122）=0pxyz（212）=0pxyz（111）+pxyz（112）=pxy（11）pxyz（111）=pxy（11）=1/8pxyz（121）+pxyz（111）=pxz（11）

pxyz（211）+pxyz（212）=pxy（21）

pxyz（221）=0

pxyz（221）+pxyz（222）=pxy（22）

HXYZ（）=−∑∑∑pxyz（ijk）log2pxyz（ijk）

ijk

=−⎛⎜1log1+3log3+3log3+1log1⎞⎟=bitsymbol/

⎝88888888⎠

（2）

HXY（）=−∑∑pxy（ij