信息论与编码姜丹第三版答案.docx

资源描述

信息论与编码姜丹第三版答案.docx

《信息论与编码姜丹第三版答案.docx》由会员分享，可在线阅读，更多相关《信息论与编码姜丹第三版答案.docx（80页珍藏版）》请在冰点文库上搜索。

信息论与编码姜丹第三版答案.docx

信息论与编码姜丹第三版答案

信息论与编码习题参考答案

第一章单符号离散信源

信息论与编码作业是74页，4/1的

（1）（5）,1.3,1.4,1.6,1.13,1.14还有证明爛函数的连续性、扩展性、可加性

1.1同时掷一对均匀的子，试求:

⑴“2和6同时出现”这一事件的自信息量;

⑵“两个5同时出现”这一事件的自信息量;

（3）两个点数的各种组合的爛;

⑷两个点数之和的烁

（5）“两个点数中至少有一个是1”的自信息量。

解:

样本空间：

N==6x6=36

⑴人4=/（fl）=-log/>=logl8=4.17b/r

N36

⑵E唏誌/⑷=-logA=log36=5」Ibit

（3）信源空间：

（1,1）

（1,2）

（1,3）

（1,4）

（1,5）

（1,6）

P（X）

1/36

2/36

（2,2）

（2,3）

（2,4）

（2,5）

（2,6）

P（x）

1/36

2/36

（3,3）

（3,4）

（3,5）

（3,6）

P（x）

1/36

2/36

（4,4）

（4,5）

（4,6）

P（x）

1/36

2/36

（5,5）

（5,6）

（6,6）

P（x）

1/36

2/36

1/36

吩％xlogy+6x-xlog36=4.32/>/r

（4）信源空间:

P（

X）

.・.H（x）=—xlog36+—xlog—+—xlog—+—xlog—

36吕36〜236凸336〜4

+12xl36+±x36=371^

36b536b6

⑸马唏詈•WigPig沪加

1.2如有6行、8列的棋型方格，若有两个质点A

和B,分别以等概落入任一方格内，且它们的坐

标分别为（Xa,Ya）,（Xb,Yb），但A,B不

能同时落入同一方格内

（1）

若仅有质点A,求A落入任一方格的平

均信息量;

CH.F.

（3）若已知A已落入，求B落入的平均信息

量；

（4）若A,B是可辨认的，求A,B落入的平均信息量。

解:

（1）'A落入任一格的概率：

P（ai）I（aj=-logP（aJ=log48

.H（a）-P（ai）logP（aJ=log48=5.58bit

i二

（2）；在已知A落入任一格的情况下,B落入任一格的概率是：

P（bJ=—

.I（b）--logP（bi）=log47

.H（b）=-'P（bjlogP（b」=log47=5.55bit

（3）AB同时落入某两格的概率是P（ABJ二丄丄

4847

■I（ABJ一logP（AB」

4847

H（ABi）P（ABi）logP（ABi）=log（4847）=11.14bit

i二

1.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：

“你是否是红绿色盲？

”他的回答可能是：

“是”，也可能“不是”。

问这两个回答中各含有多少信息量？

平均每个回答中各含有多少信息量？

如果你问一位女士，则她的答案中含有多少平均信息量？

解：

对于男士：

回答“是”的信息量：

l（my）=_logP（my）=_log7%=3.84bit

回答“不是”的信息量平均每个回答信息量：

1（mn）=-logP（mn）=-log93%=0.105bit

H（m）--P（my）logP（my）-P（mn）logP（mn）

=-7%log7%-93%Iog93%=0.366bit

对于女:

回答“是”的信息量：

1（Wy）--logP（Wy）--log0.5%

回答“不是”的信息量平均每个回答信息量：

1（mn）=-logP（mn）=-log99.5%

H（m）=-P（Wy）logP（Wy）「P（Wn）logP（Wn）

=-0.5%log0.5%-99.5%Iog99.5%=0.0454bit

1.4某一无记忆信源的符号集为{0,1},已知

po，p1

（1）求符号的平均信息量；

（2）由1000个符号构成的序列，求某一特定序列（例如有m个“0",（1000-m）个“1”）的自信量的表达式；

（3）计算

（2）中序列的熵。

解：

/、1122

（1）H（x）=_pologpo「pjogp1loglog0.918bit/symble

3333

bit

/、12⑵I（A）--mlogp°-（1000-m）logp--mlog（1000-m）log-

（3）H（A）=1000H（X）=10000.918=918bit/sequenee

二1000』m12（1000—m）

H（A）-p°logp°-'P1logp1log-

□i433

1.5设信源X的信源空间为:

aia2

p（X）0.170.19

0.18

0.16

0.18

0.3

求信源熵，并解释为什么H（X）>log6，不满足信

源熵的极值性。

解:

H（X）二-'p（ai）logp（ai）

id：

=-0.17log0.17-0.19log0.19-20.18log0.18-0.16log0.16—0.3log0.3=2.725bit/symble

可见H（X）=2.725•Iog6=2.585不满足信源熵的极值性，

这是因为信源熵的最大值是在VPi=1的约束条件下求得的，但是本题中

i=1

pi=1.18不满足信源熵最大值成立的约束条件，所以H（X）log6。

i±

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5X105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。

求传输此图象所需要的信息率（bit/s）。

解：

由于亮度电平等概出现，由熵的极值性：

每个像素的熵是：

H（x。

）-'p（ai）logp（aj=log10=3.322bit/pels

i二

每帧图像的熵是:

H（X）=5105H（x0）=51053.322=1.661106bit/frame

.所需信息速率为：

R=r（frame/s）H（X）（bit/frame）=301.661106=4.983107bit/s

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度.试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。

证：

增加30个不同色彩度，在满足黑白电视系统要求下，每个色彩度需要10个亮度,所以每个像素需要用3010=300bit量化

H（xJ

H（x°）

log300

log10

=2.4772.5

.彩色电视系统每个像素信息量比黑白电视系统

大2.5倍作用,所以传输相同的

.每个像素的熵是：

300

H（xJp（bi）logp（b）=log300bit/pels

图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.

1.8每帧电视图像可以认为是由3x105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。

问每帧图像含有多少信息量？

若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广

播员在口述中至少需要多少汉字?

每帧图象所含信息量：

H（X）=3105H（x）=3105Iog128=2.1106bit/symble每个汉字所出现概率p二册

.每个汉字所包含信息量：

H（c）=_logp

描述一帧图像需要汉字数n,H（X）岂nH（c）

H（c）

2.1106

-log0.1

=6.32210/frame

.最少需要6.322105个汉字

1・9给定一个概率分布

（p1,p2,--,pn）和一个整数

m，

、,m

0岂m乞n。

|m二1p

i二

H（P1,P2,…,Pn）乞H（P1,P2,…,Pm，lm）Imlog5-m）。

并说明等式何时成立？

证：

先证明f（x）=-Xlogx（x0）为凸函数，如下：

f（X）=（-Xlogx）=-l°ge又x0

f（x）=（「xlogx）=-loge：

：

0即f（x）=-xlogx（x0）为凸函数。

又H（P1,P2,...,Pn）=-'PilogPi-'PilogPi

i1izffl+

可得：

送Pi

i-m-iqm

log-^qmlog—n-mn-m

由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，

nnn

n'f（Pi）'Pi'Pi

pilogPj__（n_m）（n_m）f（^^）--（n_m）|呼1

im1n_mn_mn_m

即—'、PilogPi乞-qmlogqmqmlog（n—m）

i凹1

当且仅当Pm1=Pm2=..•=Pn时等式成立。

mnm

■H（p「P2,...,Pn）-PilogPi-xPilogPi二7PilogPi-qmlogqmqmlog（n—m）

i1i_m1i□

H（Pi,P2,...,Pm,qm）-八PilogPi-qmlogqm

■■H（Pi,P2,...,Pn）岂H（Pi,P2,...,Pm,qm）qmlog（n-m）

当且仅当PmJ=Pm2=...=Pn时等式成立。

1.10找出两种特殊分布：

P1>P2>P3》・・・》Pn,Pl>P2>P3》・・・》Pm,使

H（pi,P2,P3,…,Pn）=H（pi,P2,P3,…,Pm）。

解:

H（Pi,p2,...,Pn）-PilogPi=H（qi,q2,...,qm）->qilogq

i4i4

1.15两个离散随机变量X和Y，其和为Z=X+Y，若X和Y统计独立，求证：

（1）H（X）

（2）H（XY）>H（Z）

证明：

设X、Y的信源空间为:

区

〔P（X）Pi

[Y・P]:

<丫bib2

P（Y）qiq2

bsqs

又X,丫统计独立

trsrs

.H（Z）pzklogpzk卩佝bj）logp（@bj）：

：

>'gq」）log（Piq」）=H（XY）

k1i2j2iXj

tssss

又H（Z）=_、•pzklogpz<_-（mPiqj）log（.二'•二Piq」）-

k1』j±ij

rsrs

=-SE（Pilog（Pi+qj））—送送qjlog（p+q））

iXj1i4j4

rss

qjlog（p+qj）A-Eqjlog（qj）

iij土j±

第二章单符号离散信道

2.1设信源【x・P］：

｛X（x）爲0.3通过一信道，信道的

输出随机变量Y的符号集

db2

Y：

｛bi,b2｝,信道的矩阵：

ai5/61/6

_a2J/43/4一

试求：

（1）信源X中的符号：

1和:

2分别含有的自信息

量；

⑵收到消息Y=bi,Y=b2后，获得关于F

2的互交信息量：

1（i；bi）、1（i；b2）、1（2；bi）、

1（2；b2）；

（3）信源X和信宿Y的信息熵；

（4）信道疑义度H（X/Y）和噪声熵H（Y/X）;

（5）接收到消息Y后获得的平均互交信息量

I（X；Y）

（1）l（aj=—logp（aj=—log0.7=0.5415bitl（a2）--logp（a21）--log0.3=1.737bit

P（b1|aJ

（2）1佝；4）=log”=log

P（b）

I（a1；d）=logp（b2和=log1.036bit

0.71/60.33/4

5/6

0.75/60.31/4=0.34bit

1/6

P（b2）

I（a2；hTog^^log0.75©0.31/4一°.766bit

1/4

P（bJ

p（b2a2）.

I（a2；b2）=log」log1.134bit

0.71/60.33/4

3/4

P（b2）

279

⑶由上：

pg）八p（ai）p（b1aj=百

1z1120

241

P（b2）=迟p（ai）p（b2ai^—-

y120

.H（X）-八p（ai）logp（a）=-（0.7log0.70.3log0.3）=0.881bit/symble

i吕

279794141

H（Y）-p（bjlogp（bj二-（loglog）=0.926bit/symble

j120m120120m120'

2222

（4）H（Y|X）=迟迟p（aibj）logp（bjaj=迟Sp（ai）p（bjai）logp（bjai）=0.698bit/symble

j=1i=1j=1i=1

又l（X;Y）=H（Y）-H（YX）=H（X）-H（XY）

H（XY）=H（X）H（YX）-H（Y）=0.8810.698-0.926=0.653bit/symble

（5）二l（X;Y）=H（Y）—H（YX）=0.926—0.698=0.228bit/symble

2.2某二进制对称信道，其信道矩阵是：

0_0.980.02]

戸-10.020.98

设该信道以1500个二进制符号/秒的速度传输输入符号。

现有一消息序列共有14000个二进制符号，并设在这消息中p（0）=p

（1）=0.5。

问从消息传输的角度来考虑，10秒钟内能否将这消息序

列无失真的传送完。

解：

由于二进制对称信道输入等概信源

.I（X;Y）=Ch_H（；）=1；log；（1-；）log（1-；）

=10.02log0.020.98log0.98=0.859bit/symble

.信道在10秒钟内传送14000个二进制符号最大码率为:

Ct=C14000symble/10s=1201.98bit/s

而输入信源码率为1500bit/s,超过了信道所能提供的最大码率，故不可能无失真传输

2.3有两个二元随机变量X和Y，它们的联合概

率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，

P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。

定义另一随机变量Z=XY，试计算：

（1）H（X）,H（Y）,H（Z）,H（XZ）,H（YZ）,H（XYZ）;

（2）H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（Y/XZ）,H（Z/XY）;

⑶l（X;Y）,l（X;Z）,l（Y;Z）,l（X;Y/Z）,l（Y;Z/X）,l（X

；Z/Y）o

解：

131131

（1）由题意：

X的分布：

p（X=0）=丄•Y二丄；p（X=1）=丄-=-.

882882

Y的分布:

p（Y二0）二13^-;p（Y二1）二13二1.

882882

13371

Z=XY的分布为：

X的分布：

p（Z=0）;p（Z=1）.

88888

131

且p（X=0,Z=0）=p（X=0）;p（X=0,Z=1）=0;p（X=1,Z=0）;p（X=1,Z=1）;

288

131

p（Y=0,Z=0）=p（Y=0）;p（Y=0,Z=1）=0；p（Y=1,Z=0）;p（Y=1,Z=1）;

288

1111

.H（X）=_（loglog—）=1bit/symble;

2222

1111

H（Y）--（loglog㊁）=1bit/symble

7711

H（Z）-4loglog丄）=0.544bit/symble

8888

H（XZ）二-''p（XiN）logp（XiN）

i=1k土

二_（Pxz（00）logPxz（00）pxz（10）logp』0）Pxz（01）logpxz（01）-Pxz（11）logPxz（11））

13133311

=-（）log（）log0log1.406bit/symble

_88888888

由上面X、Y、Z的概率分布：

H（YZ）二H（XZ）=1.406bit/symble

Pxy（00）1/81Pxy（10）3/83

（2）p（X=0丫=0）=Pxy（00）;Pxy（10）;

xypy（0）1/24旳'丿py（0）1/24

p（01）Pxy（01）3/83Pxy（11）1/8

Pxy（01八耐二旋蔦;Pxy（11八丽4

，•”H（XY）=—!

：

I：

p（w）logp（Xi%）

yj4

--Pxy（00）logPxy（00）Pxy（01）logPxy（01）Pxy（10）logPxy（10）Pxy（11）切Pxy⑴）

11333311

=-（loglogloglog—）=0811bit/symble

84848484

I（X;Y）二H（X）-H（XY）二H（Y）-H（YX）且H（X）二H（Y）

二H（YX）=H（XY）=0.811bit/symble

2222

H（XZ）=-送送p（xzk）logp（xzk）=-送送p（^zk）log-P（^

iAk二i=k4P（zk）

=-Ipxz（00）logp/00）+pxz（01）logPxz（01）+Pxz（10）logPxz（10）+Pxz（11）logPxz（11）】

11/233/811/8

--（一log0loglog）=0862bit/symble

27/887/881/8

2222

同理：

H（ZX）=-送送p（ZkXjlogp（Zkn）=-送瓦p（Zk^）log呼：

）

i壬k¥p（xi）

=-'-Pzx（00）logPzx（00）Pzx（01）logPzx（01）Pzx（10）logPzx（10）Pzx（11）logPzx（11）]

11/233/811/8

--（log0loglog）=0.406bit/symble

21/281/281/2

由X、Y、Z的概率：

H（YZ）二H（XZ）=0862bit/symble

H（ZY）二H（ZX）=0406bit/symble

Pxyz（001）=pxyz（101）=Pxyz（011）=Pxyz（110）=0

222

二H（XYZ）=—瓦送瓦p（xyjZk）logp（XjyjZj=—瓦送瓦p（XjyjZQlog

i=1j=1k=1i=1j=1k=1p（yjZk）

Pxyz（000）pxyz（010）pxyz（100）Pxyz⑴1）、

--（pxyz（000）log一pxyz（010）log一Pxyz（100）log—pxyz（111）log一）

Pyz（00）Pyz（10）Pyz（00）Pyz（11）

11/833/833/811/8

二-（loglogloglog）=0.406bit/symble

81/283/881/281/8

H（YXZ）二H（XYZ）=0.406bit/symble

222222p（xy乙）

H（ZXY）=」''p（XiyjzJlogp（Zk为比）=八''p（XiyjzJlog」｛

i=1j=1k=ii=1j=ik=±P（Xyj）

Pxyz（000）Pxyz（010）Pxyz（100）Pxyz（111）、

一（Pxyz（000）log—Pxyz（010）log一Pxyz（100）log一Pxyz（111）log一）

Pxy（00）Pxy（01）Pxy（10）Pxy（11）

（3）由上：

I（X;Y）=H（X）—H（XY）=1—0.811=0.189bit/symble

I（X;Z）=H（X）-H（XZ）=1-0.862=0.138bit/symble

I（Y;Z）=H（Y）-H（YZ）=1-0.862=0.138bit/symble

I（X;Y|Z）=H（XZ）—H（XYZ）=0.862—0.406=0.456bit/symble

I（Y;ZX）=H（YX）-H（YXZ）=0.811-0.406=0.405bit/symble

I（X;ZY）=H（XY）-H

展开阅读全文