信息与编码复习总结.docx
《信息与编码复习总结.docx》由会员分享，可在线阅读，更多相关《信息与编码复习总结.docx（18页珍藏版）》请在冰点文库上搜索。
信息与编码复习总结
第一章
⏹信息是关于事物运动状态或存在方式的不确定性的描述。
抽象的、非物理的，是信息的哲学层表达。
⏹消息是指包含信息的语言、文字、符号、数据、图像等。
消息是信息的载体。
是具体的、非物理的形式，是信息的数学层表达
⏹信号：
运用声、光、电等物理量来运载信息。
信号是载荷信息的实体，是具体的、物理的形式，是信息的物理层表达
⏹信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。
⏹反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。
同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。
同样，同一类型信号或消息也可以代表不同内容的信息。
⏹消息是信息的数学载体、信号是信息的物理载体
通信系统的模型
\
例题：
一个布袋中包含100个球，其中80个红球，20个白球。
（1）随机地抽取一个球观察颜色后放回布袋，则出现白球的概率多少？
（2）随机抽取一个球，记录颜色后不放回布袋，接着再取一球记录颜色，试问如果第一个是红球，第二个分别是红球和白球的概率？
（3）随机抽取一个球，记录颜色后不放回布袋，试问，取出两个球，先后是白球和红球的概率？
（1）
解:
设Wi={第i次取出是白球},i=1,2,……
2）解:
设Wi={第i次取出是白球},i=1,2,……
Rj={第j次取出是红球}，j=1,2,……
（3）解:
设Wi={第i次取出是白球},i=1,2,……
Rj={第j次取出是红球}，j=1,2,……
⏹
⏹1、信源编码的主要目的是提高__有效性____，
信道编码的主要目的是提高_可靠性_____。
⏹2、根据是否允许失真，信源编码可分为___无失真信源编码__和____限失真信源编码___。
⏹3、如果从随机不确定性的角度来定义信息，信息反映的__不确定性_____消除量。
⏹4、简述信息、消息与信号3个名词
⏹5、给出通信系统的基本模型，并说明各组成部分的含义。
⏹6、简述通信系统的性能指标，并说明通过什么渠道优化这些性能指标。
有效性——信源编码
可靠性——信道编码
安全性——加密编码
第二章
●按信源发出符号所对应的随机变量之间有无统计依赖关系，可将离散信源分为_______和_______两大类。
习题2-1,习题2-2
⏹1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是______bit。
⏹2、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：
“你是否是色盲？
”她的回答可能是“是”，可能是“否”，问
（1）这两个回答中各含多少信息量？
（2）平均每个回答中含有多少信息量？
解：
教材39页2-2,2-5,2-7,2-15
第二章复习
（1）信息是可以定量描述的，可以比较大小。
由概率决定；
（2）对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；
（3）可通过对信源的观察、测量获得信息，以减少对信源的不确定度；
（4）考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降；
（5）通过传输，信宿可以得到信息I（X;Y），从而减小对信源的不确定度：
H（X/Y）=H（X）-I（X;Y）
（6）信息通过系统传输，只会丢失信息，不会增加。
丢失部分H（X/Y）是由噪声引起的。
1、一维连续随机变量X在[a，b]区间内均匀分布时，其信源熵为________。
2、分别说明下列表达式的含义。
（1）自信息量
（2）熵
（3）联合熵
（4）平均互信息量
（5）条件熵
4、简述最大离散熵定理
5、简述数据处理定理
6、一阶马尔可夫信源的状态图如图所示，信源X的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P（0），P
（1），P
（2）；
（2）求此信源的极限熵。
有
1、设信道输入X={3,1,1}，输出Y={1，1，2}，
规定失真函数为
则失真矩阵D=____________。
2、分别说明下列表达式的含义。
（1）信息率失真函数R（D）；
（2）信道容量C。
第五章
分组码：
每个符号序列依照固定的码表映射成一个码字。
定长码：
码中所有码字的长度都相同。
变长码：
码中的码字长短不一。
非奇异码：
信源符号和码字是一一对应。
奇异码：
信源符号和码字不是一一对应。
唯一可译码：
任意有限长的码元序列，只能被唯一地分割成一个个的码字。
即时码：
在唯一可译码中有一类码，它在译码时无须参考后继的码符号就能立即做出判断，译成对应的信源符号。
非即时码：
接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。
解
（1）
（2）
信源消息符号xi
符号概率p（xi）
累加概率Pi
-logp（xi）
码字长度ki
码字
x1
1/2
0
1
1
0
x2
1/4
1/2
2
2
10
x3
1/8
3/4
3
3
110
x4
1/16
7/8
4
4
1110
x5
1/32
15/16
5
5
11110
x6
1/64
31/32
6
6
111110
x7
1/128
63/64
7
7
1111110
x8
1/128
127/128
7
7
1111111
（3）
xi
p（xi）
编码
码字
码字长度ki
x1
1/2
0
0
1
x2
1/4
1
0
10
2
x3
1/8
1
0
110
3
x4
1/16
1
0
1110
4
x5
1/32
1
0
11110
5
x6
1/64
1
0
111110
6
x7
1/128
1
0
1111110
7
x8
1/128
1
1111111
7
4）在编r元哈夫曼码时，信源符号m要满足m=（r-1）n+r，其中m为任意正整数，n表示缩减的次数。
本题中r=3（三进制），所以m=（r-1）n+r=2n+3，取n=3，则m=9。
xi
p（xi）
编码
码字
码字长度ki
x1
1/2
1/2
1/2
1/2
0
0
1
x2
1/4
1/4
1/4
1/4
1
2
1
x3
1/8
1/8
1/8
0
1/4
2
10
2
x4
1/16
1/16
1/16
1
12
2
x5
1/32
1/32
0
1/16
2
110
3
x6
1/64
1/64
1
112
3
x7
1/128
0
1/64
2
1110
4
x8
1/128
1
1111
4
x9
0
2
☐设一个三状态马尔可夫信源X={a1,a2,a3}，其状态图如图所示。
求
（1）稳态下各状态概率Wi；
（2）稳态下各字母ai出现的概率；
（3）H（X|si）;
（4）H∞（X）;
（5）对各状态sj求Huffman编码；
（6）计算平均码长。
解：
（1）稳态下个状态概率
（2）稳态下各字母ai出现的概率
（3）
（4）
（5）在状态s1下的Huffman编码
符号
概率
Huffman编码
码字
码长
a1
1/2
1/2
0
1
1
a2
1/4
0
1/2
1
00
2
a3
1/4
1
01
2
在状态s2下的Huffman编码
符号
概率
Huffman编码
码字
码长
a2
1/2
0
0
1
a3
1/2
1
1
1
在状态s3下一定发出a1，无需编码
（6）平均码长
1、m元惟一可译码存在的充要条件是各码字的长度ki符合克劳夫特不等式____________。
2、R（D）是______参数，它是满足D准则下平均传送每信源符号的所需的最________比特数，因此只要信息率______信息率失真函数，则一定存在一种编码方法，其译码失真满足要求。
第六章
⏹1、设一个（7,4）分组码的生成矩阵为
求该码的全部码字
⏹2、某分组码的校验矩阵为
求：
⏹
（1）n=?
k=?
该码的码字有多少个？
⏹
（2）该码的生成矩阵G？
⏹（3）矢量010111和100011是否是码字？
⏹3、某码空间的生成矩阵为
校验矩阵为______,码集中有____个码字,
伴随式有____个，信息组（110）对应的码字c1是_____，信息组（010）对应的码字c2是_____。
码字c1与码字c2的距离是_____，若该线性分组码的最小距离是3，则其检错能力为_____，纠错能力为______。
⏹4、叙述差错控制的基本方式有哪些，并说明具体的控制方式。
⏹5、信道容量是信道信息的最______（大，小）通过能力，因此只要信息率______信道容量，可以实现可靠通信。
升级会员 