信息论与编码教案.docx

信息论与编码教案.docx

《信息论与编码教案.docx》由会员分享，可在线阅读，更多相关《信息论与编码教案.docx（23页珍藏版）》请在冰点文库上搜索。

信息论与编码教案

成都理工大学工程技术学院

信息论与编码课程教案

教师姓名刘晓丽

所在系部电信系

授课专业07通信

课程代码

总学时50学分

教材名称信息论与编码

2009年8月29日

[首页]

课程名称

信息论与编码

授课专业

通信工程

年级

2007

课程编号

课程类型

必修课

公共基础课（）；专业基础课（是）；专业课（）

选修课

专业选修课（）；公共选修课（）

教学目标

通过本课程的学习，使学生对信息理论和编码理论有比较全面和系统的了解，掌握信息论的基本概念、基本理论和基本分析方法，包括信源熵、信道容量和信息率失真函数等；掌握常用的信源编码方法，包括香农编码、费诺编码、哈夫曼编码、矢量量化编码和预测编码等；掌握常用的信道编码，包括线性码、循环码等，为从事信息科学的研究和应用打下坚实的基础。

授课方式

课堂讲授（是）；实践课（）

考核方式

考试（是）；考查（）

课程教学总学时数

50

学分数

学时分配

课堂讲授50学时；实践课0学时

教材名称

信息论与编码

作者

陈运

出版社及出版时间

电子工业出版社2007

指定参考书

信息论与编码

作者

姜丹

出版社及出版时间

中国科学技术大学出版社，2004

授课教师

刘晓丽

职称

助教

单位

电信系

授课时间

2009-2010第一学期

周次

第1周，第1次课

编写时间

2009.8.29

章节名称

1概论

教学目的与要求：

理解信息的概念、性质和分类，了解通信系统的构成及编码理论在其中的作用，了解信息论的起源、发展及研究内容。

教学重点和难点：

教学重点：

信息的概念

教学难点：

香农信息论的三大定理

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1提出课堂纪律要求，强调本课程的重要性，介绍本课程的大体情况，讲解20分钟。

2信息的概念，信息是认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。

讲解10分钟

3信息的性质，

（1）普遍性：

信息是普遍存在的。

（2）无限性：

信息是无限的。

（3）相对性：

对同一事物不同的观察者所获得的信息量可能不同。

（4）转换性：

信息可以在时间上或空间中从一点转移到另一点。

（5）变换性：

信息是可变的，它可以由不同的载体或不同的方法来载荷。

讲解5分钟

4信息的分类，

（1）从性质分：

语法信息、语义信息、语用信息。

（2）按观察的过程分：

实在信息、先验信息、实得信息。

（3）按信息的地位分：

客观信息、主观信息。

（4）按作用分：

有用信息、无用信息、干扰信息。

讲解10分钟

5模拟通信系统，该系统传递的是模拟信号，它在任意时刻的取值是任意的，是时间的连续函数。

讲解10分钟

6数字通信系统，该系统中传输的是数字信号，它只能取有限个离散值，且出现的时间也是离散的。

讲解5分钟

7信息论的发展简史，讲解10分钟

8信息论的研究内容，研究目的是提高通信系统的可靠性和有效性。

（1）可靠性高：

使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。

（2）有效性高：

经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。

讲解10分钟

9编码技术的发展，讲解10分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

引导学生正确认识本课程，虽然理论性有些强，但还不是太难学懂。

周次

第2周，第2次课

编写时间

2009.9.1

章节名称

2.1.1信源模型2.1.2自信息

教学目的与要求：

掌握信源的数学模型、信源符号的自信息量、条件自信息量、联合自信息量、互信息及其性质

教学重点和难点：

教学重点：

自信息量、条件自信息量、联合自信息量、互信息及其性质

教学难点：

互信息及其性质

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1信源模型，获得信息量的多少与信源的不确定性的消除有关。

不确定度——惊讶度——信息量，讲解5分钟

2基本概率公式，p（bj|ai）是信道传递概率，称为前向概率，p（ai|bj）称为后向概率，也是输入符号的后验概率，p（ai）是输入符号的先验概率。

讲解10分钟

3自信息量，直观定义信息量为收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性，讲解10分钟

4联合自信息量，讲解10分钟

5条件自信息量，讲解10分钟

6互信息量，讲解10分钟

7互信息的性质，即对称性和可正可负，讲解25分钟

8条件互信息，讲解10分钟

作业及课外训练：

2.1，2.2，2.3

参考资料（含参考书、文献等）：

课后自我总结分析：

自信息量的概念还是比较容易理解的，关键是使学生明白互信息及其性质。

周次

第2周，第3次课

编写时间

2009.9.1

章节名称

2.1.3信源熵

教学目的与要求：

掌握信源熵及其主要性质、联合熵、条件熵

教学重点和难点：

教学重点：

信源熵及其主要性质、联合熵、条件熵

教学难点：

信源熵主要性质的证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1关于自信息和互信息的几道典型题，讲解30分钟

2信源熵是各离散消息自信息量的数学期望，即信源的平均信息量，信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。

信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。

信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。

讲解15分钟

3熵函数的数学特性，即非负性、对称性、扩展性、确定性、可加性、极值性、上凸性，最大离散熵定理，讲解25分钟

4条件熵，条件熵是在联合符号集XY上的条件自信息量的联合概率加权统计平均值。

条件熵H（X|Y）表示收到全部输出符号后，对信道输出符号集还存在的平均不确定性，称为信道疑义度。

条件熵H（Y|X）可以衡量信号通过信道后损失信息量的多少。

讲解10分钟

5联合熵，联合熵是在符号集XY上的每个元素对xiyj的自信息量的概率加权统计平均值，讲解10分钟

作业及课外训练：

2.4，2.5，2.7

参考资料（含参考书、文献等）：

课后自我总结分析：

理解熵的概念和物理意义十分重要。

周次

第3周，第4次课

编写时间

2009.9.8

章节名称

2.1.5平均互信息2.1.6各种熵之间的关系

教学目的与要求：

掌握平均互信息的定义和性质，各种熵之间的关系

教学重点和难点：

教学重点：

平均互信息的定义和性质，各种熵之间的关系

教学难点：

平均互信息的性质证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1一道计算各种熵的练习题，讲解20分钟

2平均条件互信息的定义，在联合集XY上，由yj提供的关于集X的平均条件互信息量等于由yj提供的互信息量在整个X中的后验概率加权的平均值，讲解10分钟

3平均互信息的定义和物理含义，平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。

平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。

平均互信息量等于通信前、后，整个系统不确定度减少的量。

，讲解15分钟

4各种熵之间的关系，讲解15分钟

5平均互信息的数学性质，即非负性、对称性、极值性等，讲解30分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第3周，第5次课

编写时间

2009.9.8

章节名称

2.1.4加权熵的概念及基本性质

教学目的与要求：

理解平均互信息的凸函数性、数据处理定理，了解加权熵的概念及基本性质

教学重点和难点：

教学重点：

平均互信息的凸函数性的证明

教学难点：

平均互信息的凸函数性的证明

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p（x）和信道传递概率p（x|y）的凸函数。

讲解55分钟

2数据处理定理，讲解20分钟

3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。

信源平均每发出一个消息，总能提供一定的信息量，最差是零。

信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。

在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。

香农最大熵可看成是加权熵在权重系数都为1时的特例。

讲解15分钟

作业及课外训练：

2.11

参考资料（含参考书、文献等）：

课后自我总结分析：

推导平均互信息的凸函数性时尽量让更多的学生能够理解。

周次

第3周，第6次课

编写时间

2009.9.18

章节名称

2.2.1-3离散平稳信源

教学目的与要求：

掌握序列信源的熵，离散平稳信源条件熵和极限熵

教学重点和难点：

教学重点：

序列信源的熵，离散平稳信源条件熵和极限熵

教学难点：

离散平稳信源条件熵和极限熵的性质

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1序列信源的熵，输出的消息序列中各符号之间无相互依赖关系的信源。

亦称为单符号离散平稳无记忆信源的扩展信源。

由N个二进制数字为一组构成的新信源共有2N个符号，每个符号长度为N，称为二进制信源的N次扩展信源。

根据信息熵的定义，离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即H（XN）=NH（X），讲解20分钟

2离散平稳信源的数学模型，各维联合概率均与时间起点无关的完全平稳信源。

讲解25分钟

3离散平稳信源的信源熵和极限熵，讲解20分钟

4离散平稳信源条件熵和极限熵的性质，条件熵随N的增加是非递增的（即N的单调非增函数）；HN（X）是随N的增加是非递增的（即N的单调非增函数）；讲解25分钟

作业及课外训练：

2.13，2.15

参考资料（含参考书、文献等）：

课后自我总结分析：

理解离散平稳信源条件熵和极限熵的性质至关重要。

周次

第4周，第7次课

编写时间

2009.9.18

章节名称

2.2.4马尔可夫信源

教学目的与要求：

掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。

教学重点和难点：

教学重点：

马尔可夫信源的特点

教学难点：

马尔可夫信源极限熵的求解

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1有限状态马尔可夫链，讲解20分钟

2状态转移图和状态转移矩阵，讲解10分钟

3马尔可夫信源的定义，以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。

m阶马尔可夫与一般记忆长度为m的有记忆信源的区别：

马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。

长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系，讲解15分钟

4马尔可夫链的稳态分布及性质，讲解25分钟

5马尔可夫信源的极限熵，讲解20分钟

作业及课外训练：

2.16

参考资料（含参考书、文献等）：

课后自我总结分析：

这次课的内容要求学生必须掌握。

周次

第4周，第8次课

编写时间

2009.9.25

章节名称

2.2.5冗余度及信息变差

教学目的与要求：

理解冗余度、信息变差的含义

教学重点和难点：

教学重点：

冗余度的含义

教学难点：

各种熵的求解

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1冗余度，由于信源符号间的依赖关系使信源的熵减小，就是信源的相关性。

如果信源输出符号间的相关性越长，则信源熵减小，趋于极限熵。

若相关程度减小，信源实际熵增大。

只有当信源符号彼此间无依赖、等概率分布时，信源的熵最大为H0。

一个信源输出的符号前后有相关性时，信源输出的熵将减少，输出的总信息量也下降，这就是一种形式的剩余或多余。

输出同样的信息量有剩余的信源输出的符号数要比无剩余的信源多。

讲解10分钟

2相对率，讲解10分钟

3信息变差，信源最大可能熵与实际熵的差值定义为内熵。

相对率、剩余度、内熵均可用来表示信源的剩余情况。

信源的剩余度表示信源的可压缩程度。

从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。

从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。

讲解10分钟

4讲解练习题，讲解60分钟

作业及课外训练：

2.17

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第6周，第9次课

编写时间

2009.10.2

章节名称

2.3连续信源—2.4离散无失真信源编码定理

教学目的与要求：

理解连续信源的信源熵的含义，了解最大连续熵定理和离散无失真信源编码定理

教学重点和难点：

教学重点：

最大连续熵定理

教学难点：

三种连续信源的信源熵公式推导

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1连续信源的信源熵定义，讲解10分钟

2均匀分布的连续信源的信源熵，讲解15分钟

3高斯分布的连续信源的信源熵，讲解10分钟

4指数分布的连续信源的信源熵，讲解10分钟

5连续熵的性质，讲解10分钟

6最大连续熵定理，若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。

平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。

连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。

连续信源不存在绝对的最大熵。

连续最大熵与信源的限制条件有关。

在不同的限制条件下，有不同的最大连续熵。

讲解20分钟

7熵功率，讲解5分钟

8定长编码定理，讲解5分钟

9变长编码定理，讲解5分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第7周，第10次课

编写时间

2009.10.2

章节名称

3.1-3.2单符号离散信道的信道容量

教学目的与要求：

理解信道容量的含义，掌握几种特殊信道的信道容量计算公式

教学重点和难点：

教学重点：

信道容量的含义

教学难点：

强对称离散信道的信道容量推导

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1单符号离散信道的数学模型，信道是所传信息的载体（消息）的具体形式（信号）所要通过的通道或媒介。

信息是抽象的但信道是具体的。

讲解10分钟

2信道的分类与描述，信道容量的定义，讲解15分钟

3具有一一对应关系的无噪信道，讲解10分钟

4具有扩展性能的无噪信道，讲解10分钟

5具有归并性能的无噪信道，讲解10分钟

6强对称离散信道的信道容量，讲解15分钟

7对称离散信道的信道容量，如果一个信道矩阵具有可排列性，则它所表示的信道称为对称信道，讲解20分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第7周，第11次课

编写时间

2009.10.9

章节名称

3.2.2-3.6信道容量

教学目的与要求：

理解连续信道的信道容量，了解信道编码定理

教学重点和难点：

教学重点：

连续信道

教学难点：

离散信道容量的一般计算方法

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1准对称离散信道的信道容量，若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。

讲解25分钟

2离散信道容量的一般计算方法，讲解10分钟

3多符号离散信道的信道容量，多符号信源通过离散信道传输形成多符号离散信道。

离散无记忆信道的数学模型基本同于单符号离散信道的数学模型，用概率空间[X,p（bj|ai）,Y]来描述，但它的输入输出不是单个随机变量X和Y，而是随机序列，讲解10分钟

4连续信道，讲解10分钟

5信道编码定理，讲解10分钟

6讲解练习题，讲解25分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

这部分内容不做重点要求。

周次

第8周，第12次课

编写时间

2009.10.18

章节名称

4.1信息率失真函数基本概念

教学目的与要求：

理解率失真函数的含义，掌握率失真函数定义域的计算方法

教学重点和难点：

教学重点：

求解率失真函数的定义域

教学难点：

率失真函数的含义

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1失真函数，讲解10分钟

2平均失真度，由于ai和bj都是随机变量，所以失真函数d（ai，bj）也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，讲解10分钟

3率失真函数的定义，由于互信息取决于信源分布和信道转移概率分布，当p（xi）一定时，互信息I是关于p（yj/xi）的下凸函数，存在极小值。

因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p（xi）经过此信道传输后，互信息I（X；Y）达到最小。

该最小的互信息就称为信息率失真函数R（D），讲解25分钟

4率失真函数的定义域，讲解20分钟

5率失真函数的性质，即下凸性，连续和单调递减性，讲解25分钟

作业及课外训练：

4.1，4.2

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第8周，第13次课

编写时间

2009.10.18

章节名称

4.2-4.4

教学目的与要求：

理解保真度准则下的信源编码定理

教学重点和难点：

教学重点：

保真度准则下的信源编码定理

教学难点：

信道容量和率失真函数的比较

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1二元离散信源的率失真函数的参量表达式，讲解20分钟

2信息价值率，讲解25分钟

3信道容量和率失真函数的比较，讲解25分钟

4保真度准则下的信源编码定理，讲解20分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第9周，第14次课

编写时间

2009.10.26

章节名称

5.1.1-5.1.2

教学目的与要求：

掌握即时码的判断方法，平均码长和编码效率的求解方法，理解香农第一定理

教学重点和难点：

教学重点：

即时码的判断，平均码长和编码效率的求解

教学难点：

香农第一定理的理解

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1码的分类，信源编码是以提高通信的有效性为目的编码。

信源编码的基本途径有两个：

使序列中的各个符号尽可能地互相独立，即解除相关性；使编码中各个符号出现的概率尽可能地相等，即概率均匀化。

如果码中所有码字含有的码符号个数相同，则称为固定长度码或等长码，反之称为变长码。

若分组码中的所有码字互不相同，则称此分组码为非奇异码，否则称为奇异码。

任意有限长的码元序列，只能被惟一的分割成一个个的码字，便称为惟一可译码。

无需考虑后续的码符号即可从码符号序列中译出码字，这样的惟一可译码称为即时码（瞬时码、非延长码或异前置码）。

讲解35分钟

2克拉夫特不等式，讲解10分钟

3等长编码定理，讲解5分钟

4变长编码定理，讲解5分钟

5码树图，讲解10分钟

6香农编码，讲解10分钟

7平均码长，讲解10分钟

8编码效率，讲解5分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第9周，第15次课

编写时间

2009.10.26

章节名称

5.1.3-5.1.4

教学目的与要求：

掌握费诺编码和哈夫曼编码的编码方法

教学重点和难点：

教学重点：

费诺编码和哈夫曼编码

教学难点：

信源和信道匹配问题

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1费诺编码，第一步：

将信源符号按其概率的递减次序排列；第二步：

将它们分成概率之和近似相等的两组，并给予一定的编码规则，如下支路为1，上支路为0；第三步：

将每一大组的符号再分成概率之和近似相等的两组，并各赋一个码元，如下支路为1，上支路为0；第四步：

重复步骤3，直至每组只剩下一个信源符号为止，所对应的码符号序列即为所编码字。

费诺码比香农码的平均码长小，消息传输率大，编码效率高。

讲解30分钟

2哈夫曼编码，第一步：

将信源符号按其概率的递减次序排列；第二步：

从最小概率的两个消息开始编码，并给予一定的编码规则，如下支路为1，上支路为0；第三步：

将已编码的两个消息对应概率合并，并重新按概率大小排队，重复步骤2；第四步：

重复步骤3，直至合并概率达1.0为止，划出由每个信源符号概率到1.0的路径，记下沿路径的1和0；第五步：

编码按后编先出的方式进行。

讲解40分钟

3信源和信道匹配问题，讲解20分钟

作业及课外训练：

参考资料（含参考书、文献等）：

课后自我总结分析：

周次

第10周，第16次课

编写时间

2009.11.2

章节名称

5.1.5-5.1.6

教学目的与要求：

了解游程编码和冗余位编码的基本思路

教学重点和难点：

教学重点：

游程编码的基本思路

教学难点：

冗余位编码

教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：

1游程编码，游程：

指数字序列中连续出现相同符号的一段。

在二元信源中，连续的一段‘0’称为一个‘0’游程，‘0’的个数称为此游程的长度，同样，也有‘1’游程。

游程序列：

用交替出现的‘0’游程、‘1’游程的长度，来表示任意二元序列而产生的一个新序列。

它和二元序列是一一对应的变换。

游程序列是多元序列，各长度可按赫夫曼编码或其它方法处理以达到压缩码率的目的。

多元序列也存在相应的游程序列，多元序列变换成游程序列再进行压缩编码没有多大意义，游游程编码只适用于二元序列，对于多元信源，一般不能直接利用游程编码，讲解15分钟

2冗余位编码，分帧传送冗余位序列的编码方法。

N个符号为一帧，编成一个L-D码字，每个码字含有两个数：

Q和T。

Q：

本帧内信息位的数目。

T：

信息位的位置信息。

冗余位和信息位数目相差较大的情况。

讲解30分钟

3均匀量化，均匀量化是指在整个量化范围内的量化间隔都是相等的，均匀量化也称为线性量化。

在编码电路或编码程序中，一般编码过程是：

（1）对信号值进行极性判断，确定极性码；

（2）通过信号绝对值与量化码各位权值组合的逐次比