《信息论与编码基础》课程标准.docx

1、信息论与编码基础课程标准信息论与编码基础课程标准（执笔人：雷 菁 审阅学院：电子科学与工程学院）课程编号：0810313英文名称： Introduction to Information Theory and Coding预修课程：概率论与数理统计、通信原理、信号处理与系统，随机信号分析与处理学时安排：50学时，其中讲授44学时，实践4学时，考核2学时。学 分：2.5一、课程概述（一）课程性质地位本课程是通信、电子、信息专业的专业基础课程。它集中了数字通信的基本理论：信息论基础、信源压缩编码理论与信道编码理论。其理论对信息传输及处理系统具有重要的指导意义。通过对本课程的学习，学员应能对信息的概

2、念、信息传输的本质、获得通信有效性与可靠性的原理与方法有一个初步的认识，并基本掌握信息的测度，信道容量的计算、信源编码原理和常用方法、纠错编码原理与基本方法，为今后的工程应用奠定初步的理论基础。（二）课程基本理念本课程为通信与信息专业学生开设，主要研究信息高速可靠传输的可实现性。课程教学应贯彻“立足工程应用，强调理论对实际的指导意义”的原则，既考虑基本原理和概念的理解，更重视信息理论对工程应用的指导。以近代Shannon信息论为出发点，将通信与信息工程的主要专业基础课与相关专业课作理论上的概括，以信息与通信系统的优化为主线，以数学推导为工具，从数学模型出发分析工程实践，强调对通信一般规律的描述

3、，突出信息论的应用指导。（三）课程设计思路本课程由三部分构成，信息论基础、信源压缩编码理论与信道编码理论。整个课程以Shannon信息理论为指导，讲述为提高通信有效性和可靠性，如何利用编码的方法实现系统的最优化。因此信息理论的概念与原理是贯穿本课程的主线，以此向信源编码和信道编码两个分支辐射。同时考虑到信源编码与信道编码是实际系统中广泛应用的技术，因此课程第一部分以概念性介绍为主，突出理论对实际的启迪性指导；后两部分以介绍实际中常用的编码技术为主，突出实用性，注意启发学生的设计思维。同时结合实验作业加强学生对知识的理解及提高实际编程能力。二、课程目标（一）知识与技能使学生掌握Shannon信息

4、论的基本概念和原理，掌握数据压缩编码和纠错编码的基本原理及典型方法，并使学生能对信息的概念、信息传输的本质以及通信的有效性与可靠性有一个初步的认识。进而能运用信息理论解释通信工程的规律，掌握基本的编码技术及性能分析方法。同时结合实验作业加强学生对知识的理解，并提高实际设计与编程能力。（二）过程与方法1、以课堂讲授为主，并结合实验及课外作业，使学生在对信息论的初步认识基础上，熟练掌握基本的压缩编码与纠错编码方法。2、课堂讲授时，简化数学推导，引入信息理论实用历程和通信系统中相应编码实例，强调基本概念在工程上的理解，注意用信息论的观点统一通信过程的内容，解释通信实践中的技术问题和现象。 3、结合实

5、践软、硬件平台，增强学生对编码模型及电路的直观认识，可进一步提高学生兴趣，使教学更加生动。（三）情感态度与价值观信息论相当于通信工程专业领域的哲学，学好该课程将能够较好地从认识层次指导通信实践。通过课程学习，使学生认识到，对科学的探索是无止尽的。而社会的需求则是推进科技发展的原动力。鼓励学生在学习和今后的工作实践中，善于发现问题和解决问题，能够积极主动地为改进军队的技术现状出点子、想办法。三、内容标准第一章 绪 论第一节 信息的定义主要内容：1信息的概念及其内涵2香农信息定义教学重难点：信息概念和定义的理解教学要求：掌握信息概念和香农的信息定义 第二节 信息测度的基本概念主要内容：1. 自信息

6、2联合自信息和条件自信息教学重难点：自信息定义及其物理意义教学要求：掌握自信息、联合自信息、条件自信息的基本概念及其物理意义第三节 信息论发展概况主要内容：1信息论的发展2. 信息论的研究内容3. 信息论的应用 教学重难点：信息论的研究内容及其发展应用教学要求：熟悉信息论的研究内容，了解信息论的发展及应用，作为知识拓展，适当介绍信息理论发展的新动态和新思想，如物理层安全、协同通信以及量子通信等相关概念及思想第二章 离散信源第一节 离散信源的信息熵主要内容：1信源的数学模型及分类2. 信息熵3信源的信息熵（基本熵、联合熵、条件熵）教学重难点：1. 信息熵概念及其物理意义的理解2. 联合熵、条件熵

7、概念及其物理意义的理解教学要求： 掌握熵基本概念，理解其物理意义第二节 熵的基本性质主要内容：1熵的非负性、确定性、对称性、可加性和极值等特性2熵的链式法则教学重难点：1熵的极值性及其应用价值2熵的链式法则及其物理意义教学要求： 掌握熵的性质的内涵，并熟练应用第三节 信源的相关性与剩余度主要内容： 信源的相关性和剩余度教学重点难点：信源剩余度的基本概念教学要求： 掌握剩余度的基本概念，熟悉信源压缩的基本途径第三章 离散信道第一节 信道模型主要内容：1信道模型三要素2信道模型表述方式教学重难点： 信道模型的三个要素，信道模型的表述教学要求： 掌握信道模型的表述方式第二节 平均互信息主要内容：1信

8、道疑义度2平均互信息3平均互信息性质教学重难点： 平均互信息的概念、物理意义及其性质教学要求： 掌握信道疑义度、平均互信息的基本概念，理解其物理意义，熟悉平均互信息的性质第二节 信道容量主要内容：1信道容量的定义2对称离散信道的信道容量3信道容量的一般计算方法 教学重难点：信道容量定义、信道容量的一般计算方法教学要求：掌握信道容量的基本定义及物理意义，熟悉信道容量的一般计算方法以专题讲座、技术研讨或报告等形式，开展关于新型通信系统下信道及容量研究与分析，加深概念的理解及原理的应用第四章 波形信源与波形信道第一节 连续性信源的熵主要内容：1连续信源的熵2波形信源的熵3连续信源熵的性质教学重难点：

9、 连续信源的熵及其性质教学要求：掌握连续信源熵的基本概念，熟悉连续信源熵的基本性质第二节 Shannon公式主要内容：1波形信道中的平均互信息2波形信道中的信道容量3Shannon公式及其意义教学重难点： Shannon公式及其指导意义教学要求： 掌握Shannon公式的推导过程，熟悉Shannon公式对通信工程领域的指导意义第五章 信源压缩编码基本理论第一节 信源编码的基本概念主要内容：1信源编码的定义2信源编码器分类教学重难点： 信源编码的定义教学要求： 掌握信源编码的定义，了解信源编码器的分类第二节 无失真可变长信源编码主要内容：1Shannon信息论对压缩编码的指导意义2Shannon

10、第一定理教学重难点： Shannon第一定理教学要求： 掌握Shannon第一定理基本描述及其指导意义第六章 压缩编码方法第一节 单符号变长编码主要内容：1Morse码2Shannon码3Fano码4Huffman码5. 简要讨论6. 规范码教学重难点： 单符号变长编码的一般特点，Huffman编码教学要求： 掌握Huffman编码的基本方法，熟悉单符号变长编码的一般特点第二节 算术编码主要内容：1编码2解码3. 讨论教学重难点： 算术编码的编码、解码过程教学要求： 掌握算术编码的编解码规则第三节 PPM编码主要内容：1原理2. 讨论教学重难点： PPM编码基本原理教学要求：掌握PPM编码的基

11、本原理 第四节 BWT编码 主要内容：1编码和解码2讨论教学重难点： BWT编码的编、解码教学要求：掌握BWT编码的编、解码过程第五节 LZ编码主要内容：1 引入2 编解码教学重难点： LZ编码的编、解码教学要求：掌握LZ编码的编、解码过程第六节 预测与变换主要内容：1预测2变换教学重难点： 预测与变换的基本原理教学要求：掌握预测与变换的基本原理第七节 小结主要内容：1. 从信息论角度看压缩编码2. 无损压缩编码方法的实际性能比对3. 有损压缩编码方法的实际性能比对教学重难点： 从信息论角度分析压缩编码教学要求：掌握如何从信息论角度分析压缩编码第七章 有噪信道编码定理第一节 噪声信道中的编码主

12、要内容：1 信道编码的任务2 信道编码概念教学重难点： 信道编码概念教学要求：掌握信道编码基本概念第二节 信道编码分类主要内容：检错码、纠错码、纠删码，分组码与卷积码教学重难点： 分组码与卷积码的各自特点教学要求：掌握信道编码的分类方法第三节 信道译码及译码规则主要内容：1. 信道传输模式2. 译码规则教学重难点： 信道编码的译码规则教学要求：掌握信道编码的译码规则第四节 有噪信道编码定理主要内容： 香农第二定理教学重难点： 香农第二定理的理解教学要求：掌握香农第二定理的基本描述及其指导意义第八章 线性分组码的基本原理第一节 线性分组码基本概念主要内容1 线性分组码定义2 生成矩阵3 一致校验

13、矩阵教学重难点： 线性分组码定义、生成矩阵及一致校验矩阵教学要求：掌握线性分组码的基本定义，生成矩阵、一致校验矩阵的构建方法第二节 线性分组码的编译码方法主要内容:1. 线性分组码的编码2. 标准阵列译码3. 伴随式译码教学重难点： 线性分组码的编译码方法教学要求：掌握线性分组码标准阵列译码的基本思想，伴随式译码的基本步骤第三节 线性分组码的纠错性能主要内容:1. 码的纠检错能力与最小距离2. 一致检验矩阵与伴随式3. 线性分组码的纠错性能4. 基本码限教学重难点： 线性分组码的纠错性能教学要求：掌握线性分组码的纠错性能分析方法第四节 Hamming码主要内容：1Hamming码定义2Hamm

14、ing码编码3Hamming码译码4扩展Hamming码教学重难点： Hamming码定义，编译码方法教学要求：掌握Hamming码及其扩展码的基本定义第九章 循环码基本原理第一节 循环码的基本概念主要内容1. 循环码的定义2. 循环码的多项式描述3. 生成多项式教学重难点： 循环码的定义，生成多项式教学要求：掌握循环码的定义及其多项式描述方法第二节 循环码的编码主要内容1. 多项式除法运算电路2. 循环码编码器教学重难点： 循环码编码器教学要求：掌握循环码编码器的构建方法第三节 循环码的一般译码方法 主要内容1. 伴随式计算及错误检测2. 伴随式计算电路性质及一般译码器教学重难点： 伴随式计

15、算电路性质及一般译码器教学要求：掌握循环码译码器的构建方法第十章 卷积码基础 第一节 卷积码的定义及其应用主要内容1. 卷积码的基本概念2. 卷积码的描述3. 卷积码的应用教学重难点： 卷积码的基本概念及其描述教学要求：掌握卷积码的基本概念及其描述方法 第二节 卷积码的译码 主要内容1. 概述2. 卷积码最大似然译码的一般原理3. Viterbi译码算法教学重难点： 卷积码的Viterbi译码算法教学要求：掌握卷积码的Viterbi译码算法实验教学部分教学目的：1巩固压缩编码、纠错编码基本方法的原理 2提高学员编码实现及问题分析能力 教学内容：1DCT变换2Huffman编译码3. 汉明码编译

16、码 教学要求：1采用c或matlab，以及EDA硬件工具实现2对实验进行过程中问题进行分析四、实施建议（一）教学实施1课程学时分配表教学内容学时安排讲授学时实践学时考核学时小计讲解研讨讲座其他实验上机室外野外其他第一章21第二章42第三章53第四章2 第五章1 第六章812第七章2第八章42第九章3第十章24小计 34442502教学方法和手段多媒体教学：以多媒体教学为主、板书为辅，多媒体教学学时约占课程学时的90。研讨式教学：以学生为主体，开展研讨，分析讨论相关问题专题讲座：基于教师学术研究，扩展学生知识面案例教学：在部分重要概念中引入案例，加强学生理解网络教学：学校网上教学平台电子科学与工

17、程学院本科课程信息论与纠错编码 （二）考核评价考核方式：考试组织方式：笔试，闭卷成绩评定：百分制记分标准：课程考试占70%，实验占20%，平时表现占10%。 （三）教材选用1教材信息论与编码基础，唐朝京、雷菁编著，电子工业出版社，2010.01THE THEORY OF INFORMATION AND CODINGSecond Edition, Robert J.McEliece, 电子工业出版社，2006年8月第3次印刷2参考书（1）信息论与编码理论，王育民，李晖 梁传甲编著，高等教育出版社，2005.12（2）信息论基础理论与应用，傅祖芸，电子工业出版社，2011.11（3）信息论与编码，

18、姜丹，中国科学技术大学出版社，2011.01（4）信息论与编码，沈连丰 叶芝慧 编著，杨千里 主审，科学出版社，2004.09（5）信息论与编码，仇佩亮，高等教育出版社（6）信息论基础，王海燕，东南大学出版社，2003年12月（7）信息论基础及应用，曲炜、朱诗兵编著，清华大学出版社，2005.01（8）工程信息论，田宝玉编著，北京邮电大学出版社，2004.08（9）信息论基础与应用，沈世镒、吴忠华编著，高等教育出版社，2004.07 （10）信息论、推理与学习算法，英DAVID J.C. MACKAY著，肖明波 席斌 许芳 王建新 译，高等教育出版社，2006.07（11）信息论基础，美Tho

19、mas M.Cover. Joy A.Thomas著，阮吉寿 张华 译，沈世镒 审校，机械工业出版社，2005.05信息论与编码基础实验教学大纲（执笔人：雷菁 审阅学院：电子科学与工程学院）课程编号：0810313课程名称：信息论与编码基础总 学 时：50学时实验学时：4学时实验地点：通信工程实验室一、目的与任务本课程实验主要针对信源、信道两大编码技术中的具体方法进行设计实现。通过实验，可巩固基础理论知识，增强设计实现能力，促进软硬件的灵活应用。同时，实验也提升了学生参与课堂的积极性，充分发挥其主观能动性。二、主要内容与基本要求（一）DCT变换1实验目的与任务通过本次实验的练习，使学员进一步巩

20、固了变换编码的基本原理，掌握了DCT变换的要点，培养了学员理论结合实践的能力。2实验原理1) DCT变换2) DCT反变换3实验内容及要求针对给定的静止图像进行DCT变换；采用阈值法、区域法选留系数：随后进行DCT反变换；分析比较图像质量与保留系数的关系。 4实验结果及要求给出不同选留系数方法下，通过DCT变换、反变换之后的图像，比较分析图像恢复质量。 （二）Huffman编译码1实验目的与任务通过本次实验的练习，使学员进一步巩固了统计编码的基本原理，掌握了Huffman编码规则，培养了学员理论结合实践的能力。2实验原理 1) Huffman编码过程2）Huffman译码原理3实验内容及要求对

21、给定的信源进行概率统计，再进行Huffman编码，给出码字，分析编码性能。将编码序列送入BSC(p)信道传输；将接收端的序列进行解码，分析其误码扩散特性。 4实验结果及要求Huffman编码性能分析比较；在BSC(p)下，分析误码扩散特性。 （三）汉明码编译码1实验目的与任务通过本次实验的练习，使学员进一步巩固了信道编码的基本原理，掌握了Hamming码编译码方法，提高了软硬件操作能力，培养了学员理论结合实践的能力。2实验原理 1) 汉明码编码过程2）汉明码译码原理3实验内容及要求对给定的信息序列进行Hamming编码，给出码字；采用不同的BSC信道进行传输，改变错误转移概率p；在接收端进行译码，分析其误码性能。 4实验结果及要求根据不同的转移概率p，绘出误码性能图。三、实施建议（一）实施安排序号实验项目名称学时分组情况实验性质实验要求备注1DCT变换21人1组 设计性 必做 1，2项目二选一2Huffman编译码21人1组 设计性 3汉明码编译码21人1组 设计性 必做 （二）考核与评价考核方式：考查组织方式：现场测试成绩评定：百分制/五级制（优秀、良好、中等、及格、不及格）/两级制（合格、不合格）记分标准：实验共占20%（三）实验教材或指导书通信系统课程设计及实验教程，雷菁、黄英、李保国等编著，科学出版社，2012。 （四）其他有关说明