《信息论》申农.docx
《《信息论》申农.docx》由会员分享，可在线阅读，更多相关《《信息论》申农.docx（33页珍藏版）》请在冰点文库上搜索。
《信息论》申农
第68篇信息论
（1）—《信息论》的创始人申农
作者：
中国医药信息学会北京分会后现代理论医学专业委员会主任委员杨鸿智
一概括介绍
克劳德?
艾尔伍?
申农是美国数学家，美国全国科学院院士。
信息论的创始人。
1916年4月30日生于美国密歇根州盖洛德城。
1936年在密歇根大学毕业获理学士学位，1940年在麻省理工学院获理学硕士和哲学博士学位。
1941～1956年间任贝尔电话实验研究所数学研究员。
1956年到麻省理工学院任教，先后担任客座教授、教授，1958年后为终身教授。
1957～1958年间还担任过斯坦福行为科学高级研究中心的研究员。
1956年当选为美国全国科学院院士。
他是美国无线电工程师学会和美国数学会的高级会员。
曾获电气和电子工程师学会（IEEE）的诺布尔奖，美国无线电工程师学会的利布曼奖，富兰克林学会的巴兰坦奖章（1955），美国全国研究协会奖（1956）和哈维奖。
香农在1948年发表《通信的数学理论》，1949年发表《噪声中的通信》。
这两篇著名论文奠定了信息论的基础。
1949年发表《保密系统的通信理论》，使他成为密码学的先驱。
他在1956年与J.麦卡锡合编的著名论文集《自动机研究》是自动机理论方面的重要文献。
他的博士论文《关于类的古典布尔代数方法在电工开关系统研究中的应用》，是数字控制系统和计算机科学的先驱工作。
克劳德?
艾尔伍?
申农是创造了信息时代的巨人之一。
约翰?
冯诺伊曼和阿伦?
图灵等人发明了计算机，让信息处理成为可能，而克劳德?
申农则提出了现代的信息概念。
如果高科技行业仿照拉什摩尔山雕筑四大伟人的头像的话，克劳德?
申农定会出现在其中。
完整的信息论科学肇始于申农1948年发表的一份论文，时年32岁的申农是贝尔实验室的一名研究员。
文中，他说明了怎样定义并准确量化一度还很模糊的信息概念，指出了各种信息媒介之间必然的联系：
文字、电话信号、无线电波、影像等等通讯交流方式，都能够编码为一种二进制的通用语言——比特，这也是“比特”（ｂｉｔ）一词第一次出现在文字上。
申农认为，信息一旦数字化，将实现无差错的传输。
申农在概念上实现的巨大飞跃直接引致了ＣＤ技术的发展和成熟，他所描绘出的是一幅“数字时代的蓝图”。
二发现的乐趣
对申农来说，他所做的一切都应充满乐趣，他的研究和发现不过是一种获取乐趣的方式。
“克劳德喜欢大笑，喜欢构想那些反传统的事物。
”贝尔实验室退休的数学家大卫?
斯莱比安说道。
50年代，斯莱比安曾是申农的同事。
数学对于申农来说，就像魔术师手里的戏法道具。
斯莱比安说：
“他常常会转上一圈然后突然从一个你想不到的角度解出答案。
”要说起戏法，申农的确有个保留节目——夜里骑着独轮车穿过贝尔实验室长长的走廊，手里还一边玩着杂耍。
在家里的时候，申农把空余时间都花在了制作各式各样奇形怪状的装置上，比如：
用罗马数字来进行计算的“Ｔｈｒｏｂａｃ”计算器，能从迷宫里找到出路的机器鼠“Ｔｈｅｓｅｕｓ”。
还有“极端机器”，这是一个在侧面上安置了一个巨大开关的盒子。
拧开这个开关后，盒子的盖子会慢慢打开，一只机械手从里面伸出来，伸到开关那里去关上开关，然后再慢慢缩回去，最后这个盒子又恢复到了初始的关闭状态。
幼时的申农非常喜欢组装飞机模型、收音机电路、无线控制的船模，甚至电报装置。
1932年进入密歇根大学时，他就毫不犹豫地选择了电机工程专业。
1936年毕业后，申农在学校的布告栏上瞥见了麻省理工学院（ＭＩＴ）提供半工半读机会的广告，于是便直接进入了ＭＩＴ，一面攻读电机工程学硕士学位，一面给ＭＩＴ副校长、工程系系主任范尼佛?
布什做实验助理，给布什照看微分分析器。
这个由大大小小的齿轮滑轮组成、几乎占据了整个房间的机械系统，被视为那个年代最强大的计算装置。
三划时代的研究
在研究中，申农发现，这台分析器复杂的电路控制是通过上百个相联系的中继开关实现的。
申农逐渐意识到，电路开关能够实现逻辑运算：
当电路上有一个开关时，这个开关的闭合就相当于逻辑上的“是”“非”判断；当电路上串连着两个开关时，就形成了逻辑上的“与”关系，也就是说，当这两个开关同时闭合时，“电流可以从该电路通过”这一陈述为真；当电路上并连着两个开关时，就意味着当任何一个开关闭合时，电流可以通过电路，这就是逻辑上的“或”运算。
显然，此前人们从来没有意识到这一点，于是申农决定将其作为他硕士论文的题目。
几乎整个1937年，申农都在研究这个问题。
后来申农在一次采访中说，他“这一生中从没获得过如此多的乐趣”。
申农发表了论文《中继和交换电路的符号分析》。
他在论文中证明了逻辑代数中的真值和假值可以用数字1和0来表示，这就意味着，中继电路可以进行二进制运算，于是申农写道：
“通过中继电路实现更为复杂的数学运算已成为可能。
”在这篇著名的论文中，申农还画了一个能够进行二进制加法运算的电路图。
更为重要的是，申农还指出这样的电路甚至能根据预设条件作出判断，比如“当数字Ｘ的值等于数字Ｙ的值时，进行Ａ操作”。
申农又画了一幅图，表明了当且仅当几个按钮依照不同的顺序按下时，一个中继电路能够将一把锁打开。
这一发现的深远意义在于，判断能力已不再是人类特有的财产。
它激发了人工智能研究领域的灵感，申农也成为了这一领域中的研究者们共同的膜拜对象。
同时，能够进行判断操作的电路也成为了二战后数字计算机诞生的契机。
这就是申农于1938年发表的这篇论文被奉为二十世纪最伟大的论文的原因。
才二十多岁的克劳德?
申农，为十年后现代计算机的出现做了杰出的预见。
这十年间，随着技术的发展，最初的电机开关演变成了只有显微镜下才看得见的蚀刻在硅片上的晶体管。
在范尼佛?
布什的鼓励下，完成了硕士学业的申农决定继续攻读数学博士学位。
仅仅在一年半之后，申农就顺利拿到了博士学位。
1940年春天，毕了业的申农加入了贝尔实验室。
不久，美国政府为了备战，申农被调到军队里去进行防空火力系统和密码的编写与破译的研究工作。
尽管如此，申农依然有时间继续自己的工作。
在贝尔实验室的工程师拉尔夫?
哈特利的协助下，申农开始考虑如何使用同一种方式来传输不同讯息，以及通讯信道在受瓶颈限制和噪音干扰客观存在的情况下，如何才能保证讯息传输的准确性。
1943年，申农找到了问题的答案。
然而，奇怪的是，他似乎并不急于将新发现与人共享。
他当时身边最亲密的合作伙伴也丝毫不知道他正在研究的正是其后令世人震惊的信息论。
“当时的我更多地受到了好奇心的驱使。
”1987年，申农接受采访时说道，为了发表而写作实在是一个“痛苦”的过程。
但最终，在1948年的《贝尔系统技术》杂志的7月号和10月号上，申农还是发表了其具有划时代意义的论文《通讯的数学理论》。
申农的理论顿如一石激起千层浪。
“就像是晴空一声惊雷。
”申农当年在贝尔实验室的好友约翰?
皮尔斯回忆道。
“ＭＩＴ里的人们都在说：
‘太绝了！
我怎么就没想到？
’”申农的理论认为，所有的通信讯息，都可以编码成数字1和0传输出去，接收后再进行解码。
也就是说，使用同一个平台，就能实现以往不同的通信方式的讯息的传输，不管是电话、电报，还是广播、电视。
然而，其理论的重要意义不仅于此。
申农指出，不管是什么通信方式，都有一个传输的极限，其数值可以用比特／秒来表示。
只要不超过这个限值，不管信道中有多少干扰，也不管讯息有多么微弱，都可以实现通信的无损传输。
申农称自己提出的是信息论的“基础定理”，这一理论甚至让申农自己也吃了一惊，因为克服噪音干扰似乎是违背常理的。
听他说差错几率可以降为零，所有的人都表示了怀疑，其中也包括日后成为了信息论主导者、ＭＩＴ的罗伯特?
法诺。
申农的定理确实成为了现代通信工程学的基础，50年来，人们都在为了实现他的预言而努力。
申农的研究也激发了所有现代的纠错编码技术和数据压缩算法。
换句话说，没有申农，就不会有音质一流的ＣＤ音碟，不会有将你与因特网相连的Ｍｏｄｅｍ，也不会有ＮＡＳＡ的飞行器从数十亿公里外的太空中传回地球的照片。
因此，今天的“数字”一词才会成为高质量、高保真的同义词。
四数字之父的退隐
不久，溢美之辞便从四面八方向申农涌来。
《财富》杂志甚至称信息论是人类最值得骄傲、最罕有的创造之一，是最深远地影响了人类对世界的看法的理论。
论文发表两年后，申农惊恐地发现信息论竟已成为流行于市井街巷的时髦词儿。
不管有关无关，人们都爱扯上“信息论”的幌子。
这让申农感到憎恶起来。
1956年，申农在《信息论学报》上发表题为《花哨彩车》的文章，他指出信息论这个词已经被滥用了，“人们过度夸大了它的重要性，超过了其实际价值。
”
申农知道反对潮流只能是无谓之争，于是开始慢慢淡出。
尽管其后有一段时间他仍在陆续地发表论文，但他推掉了所有的演讲邀请，也拒绝了媒体的采访。
他甚至连所有的信都不回，不管来信者是科学大师还是政界要人。
他只是不想变成一个大明星。
多年之后，申农不光从公众视线中消失了，在研究领域中也再见不到他的身影。
此时的申农其实还没完全归隐，1950年，他还在《科学美国人》杂志上发表文章，论述了计算机编程下棋的问题。
60年代中期，申农放弃了他在ＭＩＴ的教职，不再理会世事。
1978年，62岁的申农正式宣告退休，回到了波士顿郊外的家中。
由于预见到了日后高科技产业的蓬勃发展，申农早年投下的资金收益也颇为可观。
1985年的一天，申农驾车外出，却忘了回家的路。
后来情况开始日益恶化，1992年，电子电气工程师学会决定将申农的论文结集出版，当问到申农本人的意见时，他竟忘记了这些作品是出自他的手。
1993年，他的家人终于对外证实：
申农患上了老年痴呆症。
2001年2月24日，申农85岁生日刚过两个月时辞世仙去。
本文资料来源：
1摘自《大百科全书》210.29.69.12/wxjs/wxjskj/zx/xn.htm2K2002-8-31
2《数字时代之父克劳德?
申农》黄继新／文2002-1-2015:
09:
51
《论坛反应与交流》
《丁香园>医药生命科学动态跟踪》
pengding3：
衷心感谢您一如既往的支持！
《同济医学论坛>内科学》
老革命：
这样的伪理论真的好意思拿出来呀。
请问主任（当然是民间组织的主任）。
你的干细胞理论有什么实验依据？
？
没有实验依据，你的整篇的胡言乱语。
除了欺骗和误导之外，有什么作用？
？
？
就是看不得这些事实而非的伪理论
第69篇：
信息论
（2）—申农与《狭义信息论》
作者：
中国医药信息学会北京分会后现代理论医学专业委员会主任委员杨鸿智
《下栽自：
信息论原理2003-5-26徐州教育信息网》
申农与狭义信息论
1948年申农《通信的数学理论》与《在噪声中的通信》奠定了狭义信息论的基础。
这一理论认为通讯就是信息传输、是将消息由发信者送给收信者的过程，因而给出了一般通信系统的模型。
他还利用统计数字的方法，正确处理信息的形式和内容的辩证关系，解决了信息量问题，给出了信息量的数学公式。
现代信息论的著名创始人
香农是现代信息论的著名创始人。
现代信息论的出现，对现代通信技术和电子计算机的设计，产生了巨大的影响。
如果没有信息论，现代的电子计算机是无法研制成功的。
香农在美国密执安大学和麻省理工学院学习时，修过布尔代数课，并在布尔的指导下使用微分分析仪，这使他对继电器电路的分析产生兴趣。
他认为这些电路的设计可用符号逻辑来实现，并意识到分析继电器的有效数学工具正是布尔代数。
1938年，香农发表了著名的论文《继电器和开关电路的符号分析》，首次用布尔代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加，减，乘，除等运算的电子电路的设计方法。
这篇论文成为开关电路理论的开端。
香农在贝尔实验室工作中进一步证明，可以采用能实现布尔代数运算的继电器或电子元件来制造计算机，香农的理论还为计算机具有逻辑功能奠定了基础，从而使电子计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。
信息论的创始人香农对现代电子计算机的产生和发展有重要影响，是电子计算机理论的重要奠基人之一。
本世纪40年代，信息论创始人美国数学家申农提出信息传递的基本模型：
信源→编码→信道→译码→信宿
信息论（InformationTheory）
信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门新兴学科。
人类的社会生活是不能离开信息的，人类的社会实践活动不仅需要对周围世界的情况有所了解帮能做出正确的反应，而且还要与周围的人群沟通关系才能协调地行动，这就是说，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通讯，交流信息。
人类需要随时获取、传递、加工、利用信息，否则就不能生存。
人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号……等等传递消息而获得信息。
通讯是人与人之间交流信息的手段，语言是人类通讯的最简单要素的基础。
人类早期只是用语言和手势直接进行通讯，交流信息。
“仓颉造字”则使信息传递摆脱了直接形式，同时扩大了信息的储存形式，可算是一次信息技术的革命。
印刷术的发明，扩大了信息的传播范围和容量，也是一次重大的信息技术变革。
但真正的信息革命则是电报、电话、电视等现代通讯技术的创造与发明，它们大大加快了信息的传播速度，增大了信息传播的容量。
正是现代通讯技术的发展导致了关于现代通讯技术的理论信息论的诞生。
信息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。
1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。
申农创立信息论，是在前人研究的基础上完成的。
1922年卡松提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。
1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。
美国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论作过研究。
控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一。
在信息论的发展中，还有许多科学家对它做出了卓越的贡献。
法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。
英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作。
这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。
因此，信息论可以分成两种：
狭义信息论与广义信息论。
狭义信息论是关于通讯技术的理论，它是以数学方法研究通讯技术中关于信息的传输和变换规律的一门科学。
广义信息论，则超出了通讯技术的范围来研究信息问题，它以各种系统、各门科学中的信息为对象，广泛地研究信息的本质和特点，以及信息的取得、计量、传输、储存、处理、控制和利用的一般规律。
显然，广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。
广义信息论，人们也称它为信息科学。
关于信息的本质和特点，是信息论研究的首要内容和解决其它问题的前提。
信息是什么？
迄今为止还没有一个公认的定义。
英文信息一词（Information）的含义是情报、资料、消息、报导、知识的意思。
所以长期以来人们就把信息看作是消息的同义语，简单地把信息定义为能够带来新内容、新知识的消息。
但是后来发现信息的含义要比消息、情报的含义广泛得多，不仅消息、情报是信息，指令、代码、符号语言、文字等，一切含有内容的信号都是信息。
哈特莱第一次把消息、情报、信号、语言等等都是信息的载体，而信息则是它们荷载着的内容。
但是信息到底是什么呢？
申农的狭义信息论第一个给予信息以科学定义：
信息是人们对事物了解的不确定性的消除或减少。
这是从通讯角度上下的定义，即信源发出了某种情况的不了解的状态，即消除了不定性。
并且用概率统计数学方法，来度量为定性被消除的量的大小：
H（x）为信息熵，是信源整体的平均不定度。
而信息I（p）是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。
在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等。
所以信息熵的公式也就是信息量的分式。
式中的k是一个选择单位的常数，当对数以2为底时，单位称比特（bit）,信息熵是l0g2=1比特。
在申农寻信息量定名称时，数学家冯.诺依曼建议称为熵，理由是不定性函数在统计力学中已经用在熵下面了。
在热力学中熵是物质系统状态的一个函数，它表示微观粒子之间无规则的排列程度，即表示系统的紊乱度，维纳说：
“信息量的概念非常自然地从属于统计学的一个古典概念——熵。
正如一个系统中的信息量是它的组织化程度的度量，一个系统的熵就是它的无组织程度的度量；这一个正好是那一个的负数。
”这说明信息与熵是一个相反的量，信息是负熵，所以在信息熵的公式中有负号，它表示系统获得后无序状态的减少或消除，即消除不定性的大小。
信息一般具有如下一些特征：
1可识别；2可转换；3可传递；4可加工处理；5可多次利用（无损耗性）；6在流通中扩充；7主客体二重性。
信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。
8信息的能动性。
信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。
信息可以控制和支配物质与能量的流动。
信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。
信息论还研究语义信息、有效信息和模糊信息等方面的问题。
广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。
信息概念具有普遍意义，它已经广泛地渗透到各个领域，信息科学是具有方法论性质的一门科学。
信息方法具有普适性。
所谓信息方法就是运用信息观点，把事物看做是一个信息流动的系统，通过对信息流程的分析和处理，达到对事物复杂运动规律认识的一种科学方法。
它的特点是撇开对象的具体运动形态，把它作为一个信息流通过程加以分析。
信息方法着眼于信息，揭露了事物之间普遍存在的信息联系，对过去难于理解的现象从信息观点作出了科学的说明。
信息论为控制论、自动化技术和现代化通讯技术奠定了理论基础，为研究大脑结构、遗传密码、生命系统和神经病理象开辟了新的途径，为管理的科学化和决策的科学批提供了思想武器。
信息方法为认识当代以电子计算机和现代通讯技术为中心的新技术革命的浪潮，为认识论的研究和发展，将进一步提高人类认识与改造自然界的能力。
第70篇信息论（3）—《信息论》的概念
作者：
中国医药信息学会北京分会后现代理论医学专业委员会主任委员杨鸿智
一信息的概念
1.消息是信息的外壳，信息则是消息的内核。
比如，同是一分钟的消息，有的包含信息量很大；有的则可能很小。
2.信号只是信息的载体，信息则是信号所载荷的内容。
同一个信息即可以用这种信号载荷，也可以用那种信号载荷。
比如，用"0，1"或用"正、负"来载荷。
3.数据只是记录信息的一种形式，而且不是唯一的形式。
4.情报在汉语中只是一类专门的信息（情报在日语中就是信息）。
信息的定义：
"信息是事物运动的状态与（状态改变的）方式"。
信息是事物运动的状态与方式，具体地讲，是事物内部结构和外部联系运动的状态与方式。
在此，"事物"泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象：
"运动"泛指一切意义上的变化，包括机械运动、物理运动、化学运动、生物运动；思维运动和社会运动等；"运动方式"是指事物运动在时间上所呈现的过程和规律：
"运动状态"则是事物运动在空间上所展示的形状与态势。
人类所拥有的一切知识，都是以信息为原材料通过科学加工而形成的。
事实上，正像信息定义为事物运动的状态以及状态变化的方式，同样也可以把知识定义为"事物运动的状态以及状态变化的规律。
"由变化方式上升为变化规律的过程，就是信息被科学地加工成知识的过程。
没有信息，便不可能有知识。
二《辞海》中关于信息论概念的解说
“信息”和“信息论”这两个概念，已经是我们日常工作和生活中最常用的概念了。
但是，我们大多数人对于这两个名词的概念并没有正确和深入的认识。
正好在网上发现有一分资料集中了各个辞书中对于“信息”和“信息论”这两个概念的解释。
我转贴在这里，供大家学习。
我想，在进一步了解信息论的理论内容以前，首先以辞书的方法了解一下这两个名词的概念也是有好处的。
资料来源：
（一）【信息论】《辞海》上海辞书出版社1979年版
利用数学方法，研究信息的计量、传送、变换和储存的一门学科。
信息是指对消息接受者来说预先不知道的报道。
如广播天气预报时，收听者预先不知道明天是阴、雨或晴，则这报道对收听者来说具有信息。
假如所广播的是已知的昨天天气，那就没有信息了。
天气预报愈详细，则信息的分量愈多。
假如广播时有外界干扰，则广播的信息受到损失。
通过数学计算可以确定消息的信息量，借此又可以评定传送系统的质量。
信息论的任务在于解决通信上的两个基本问题：
提高传送消息的效能和保证传送消息的完整。
因此信息论对通信技术有重大意义。
在计算技术、自动控制和遗传学等方面也有应用。
（二）【信息论】上海辞书出版社《辞海》1989年版
研究信息及其传输的一般规律的科学。
狭义指通信系统中存在的信息传递和处理的共同规律的科学，即研究概率性语法信息的科学。
广义指应用数学和其他有关科学的方法，研究一切现实系统中存在的信息传递和处理及信息识别和利用的共同规律的科学。
一般认为，美国科学家香农（ClaudeElwoodShannon,1916-）于1948年出版的《通信的数学理论》一书是信息论正式诞生的标志。
它从理论上阐明通信系统的数学模型和度量概率信息的公式，为概率信息的定量研究提供了理论根据。
信息论揭示的规律具有高度的普遍性，被迅速应用于生物学、生理学、心理学、语言学和经济学等不同领域，产生和形成信息科学。
20世纪70年代以来，信息论突破狭义的范围，发展成为一门研究语法、语义、语用信息的科学。
（三）【信息论】上海辞书出版社《简明社会科学词典》1982年版
曾称“通讯理论”。
利用数学方法，研究信息的计量、传递、变换和储存的科学。
第二次世界大战中由于改进军事通讯的需要而逐步建立，战后形成为一门独立的学科。
1948年美国数学家申农（C.E.Shannon）发表《通讯的数学理论》一文，确定信息的量度——信息量及其计算公式，被认为是本学科诞生的标志。
信息论的主要任务是求得通讯的高效率和可靠性。
它原来主要应用于电信通讯技术的编码和抗干扰等方面，后推广应用于其他通讯技术，以及计算技术、自动控制、遗传学等方面。
在建立的初期，申农等为了解决设计不同形式信号传递系统的统一理论，曾把各类不同信号的共同特征抽象出来，略
升级会员 