第三章 信与信道容量.docx

第三章 信与信道容量.docx

《第三章 信与信道容量.docx》由会员分享，可在线阅读，更多相关《第三章 信与信道容量.docx（18页珍藏版）》请在冰点文库上搜索。

第三章信与信道容量

第三章信道与信道容量

主要内容：

（1）信道的分类和表示参数；

（2）离散单个符号信道及其容量；（3）离散序列信道及其容量；（4）连续信道及其容量。

重点：

离散单个符号信道及其容量。

难点：

连续信道及其容量。

说明：

信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。

在物理信道一定的情况下，人们总是希望传输的信息越多越好。

这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。

本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。

本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。

作业：

3．1，3．2。

课时分配：

4课时。

板书及讲解要点：

本章首先讨论信道的分类及表示信道的参数，然后讨论各种信道的容量和计算方法。

3．1信道的分类和表示参数

信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。

因此可以通过研究分析输入输出信号的统计特性来研究信道。

首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。

通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。

信道遭受各类噪声的干扰，使有用信息遭受损伤。

从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：

送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。

故将中间部分全部用信道来抽象。

可得到下图表示的一般信道模型。

3．1．1信道的分类

（1）根据输入输出随机信号的特点分类

离散信道：

输入、输出随机变量都取离散值。

连续信道：

输入、输出随机变量都取连续值。

半离散/半连续信道：

输入变量取离散值而输出变量取连续值，或反之。

（2）据输入输出随机变量个数的多少分类

单符号信道：

输入和输出端都只用一个随机变量来表示。

多符号信道：

输入和输出端用随机变量序列/随机矢量来表示。

（3）根据输入输出个数分类

单用户信道：

只有一个输入和输出的信道。

多用户信道：

有多个输入和输出的信道。

（4）根据信道上有无干扰分类

有干扰信道

无干扰信道

（5）根据信道有无记忆特性分类

有记忆信道，

无记忆信道。

（6）根据输入和输出之间有无反馈

有反馈信道

无反馈信道。

实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。

一个实际信道可同时具有多种属性。

最简单的信道是单符号离散信道。

3．1．2信道参数

分四部分来讲述。

1．二进制离散信道模型

二进制离散信道模型由一个允许输入值的集合X＝{0,1}和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。

最简单的二进制离散信道是二进制对称信道（binarysymmetricchannel,BSC）。

如图3－2所示。

它是一种无记忆信道。

转移概率为：

图3－2二进制对称信道

2．离散无记忆信道

假设信道编码器的输入是n元符号，即输入符号集由n个元素X={x1，x2，…，xn}构成，而检测器的输出是m元符号即信道输出符号集由m个元素Y＝{y1,y2，…，ym}构成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入一输出特性可以用一组共nm个条件概率来描述

。

式中，i=1，2，…，n；j=1，2，…，m，；这样的信道称为离散无记忆信道（DMC）。

信道转移概率矩阵

定义由nm个

构成的矩阵为P矩阵（信道矩阵），如下：

式中：

。

无扰离散信道

如果信道转移概率矩阵的每一行中只包含一个“1”，其余元素均为“0”，说明信道无干扰，叫无扰离散信道。

有扰离散信道

在信道输入为xi的条件下，由于干扰的存在，信道输出不是一个固定值而是概率各异的一组值，这种信道就叫有扰离散信道。

3．离散输入连续输出信道

假设信道输入符号选自一个有限的、离散的输入字符集X={x1，x2，…，xn}，而信道输出未经量化（m－）∞），这时的译码器输出可以是实轴上的任意值，即y={－∞，∞}。

这样的信道模型为离散时间无记忆信道。

这类信道中最重要的一种是加性高斯白噪声（AWGN）信道，对它而言Y=X＋G，式中G是一个零均值、方差为

的高斯随机变量，X=xi，i=1，2，…，n。

当X给定后，Y是一个均值为xi、方差

为的高斯随机变量。

4．波形信道

波形信道是这样一种信道模型：

其输入是模拟波形，其输出也是模拟波形。

假设输入该信道的是带限信号x（t），相应的输出是y（t），那么

y（t）=x（t）＋n（t）

这里n（t）代表加性噪声过程的一个样本函数。

说明：

a.设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式BSC信道模型；

b.若分析性能的理论极限，则多选用离散输入、连续输出信道模型；

c.如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。

本书的主题是编、解码，因此主要使用DMC信道模型。

3.2离散单个符号信道及其容量

信道模型：

见3－1图，图中，输入X∈{x1,x2,…,xi,…,xn}，输出Y∈{y1,y2,…,yj,…,ym}。

如果信源熵为H（X），希望在信道输出端接收的信息量就是H（X），由于干扰的存在，一般只能接收到I（X;Y）。

信道的信息传输率：

就是平均互信息R=I（X;Y）。

输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：

I（X;Y）≤H（X）。

I（X;Y）是信源无条件概率p（xi）和信道转移概率p（yj/xi）的二元函数，当信道特性p（yj/xi）固定后，I（X;Y）随信源概率分布p（xi）的变化而变化。

调整p（xi），在接收端就能获得不同的信息量。

由平均互信息的性质已知，I（X;Y）是p（xi）的上凸函数，因此总能找到一种概率分布p（xi）（即某一种信源），使信道所能传送的信息率为最大。

信道容量C：

在信道中最大的信息传输速率，单位是比特/信道符号

单位时间的信道容量Ct：

若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：

3.2.1无干扰离散信道

介绍三种信道：

1．具有一一对应关系的无噪信道

对应的信道矩阵是:

因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系：

已知X后Y没有不确定性，噪声熵H（Y/X）=0；

反之，收到Y后，X也不存在不确定性，信道疑义度H（X/Y）=0;

故有I（X;Y）=H（X）=H（Y）。

当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量:

2．具有扩展性能的无噪信道

虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：

已知Y后，X不再有任何不确定度，信道疑义度H（X/Y）=0，

I（X;Y）=H（X）-H（X/Y）=H（X）。

例如，输出端收到y2后可以确定输入端发送的是x1，收到y7后可以确定输入端发送的是x3，等等。

信道容量为：

与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H（X）

3．具有归并性能的无噪信道

信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：

已知某一个xi后，对应的yj完全确定，信道噪声熵H（Y/X）=0。

但是收到某一个yj后，对应的xi不完全确定，信道疑义度H（X/Y）≠0。

信道容量为：

结论：

无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关。

3.2.2对称DMC信道

如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC为对称的DMC信道。

对应对称的DMC信道，当输入呈等概分布时，信道到达信道容量，为：

其中第二项为矩阵任一行元素的信息熵。

例题3－1：

已知P矩阵，求C。

解：

二进制信道的C值：

3．2．3准对称DMC信道

如果注意概率矩阵P是输入对称而输出不对称，则称为准对称DMC信道。

例如：

它的信道容量求解较为复杂。

3．2．4一般DMC信道

为使I（X;Y）最大化以便求取DMC容量，输入概率集{p（xi）}必须满足的充分和必要条件是:

I（xi;Y）＝C,对于所有满足p（xi）＞0条件的i

I（xi;Y）≤C,对于所有满足p（xi）=0条件的i

即是每个概率非零的输入符号对Y提供相同的平均互信息。

3．3离散序列信道及其容量

定义：

多符号离散信源X=X1X2…XL在L个不同时刻分别通过单符号离散信道{XP（Y/X）Y}，则在输出端出现相应的随机序列Y=Y1Y2…YL，这样形成一个新的信道称为离散序列信道。

由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道{XP（Y/X）Y}的L次扩展。

离散序列信道模型

如下图所示，设信源矢量X的每一个随机变量Xl（l=1,2,…,L）均取自并取遍于信道的输入符号集{a1,a2,…,an}，则信源共有nL个不同的元素ai（i=1,2,…,nL）。

则输出矢量Y由L个符号组成的输出序列Y=Y1Y2…YL，它的每一个随机变量Yl均取自并取遍于信道的输出符号集{b1,b2,…,bm}。

对于无记忆离散序列信道，其信道转移概率为：

平均互信息I（X;Y）=H（Y）－H（Y/X）

例题3－7，p55，BSC二次扩展信道

由题图可知其转移概率：

对应的转移概率矩阵：

是一个对称DMC信道，当输入序列等概分布时，容量为：

3．4连续信道及其容量

3．4．1连续单符号加性信道

输入和输出随机变量都取值于连续集合的信道。

其传递特性用条件转移概率密度函数p（y/x）表示，用{Xp（y/x）Y}表示信道数学模型。

连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数p（y/x）的上凸函数。

连续信道的信道容量C：

信源X等于某一概率密度函数p0（x）时，信道平均互信息的最大值，即

。

一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。

下图为连续加性信道模型：

噪声为连续随机变量N，且与X相互统计独立的信道。

这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。

加性连续信道的条件熵等于其噪声熵，说明Hc（Y/X）＝Hc（N）。

加性连续信道的信道容量：

加性噪声N和信源X相互统计独立，X的概率密度函数p（x）的变动不会引起噪声熵Hc（N）的改变，所以加性信道的容量C就是选择p（x），使输出熵Hc（Y）达到最大值，即：

。

高斯加性信道的容量：

高斯噪声为N，均值为0，方差为σ2，噪声功率为P；概率密度函数为pn（N）=N（0,σ2）,噪声的连续熵为

。

所以，高斯加性连续信道的容量等于：

根据最大连续熵定理，要使Hc（Y）达到最大，Y必须是一个均值为0、方差为σ2Y＝P的高斯随机变量。

若限定输入平均功率S，噪声平均功率PN=σ2，对高斯加性信道，输出Y的功率P也限定了，P＝S＋PN，因为pY（y）=N（0,P），pn（N）=N（0,σ2），所以有：

px（x）=N（0,S），即输入X满足正态分布时，Hc（Y）达到最大值，达到信道容量。

实际系统中噪声不是高斯型的，但若为加性的，如果均值为0，平均功率为

，则信道容量存在下面的上下界：

实际非高斯噪声信道的容量要大于高斯噪声信道的容量，所以在处理实际问题时，通过计算高斯噪声信道容量来保守地估计容量。

3．4．2多维无记忆加性连续信道

多维无记忆加性连续信道等价于L个独立并联加性信道。

对上式进行讨论：

（1）当每个单元时刻的高斯噪声都是同分布时，即：

则有信道容量

。

当且仅当输入矢量X各分量统计独立，且各分量都服从

时，信息传输率达到最大。

（2）当每个单元时刻的高斯噪声均值为零，但是方差不同且为

时，若输入信

号的总平均功率受限，约束条件为：

则此时各单元时刻的信号平均功率应该合理分配，才能使得信道容量最大。

从而转换为求极大值得问题。

可用注水法来求解。

有以下结论：

a）在噪声平均功率过于大，甚至超过输出平均功率时，可以不给于功率，即不发送信号；

b）在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率；

c）在噪声平均功率较小的时间里，我们可以多给点输入平均功率。

这一结论符合客观规律和人们的习惯概念：

例如，当人们说话的总的平均功率受限制时，总是把仅有的说话功率用在风小的时候。

在风比较大的时候，就少花点力气。

在风大到对方已经无法听到你说话声音时，干脆就暂停说话。

等风小一点，或基本上没有风时，才提高嗓音使劲地大声喊叫。

把仅有的一点功率，分配到噪声小的时候使用，增加所能传递的信息量，提高通信的效率。

3．4．3限时限频限功率的加性高斯白噪声信道

波形信道中，限时tB，限频fm条件下可根据采样定理，将输入随机过程{x（t）}，输出随机过程{y（t）}转化为多维随机序列，进而求其信道容量。

设信道的频带限于（－W,W）；根据采样定理，如果每秒传送2W个采样点，在接收端可无失真地恢复出原始信号；把信道的一次传输看成是一次采样，由于信道每秒传输2W个样点，所以单位时间的信道容量为：

Ps是信号的平均功率，PN是噪声的平均功率。

对高斯白噪加性信道，PN＝1/2*N0*2W＝N0W，N0/2是噪声的双边功率谱密度。

说明：

1.信道容量仅与信噪比和带宽有关系。

2.表明了在噪声信道中可靠通信，信息传输速率的上限值。

3.实际信道一般为非高斯噪声波形信道，其噪声熵小于高斯噪声熵，故信道容量以上式为下限值。

4.W一定时，Ct与信噪比SNR成对数关系，如下图所示。

提高信号功率或者降低噪声功率，有助于提高容量。

5.当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求（如扩频通讯）；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。

6．当信道频带无限时，其信道容量与信号功率成正比。

表明即使带宽无限，信道容量仍然时有限的。

香农限

频带利用率Ct/W（单位频带的信息传输率）（bps/Hz）

当Ct/W=1bps/Hz时，SNR=1（0dB）;

当Ct/W逼近零时，SNR=－1.6dB,此时信道将逼近香农限。

例题3－9：

电话信道带宽是3.3kHz，若信噪比为20dB，即SNR＝100，运用香农公式可求初该信道的信道容量为Ct＝Wlog（1+SNR）=22kbps，实际信道考虑到串音、回波等干扰因素，最大到达的信道传输率为19.2kbps，比理论计算值要小。

频带利用率与信噪比的关系