视频会议传输系统.docx

视频会议传输系统.docx

《视频会议传输系统.docx》由会员分享，可在线阅读，更多相关《视频会议传输系统.docx（17页珍藏版）》请在冰点文库上搜索。

视频会议传输系统

于RTP的H.323视频会议系统音视频同步

2012年09月21日15:

27来源：

计算机系统应用作者：

秩名我要评论（0）

标签：

视频会议系统（32）RTP（8）H.323（6）

　　摘要：

针对H.323视频会议系统设计了一种基于RTP的音视频同步方法，该方法在严格遵守RTP协议的前提下，将音视频数据联系起来通过同一个媒体通道传输，从而达到唇音同步的目的。

实验表明：

该方法在对图像质量影响很小的情况下，很好地实现了音视频的同步播放，并且具有实现简便，不增加系统负担等优点，具有广泛的实用性。

　　H.323视频会议系统中，发送端同时采集到的音视频数据能在接收端同时播放，则认为唇音同步。

终端采集到的音视频数据肯定是同步的，要保证同时播放，就要保证音视频在采集和播放处理过程中消耗的时间相同。

IP网络的特点决定了通过不同通道的音视频数据传输所消耗的时间不可能完全相同，唇音同步是视频会议系统中的一大难题。

如果同时采样的音视频数据播放时间偏差在［-80ms，+80ms］以内，用户基本上感觉不到不同步，一旦超出［-160ms，+160ms］，用户就可以明显感觉到，中间部分是临界范围。

　　1引言

　　1.1文章安排

　　本文第2节分析了现有的音视频同步方案的缺点。

第3节详细描述了本文所设计方案的实现过程。

第4节给出实验数据以及分析结果。

第5节给出结论。

　　1.2基本介绍

　　H.323视频会议系统中，音视频不同步现象产生的原因除了网络环境外，还有一个是音视频的分开传输。

虽然H.323建议音视频通过不同道道传输，但是实际传输数据的RTP［2，3］协议和其底层的UDP协议都没有规定一对连接只能传输音频或者视频中的一种，通过同一个通道传输音视频完全可能，而且这样可以最大程度的减少网络原因引起的音视频不同步，本文给出了这一设想的实现方案，并做了验证。

　　2现有解决方案

　　目前最常用的唇音同步方法从思路上可以分为以下两类：

　　思路一，发送端给每个要发送的RTP包打上时戳，记录它们的采样时间。

接收端通过增加延时等方式，保证同时采样的数据同时播放。

这类方法的实现需要一个中立的第三方参考时钟，需要有RTCP协议的SR［2，3］的参与，如果这两个条件不具备，同步就失去了依据。

　　思路二，唇音不同步本质上是由H.323视频会议系统中音视频的分开传输和处理导致的，如果采用某种方法将音视频信息关联起来，就可以有效的避免不同步现象。

一种实现方案是，将音频按一定的对应关系嵌入到视频中传输，接收端从视频中提取音频数据并重建，从而达到唇音同步的目的［4］。

该方案实现较复杂，而且采用非标准的RTP实现方式，会给不同厂商H.323产品间的互通带来困难。

　　3一种新的音视频同步方法

　　本方法基本思路是：

在音视频数据的采样、编码、打包、发送、网络传输、接收、网络异常处理、拆包、解码、播放这十个处理过程中，采集、编码、打包、拆包和解码的时间基本上固定，不会因为网络环境差异造成时延的差异，而发送、网络传输、接收、网络异常处理四个过程则具有较大的随机性，其处理时间会随着网络性能的不同有较大的差异，进而造成播放时音视频的不同步。

因此唇音同步处理的重点就在于保证发送、网络传输、接收、网络异常处理这四个过程中音视频的同步，即图1中发送同步到组帧同步之间的部分。

　　图1唇音同步实现全过程

　　其他处理过程引起的时间差，只要在系统稳定后给音频加上固定的延时即可，因为一般情况下，音频处理所花的时间比视频处理少，具体的差值可多次实验统计得到。

　　RTP协议规定每个RTP包中所承载的有效载荷类型（PT）是唯一的，但是如果将音视频通过同一个通道传输，并且保证同一时刻采集到的音视频帧顺次交错发送，则既能保证音视频在传输中的同步，又遵守了RTP协议。

音频数据量较小，一个RTP包即能承载一帧，一个视频帧则需要多个RTP包承载，帧结束标志采用RTP包头中的Mark字段，该字段为1，则说明当前包是一帧的结束包。

　　依据上述思想，方案具体实现过程设计如下：

（1）发送端分别独立的对音视频信息进行采样，组帧和打包，然后放到各自的缓冲队列中等待发送

（2）数据发送模块从发送缓冲中取数据，1）从音频缓冲队列中取一个包（一帧）；2）从视频缓冲队列中取数据，每取一个包，都判断RTP包头的Mark字段是否为1，如果为1，说明当前视频帧已经取完，转1），如果Mark字段为0，说明当前视频帧还未取完，转2）；（3）音视频数据通过同一个通道发送到网络；（4）接收端收到数据，根据包头中的PT字段区分音视频，放到各自的接收缓冲队列中进行请求丢包重传、乱序重排等网络异常处理［5，6］，然后进入组帧缓冲等待解码器取走数据，进入组帧缓冲的数据没有乱序包和重包，偶有丢包；（5）音视频各自拆包组帧，实现过程如图2所示：

　　图2组帧同步实现原理图。

　　（6）音视频从各自的解码缓冲队列中按顺序取数据送解码，通过组帧过程中给音视频数据加上的本地时戳来校准后同步播放。

数字调音台在整合视频会议系统中的应用

2010年12月25日11:

54本站整理作者：

佚名用户评论（0）

关键字：

视频会议（31）数字调音台

（2）

　　全国各级公安系统自上而下建立起的视频会议系统，对于快速反应应急通信保障以及警令的畅通都起到了非常重要的作用。

鉴于此设备不能在关键时刻出问题，因此公安部到省（区）厅图像控制中心建立4套视频会议系统，省到市也建有至少一套系统。

由于需要会场越来越多，电视电话会议室、指挥中心、部直接与图像控制中心等等，如此多的会议系统同时使用并确保正常运行，以往的解决方法是摆放几台调音台进行互联，同时召开会议的时候就临时把所需要的音频信号重新调整插拔到分开的调音台上，让彼此相互独立，从而达到互不干扰的效果。

但是此种方式有很多弊端，一般不熟悉调音台的技术人员无法进行会议系统的操控，同时调音台插口经过频繁的插拔，容易使接口处接触不良，造成隐性技术故障，不易排查。

　　为了解决上述问题，笔者利用数字调音台雅马哈LS-9为核心整合视频会议系统的音频信号，取得了非常理想的效果。

一般不了解调音台性能的技术人员极易上手操作会议系统。

　　1数字调音台的概述

　　数字调音台是带有电脑液晶显示屏的调音设备，具有多路输入和输出，每一路输入和输出均可由电脑操作显示完成。

数字调音台还包含了效果器、混响器、均衡器以及压缩、扩张、限制器等周边设备的数字处理器，有多种操作菜单可供调用。

　　由于数字信号在总谐波失真和等效输入噪声这两项指标上可以轻易地做得很高，并且其所有功能单元的调整动作都可以方便地实现全自动化。

数字调音台的主要特点如下。

　　1）操作过程的可存储性。

数字调音台的所有操作指令都可存储在一个磁盘上，从而可以在以后再现原来的操作方案。

　　2）信号的数字化处理。

调音台内流动的是数字信号，可以方便地直接用于数字效果处理，而不必经过数/模、模/数转换，简单方便。

　　3）数字调音台的信噪比高和动态范围大。

变通的噪声干扰源对数字信号不起作用，因而数字调音台的信噪比和动态可以轻易地做到比模拟调音台好10dB，各通道的隔离度可达110dB。

　　4）20bit的44.1kHz取样频率，可以保证20Hz~20kHz范围内的频响不均匀度小于±1dB。

　　5）每个通道都可方便地设置数字压缩限制器和降噪扩展器，可用于对音源进行必要的技术处理。

　　6）数字通道的位移寄存器，可以给出足够的信号延迟时间，以便对各声部的节奏同步作出调整。

　　7）立体声的两个通道的联动调整十分方便。

因为通道状态调整过程中，所有的数据可以方便地从一个通道复制到另一个通道。

　　8）数字式调音台设有故障自动诊断功能。

　　2方案的实现

　　在音频信号的汇集点图像控制中心，使用雅马哈LS-9数字调音台作为系统的控制核心，系统构成见图1。

　　该调音台具备16~64路输入通道数量，特别具备多达16~32路可各自调节设置的MIX混音输出通道，而且每一个输入输出通道都有功能强大的音频动态处理，相当于一台功能强大而又使用方便直观的数字音频矩阵。

　　同时该调音台还具有USB接口供存储录音机、播放机以及全面的场景存储和回叫，以及随时用外部预先连接跳线的效果器和推子前辅助混音进行*。

LS-9的效果器提供了34种不同类型的效果，数字调音台采用线性20bitA/D.D/A转换器件，动态范围为105dB，采样频率为44.1kHz和48kHz。

利用LS-9强大的混音功能和全面的场景存储回叫完成多路音频信号的整合。

　　1）音频信号组网模式

　　首先在信号汇集点图像控制中心放置两台LS-9，其中一台用来汇集各个会场以及公安部的音频信号，另一台用来接收和发送各市的音频信号;其他每个会场放置一台普通的调音台即可，用于与中心交换音频信号，如图1所示。

　　图1　图像控制中心系统构成

　　2）详细进行场景的规划

　　这个步骤很关键，不同的会场具有详细的不同用途，每一次会议使用的会场都不尽相同，因此多个会议同时召开时，会场的利用就会存在多种组合，这就要求务必做好会前具体情况的分析，罗列出可能存在的情况，做到有备无患，避免出现问题措手不及。

　　通常有什么样的具体场景呢?

例如，针对各省中央控制点图像控制中心视频通话设为A，为场景1;利用电视电话会议室单独对各市召开电视电话会议，设为B，为场景2。

当场景1和场景2不在一个时间段出现，两者都是相互独立的场景，不会产生任何的相互影响。

　　当场景1和场景2需要在同一时间段分别召开会议时，两者不能进行混音，就会存在冲突现象，因此这就要求在LS-9上设置场景3，即A∪B，两者同时进行但互不干扰。

同理，针对各省召开视频会议时，用到的是电视电话会议室，并且各市也需要参加会议，此时应该设置场景4以满足此种情况的出现，即在LS-9上设置A∩B的情形，两个视频会议都需要进行混音。

　　以此类推，不管存在多少个会议，存在多少个会场，都可以按照这个方法，事先把场景规划好，并设置好各类参数存储，操作人员都只需要对号入座，一键调用场景即可。

　　3）利用全面的通道功能、直观的SelectedChannel来设置参数

　　LS-9调音台具有强大的通道功能，它们的操作就类似一个直观方便的数字音频矩阵，在每一个场景中，每一路音频输入信号全部送入LS-9的16路通道，只需要根据场景的定义，把16路中需要进行混音输出通道的MIX母线旋钮打开到合适位置，同时把向本方返回的这一路MIX母线关闭即可;同时音频输入、输出的线路定义需要一致，即A信号进入LS-9的输入1，那LS-9的输出1也是把信号送到A，这样就可以避免在操作中出现错误。

　　如在上述场景3中，是A∪B的情形，即公安部的声音不能送到厅电视电话会议室，假如公安部送来的音频信号进入LS-9的输入1，而厅电视电话室送来的音频信号进入输入3，这样输入1中的送往MIX母线3（即输出3）以及返回本身的MIX母线1（即输出1）的旋钮都需要关闭;同理输入3中的送往MIX母线1（即输出1）以及返回本身MIX母线3（即输出3）的旋钮也都需要关闭。

　　在场景4中，是A∩B的情形，即公安部的声音需要与厅电视电话会议室的声音进行混音处理，假如公安部送来的音频信号进入LS-9的输入1，而厅电视电话室送来的音频信号进入输入3，这样输入1中的送往MIX母线3（即输出3）的旋钮需要打开到合适的电平，而返回本身的MIX母线1（即输出1）的旋钮需要关闭;同理输入3中的送往MIX母线1（即输出1）的旋钮需要打开到合适的电平，而返回本身MIX母线3（即输出3）的旋钮需要关闭。

　　以此类推，每一个音频输入信号的设置在每一个场景中都不尽相同，需要根据场景的定义来完成，完成这些设置后，可以把常用的场景分别定义在LS-9的右边12个数字健上。

待会议召开时只需一键调用所需场景，剩下就是利用推子适当调节每一路音频输入信号的大小即可。

　　4）其他实用功能

（1）初学者可以通过LCD显示屏和独立LED电平表来全面设置和监控通道信号。

还可以通过“HOME”键一触即可返回主操作模式。

（2）通过内建的USB存储录音机/播放机与插在调音台USB接口上的USB记忆棒一起使用，按96Kb/s，128Kb/s，192Kb/s的传输率录制MP3格式的文件并回放。

　　（3）全面的场景存储中具有备份和锁定功能，备份功能是指LS-9设置好后，可以保存为一个文件导出到存储设备进行保存;锁定功能是指场景锁定后，可以避免其他人为误操作所造成设置参数的改动。

　　（4）通过网线把LS-9和普通计算机连接起来，操作人员可以通过计算机运行管理软件进行远程控制。

视频会议多点控制单元的MCU设计与实现

2011年01月18日09:

07本站整理作者：

网络用户评论（0）

关键字：

MCU（116）视频会议（31）

0 引言

     视频会议的多点控制单元（MCU）是视频会议系统的核心设备。

所有参与会议的终端可与MCU建立一对一的连接，终端负责采集本会场的声音和图像，然后经编码后传输到MCU，由MCU根据当前视频会议的模式确定对音视频信号的处理方式和转发逻辑，最后将处理后的音视频数据再发送到每一个与会者。

1 多点视频会议的分类

　　基于H.324标准，多点会议实现有各种不同的方法和配置，主要可以为集中式多点会议和分散式多点会议两种模式。

　　集中式多点会议是由一个多点控制单元来组织，所有终端以点对点方式向多点控制单元发送视频流、音频流和控制流。

其结构如图1所示。

图1中的多点控制器使用H.245控制功能来对会议进行集中式管理。

H.245也可用来指定各终端的通信能力。

多点处理器可进行混音、数据分配以及视频信号的混合和切换，并将处理结果送回参加会议的终端。

一个支持集中式多点会议的典型多点控制单元通常由一个多点处理器和多点控制器组成。

　　分散式多点会议是传统的会议系统（如H.320）所没有的。

在这种管理方式的系统中没有MCU，也没有集中控制和集中管理的设备，MCU的功能是以MC和MP功能模块的方式分别存在于系统的其他设备中。

分布式多点控制和管理之所以能在基于分组的通信网中实现，其主要原因是网络中的通信是在逻辑信道中进行的，而不是以物理信道为单位进行的。

分布式多点会议利用多点播送技术来组织，参加会议的终端向别的与会者终端以多点播送方式传送视频和音频信息，而无须在多点处理器集中进行。

H.245控制信息仍然以点对点的方式传送给主多点控制器，图2所示是分散式MCU的组网结构。

　　集中式多点视频会议中的MCU集多点视频会议控制器（MC）和多点视频会议处理器（MP）于一身，它既有组织和管理会议的功能，同时负责所有与会者的声音和图像的处理和切换。

2MCU的系统设计

　　2.1 集中式多点视频会议的网络结构

　　星型组网方案是集中式多点会议的首选方案。

星型组网方案是将所有终端通过集线器或交换机连接到MCU，每个终端都只与MCU建立一个基于H.324标准的连接，图3所示是其星型组网方案。

每个终端负责对本会场的声音、图像进行采集后，再经过相应的编码算法进行编码，然后将编码得到的音视频流通过交换机发送到MCU，由MCU根据当前的会议模式对音频和视频分别进行处理。

音视频的处理主要包括对与会者声音的混合和多画面合成，最后将处理后的音视频数据由MCU根据会议模式转发给每个参会者的终端。

　　视频会议模式的设置和参与会议的成员管理可由MCU控制台来完成。

实际应用中，一般会为每个会议配备一个会议管理者，又称会议管理员。

会议管理员可通过MCU控制台对多点控制单元进行远程控制，包括设置会议开始和结束的时间、会议采用的音视频标准、会议模式的设置、与会者列表的管理以及会议模板的装载和保存等。

在会议进行中，会议管理员还可通过MCU控制台对会议进行调度，包括指定新的主席、指定新的发言听众、取消发言等。

　　在分布式会议方案中，各个终端均完成一定的控制与交换功能，因而灵活性强，与会端加入／退出会议功能易于实现，但其通信协议比较复杂。

控制信息以广播方式发送，因而通信效率比较低，所以通常采用集中式实现方案。

有时候，主席端也可与MCU合并形成一个超级服务端。

这种方式可以演化为人们所熟悉的客户／服务器体系。

在主席端的机动性要求不高时，这种方式具有非常突出的优点，如易于实现，控制简便等。

图4所示是客户／服务器方式MCU的方案结构。

为了保证通用性和机动性，本设计采用集中式MCU方案。

　　2.2MCU的通信接口设计

　　通信接口的主要功能是数据串／并变换与缓存，其作用类似于较大输入输出缓冲区的串口扩展。

从调制解调器（Modem）输入的串行数据格式为2-8-1-N，即2bit起始位，8bit数据，1bit停止位，无奇偶校验。

接口卡分离出8bit数据位并对之进行串／并变换后存入输入缓冲区，缓冲区是8kbit的FIFO（先入先出）堆栈，接口卡提供指定的地址以便微机从中读取数据。

微机输出的数据可写入接口卡的输出缓冲区。

它也是8kbit的FIFO堆栈，然后接口卡执行相反的操作并将之输出到Modem[17]。

接口卡的原理如图5所示。

2.3 视频会议系统协议的简化模型

　　MCU的设计可参考ITU的H.324系列建议。

该建议拟订了低比特多媒体通信终端的基本框架。

它包括四个主要部分：

G.723.1音频编码标准、H.263视频编码标准、H.245通信控制协议和H.223复接分接协议，该建议同时也描述了一个在PSTN中采用V.34标准的Modem。

V.34标准规定了输入／输出Modem的数据格式、比特率等要求。

本系统由于MCU连接了多个端口，若各端口Modem的速率不一致，则可能会造成MCU的数据拥塞，故本系统中禁止Modem速率的自动调整。

一般在会议开始之前，即按各端口中最低速率建立连接，以保证较小的误码率。

在MCU中，主要是对H.223帧的帧头进行处理。

H.223帧结构中的帧起始标志为3个连续的FAS码，每个FAS码长为4个字节，试验系统中可取为0XEC。

该标志也可用于实现对H.223帧的定界。

由于帧长度是不定的，因此，帧起始标志的正确传输与检测直接影响到帧定位。

控制信号也占4个字节，其中前两个字节为BAS码，主要携带会议控制信息。

因本会议系统的可能状态较少，所用到的控制命令也少，故只用一个字节传送命令，另一个字节作为BAS码的纠错字节，以保证命令的正确传输。

　　在视频会议系统的命令交互中，MCU及各个与会站点在会议中都要维护一张状态设置表，表中记录了各与会站点所对应的逻辑端口、电话号码、地理位置、在会议中的身份（主席、发言方及普通会员）等，此后MCU进一步将逻辑端口映射成相应的物理地址，以便MCU从该地址读写信息。

状态设置表的初始设置是在会前通过勤务电话确定的。

预定的开会时间由MCU负责通过Modem呼通各与会站点，以建立起数据链路。

当某个站点呼通后，该站点即在其H.223帧中插入终端就绪命令，而MCU则将该帧环回，并将BAS码替换为就绪确认命令。

当所有站点均就绪后，MCU即向各站点发会议就绪命令。

同时将主席端的数据切换到各个站点，此时主席便可以发言，也可以命令其它会员发言。

如果主席没有发命令给MCU，则向MCU发会议进行中状态指示，MCU则维持当前状态；若主席命令A站点发言，则其在H.223帧中插入令A发言的命令。

MCU接到命令后，即将A站点的数据切换到除A外的所有其它站点，同时将主席的数据发往A站点。

当主席命令会议结束时，MCU即向各站点发送会议结束确认命令，并停止工作，由各站点自行挂断Modem。

图6为上述过程的命令交互示意图。

　　在会议中，MCU接主席命令后，应根据该命令所产生的状态转移来修改状态设置表。

通过低速MCU伺服软件可使MCU同时控制8个与会站点的数据读入写出操作，同时进行命令解释执行工作。

由于帧交换又要占用大量的内存资源，同时还要保证系统的实时性，因此，MCU伺服软件的设计不仅要求执行效率高，还要求程序本身要占用较少的系统资源。

3MCU的软件设计

　　该软件的设计可采用快速原型方法来完成。

首先可建立简化的快速原型，然后在此基础上逐步完善以达到设计要求。

快速原型同样可采用模块化的方法将整个MCU软件划分为若干松耦合的功能模块，并对各模块分别进行设计与测试，在保证各模块正确后，再对整个软件进行综合调试，以发现各模块间接口设计可能存在的失误，再反过来通过修正各模块程序来完成整个软件的设计。

具体开发流程如图7所示。

现将各步的工作描述如下：

（1）利用电话线在两台计算机间通过Modem进行数据通信时，可将其作为功能最简单的快速原型。

该步的主要工作是建立DOS平台上Modem的控制功能。

其关键是对键入的命令进行解释后传送给Modem，同时接收Modem的反馈信号，以确定Modem的状态，并以此进行进一步的控制；

（2）建立远地自环模型，以测试快速原型的正确性，同时测试接口卡的工作特性；

　　（3）编写帧读入模块和帧写出模块程序，以连续测试帧环回及单一测试帧。

验证传送来的测试帧读摸块以及帧写出模块的正确性；

　　（4）编写命令提取与解释模块和状态修改模块程序，通过改变测试帧的BAS码并读取状态修改结果来验证上述模块的正确性；

　　（5）编写帧切换／BAS码替换模块程序，构造三台计算机间的测试平台，并使其一充当MCU，然后通过另两端的测试帧切换来验证上述模块的正确性；

　　（6）根据实际条件建立多台计算机间的测试平台，并适当改变测试帧的长度（128～512byte），进行连续的测试并计时，以检验各模块的工作时延。

然后按照系统的实时性要求对产生时延较大的模块进行改进。

4 结束语

　　由于MCU对运动程度不同的视频图像的处理能力有所不同，所以，传送运动程度不同的视频图像时，在终端B接收到的视频质量良好的情况下，MCU的最大接入终端数（MCU的容量）是不同的。

测试发现，本文设计的MCU在运动量比较大（n=16的时候）时，音视频图像良好；n=20的时候，音视频效果基本可以接收，但是偶尔图像有失真；而在n=32时，图像色彩严重失真，声音断断续续。

同时再考虑图像时延和延迟抖动（话音和图像的同步）等视频会议的规定值（点对点的图像时延不超过150ms，延迟抖动约为400ms）。

可以得出：

在图像质量良好，图像时延和延迟抖动均能达到规定要求的情况下，本MCU的单台容量应为16。

视频会议视频调试技术与技巧

2011年03月17日10:

56本站整理作者：

秩名用户评论（0）

关键字：

调试（24）视频（147）视频会议（31）

　　视频会议是图像、声音的有机结合，为了获得理想的效果，必须按照操作规程做好前期的准备和调试工作。

在实际应用中还有许多不尽人意的地方，主要表现在参数设置和实际操作等方面。

如何做到心中有数、得心应手?

本文就相关技术问题进行探讨，提出不同的解决方法和应用技巧。

　　在视频调试过程中，常见的问题是图像无彩色和图像偏色。

对于图像无彩色现象，可通过会议终端控制软件中的参数设置来加以解决;对于图像偏色现象，要通过白平衡调整来校正因光源的色温变化而引起的图像偏色。

会场中应避免使用混合光（室内照明光源、室外阳光的直射和散射）作为照明光源，不同色温的光源混合使用，将得不到理想的色彩还原，因此要尽量避免在会场中存在两种以上不同色温的光源。

若使用视频会议摄像机，可通过