基于DSP的视频采集与压缩传输系统的设计论文正文Word格式.docx
《基于DSP的视频采集与压缩传输系统的设计论文正文Word格式.docx》由会员分享，可在线阅读，更多相关《基于DSP的视频采集与压缩传输系统的设计论文正文Word格式.docx（61页珍藏版）》请在冰点文库上搜索。
目前，以太网技术己无可争议地成为主要网络技术。
1.2课题研究的目的及意义
本论文以TI公司高性能的32位定点TMS320DM642为中央处理器实现了嵌入式的视频采集系统，利用DSP将摄像头获取的图像进行压缩，处理，传输到终端。
整个除了具有图像采集，图像压缩功能之外，还加入了本地大容量存储模块以及网络接口模块，具备了较完整的视频处理所需要的功能。
与其他多处理器实现方式不同的是，TMS320DM642片内集成了视频和网络外设接口，系统的软件处理工作可以全部都由DM642完成，从而减少了嵌入式视频系统的成本和开发难度。
在系统中采用了最新的视频编码标准BT.656压缩算法，并使用8019实现UDP协议。
本文比较系统地描述了系统的组成、结构和功能，对系统的各个组成模块进行了分析和设计，使用protel99se设计电路原理图和PCB图，主要包括视频采集，视频处理，视频输出，音频输入/输出、网络传输串口等模块，并针对DM642高速CPU，分析了系统设计中应注意的问题。
我国基于嵌入式技术的网络视频采集压缩传输系统刚刚起步，所以研究并开发一种基于嵌入式系统的网络视频采集压缩传输系统具有很大的工程实际意义。
基于DPS的视频采集系统，由于可以灵活地修改其图像处理算法，它的应用主要面向用户的特定需求和对实时性有较高要求的场合。
因此，有理由相信在嵌入式系统的基础上构建视频图像采集，处理及压缩传输系统具有广阔的市场前景。
1.3国内外研究现状
现在采集系统中，应用了基于DSP的图像处理技术，特别是在图像的模式识别问题上充分发挥了DSP的硬件结构和具有特色的编程指令。
图像模式识别的典型算法是卷积运算，即乘累加，正好发挥DSP软、硬件的特长。
传统的处理方法是基于计算机的硬件和软件的，计算机完成一次乘累加运算需要11个机器周期，而DSP完成同样的运算只需1个机器周期。
本系统采用DSP芯片实现图像的模式识别，提高了处理速度，解决了图像处理过程中由于图像识别速度慢而影响整个图像的处理流程的实际问题，收到了良好的效果。
图像处理技术的发展与计算机以及硬件技术的发展是紧密联系的。
最早发表
有关计算机处理图像信息的文章的时间要追溯到20世纪50年代，随着计算机以及硬件技术的高速发展，性能大幅度提高，而价格却大幅度下降，无疑推动了图像处理技术的发展，图像处理系统的发展大致上可以划分为四个阶段。
（1）图像数据采集与处理系统发展的第一阶段
第一阶段的时间大体上是20世纪60年代到80年代中期，这个时期的图像处理系统采用机箱式结构，主流计算机采用小型机，并采用双屏操作方式，所以系统的体积比较大，功能也比较强，当然价格也比较贵。
当时的代表是美国I2S
公司推出的MODEL-70、MODEL-50图像计算机，英国JOYCELOBEL公司推出的MAGISCAN图像分析系统以及美国VICOM系统公司推出的VICOM-VEM图像处理工作站。
（2）图像处理系统发展的第二阶段
第二阶段是的时间大体上是20世纪80年代中期到90年代初期，这个阶段的主要特点是小型化，外形不再是机箱式而是插卡式，绝大部分都是采用PC系列微机构成图像处理系统，计算机总线采用ISA总线，并采用双屏操作方式。
图像卡的体积较小，一般图像卡都是采用大规模集成电路甚至是制作专用集成电路，从而使价格降低了。
这个时期的代表作是美国ImagingTechnology公司推出的PCCISION图像卡、PCVISIONPlus图像卡，美国DT公司推出的DT2851图像卡，加拿大MATROX公司的一系列图像卡。
（3）图像处理系统发展的第三阶段
第三阶段的时间大体上是从20世纪90年代初开始，这一阶段图像处理系统突出特点是单屏方式，以微机PCI总线（PeripheralComponentInterconnectbus）为支持的单屏方式和以图像压缩传输为特点的图像通信方式成为主流方式，但仍然主要是依靠微机来进行图像处理，在Windows平台上编制图像处理软件包，这个时期的代表有美国Intel公司推出的MMX（多媒体指令系统）等。
（4）基于DSP的图像处理系统
随着微型计算机的发展和普及，现代的图像处理方式越来越向高速、小型、
简洁的方向发展，图像处理逐渐由专用、笨重的图像处理机过渡到通用、小型的
微型机方式，但是由于图像的数据量很大，算法复杂程度高，人们经常使用软件
来处理，软件往往局限于计算机的配置，使得图像处理速度比较慢、实时性差、
价格高，不适宜在小规模、小环境内使用。
与此同时数字信号处理各种算法日趋
完善，特别是运算能力的很强的数字信号处理器（DSP）的问世，使现代图像处理
系统进入了和计算机紧密结合的全数字体制的阶段。
以DSP为核心的硬件系统同样可以用来进行图像处理，为这个问题的解决带来了新的途径。
DSP的运算速度和运算精度不断地提高，片内的存储容量不断地加大，系统
功能、数据处理能力以及与外部设备的通信功能不断地增强，完全可以脱离PC
机开发出基于DSP的图像系统。
这种设计方案的优点是设计简单、灵活，成本比较低，便于实际中使用。
1.4本课题研究的内容
提出了一种通用的基于DSP的视频采集系统的设计与实现方法，介绍了系
统的软件和硬件构成，重点研究了系统软件部分所涉及到的视频采集处理，编
解码，图像实时显示与控制等关键视频技术。
完成的主要工作如下:
（1）以TMS320DM642构建成视频采集的硬件系统。
将TVP5150作为视频采集芯片。
（2）掌握8019网络传输技术，实现UDP协议；
（3）灵活运用C6000系列DSP外围电路的设计与开发，使用Protel99se设计电路原理图和PCB图；
（4）了解视频信号的实时压缩与解压方法，掌握其中一种解压缩的编程，实现一个windows平台下的图像编码。
.
（5）代码移植，对代码进行修改，使之符合DSP编程需要，把代码移植到DSP上，使之能在硬件平台上实现。
根据DSP处理芯片的特性对代码进行优化，提高代码性能。
2DSP系统开发平台的分析
2.1数字信号处理器
DSP（digitalsingnalprocessor）是一种独特的微处理器，是以数字信号来处理大量信息的器件。
其工作原理是接收模拟信号，转换为0或1的数字信号，再对数字信号进行修改、删除、强化，并在其他系统芯片中把数字数据解译回模拟数据或实际环境格式。
它不仅具有可编程性，而且其实时运行速度可达每秒数以千万条复杂指令程序，远远超过通用微处理器，是数字化电子世界中日益重要的电脑芯片。
它的强大数据处理能力和高运行速度，是最值得称道的两大特色。
现代社会对数据通信需求正向多样化、个人化方向发展。
而无线数据通信作为向社会公众迅速、准确、安全、灵活、高效地提供数据交流的有力手段，其市场需求也日益迫切。
正是在这种情况下，3G、4G通信才会不断地被推出，但是无论是3G还是4G，未来通信都将离不开DSP技术（数字信号处理器），DSP作为一种功能强大的特种微处理器,主要应用在数据、语音、视像信号的高速数学运算和实时处理方面，可以说DSP将在未来通信领域中起着举足轻重的作用。
内置数字信号处理器（DSP，DigitalSignalProcessor）是车载主机内以逻辑电路对音视频数字信号进行再加工处理的专用元件，是一个统称名词，包括数字效果器、EQ、3D环绕等等。
数字信号处理器（DSP，即DigitalSignalProcessor）是进行数字信号处理的专用芯片，是伴随着微电子学、数字信号处理技术、计算机技术的发展而产生的新器件。
数字信号处理器并非只局限于音视频层面，它广泛的应用于通信与信息系统、信号与信息处理、自动控制、雷达、军事、航空航天、医疗、家用电器等许多领域。
以往是采用通用的微处理器来完成大量数字信号处理运算，速度较慢，难以满足实际需要；
而同时使用位片式微处理器和快速并联乘法器，曾经是实现数字信号处理的有效途径，但此方法器件较多，逻辑设计和程序设计复杂，耗电较大，价格昂贵。
数字信号处理器DSP的出现，很好的解决了上述问题。
DSP可以快速的实现对信号的采集、变换、滤波、估值、增强、压缩、识别等处理，以得到符合人们需要的信号形式。
对于车载主机而言，数字信号处理器DSP目前主要是提供特定的音场或效果，例如剧场、爵士乐等等，有些还能接收高清晰度（HD）无线电和卫星无线电等等，以达到最大的视听享受。
数字信号处理器DSP增强了车载主机的性能和可用性，提高了音视频质量、提供了更多的灵活性和更快的设计周期。
随着技术的发展，相信以后还能提供更多的听觉和视觉特效，而使车载主机成为车内的高科技信息和娱乐中心。
2.2DSP选型的依据
参考了市场上主流的DSP芯片之后，现将其特点总结如下：
Nexperia系列的PNX1300DSP处理能力稍弱，PNX1500和PNX1700处理能力较强，而且其外设功能也较强，价格在同类产品中属于中等。
DM64X系列优势在于其计算能力和指令集功能都很强大，且片上外设丰富，资料齐全便于开发，缺点是芯片价格贵。
Cradle公司的DSP处理能力强大，而且其I/O外围接口可编程，因此外设实现方便。
但是，由于是多核芯片，所以协调难度较大，功耗也较大，芯片资料缺乏。
ADI的Blackfin系列DSP体积小，功耗低，非常适合做手持式产品开发，价格便宜，但相比较Philips和TI的DSP，其劣势在于能够支持Blackfin的第三方算法较少。
Equator的BSP系列芯片的优点在于片上I/O接口丰富，完全采用C语言编程，灵活性高，价格也较低，但与同系列的Philips和TI的DSP相比，软件开发难度较大，功耗也稍大。
由于本系统是运用于视频采集压缩系统，因此其特性直接决定了视频采集压缩系统核心DSP所需要具备的性能。
其功能特点包括：
音视频录象、音视频检索与回放、压缩、传输等等。
（1）系统要能够实时压缩多路信号并传输到视频服务器，就必须采用高压缩比的压缩算法。
当前广泛应用的BT.656算法和MPEG-4算法以及最新的比H.263节省50%码率的H.264标准都对DSP芯片的计算能力提出了巨大的挑战。
（2）系统的管理是基于对网络视频服务器IP地址的列表管理，监控端软件能够连接所有的前端网络视频服务器，并将其IP地址列入管理清单；
用户还能够任意选择区域内的音视频通道。
同时，系统需要提供报警功能，当监视区域有异常情况时，监控端主机会及时以声像报警，并可控制外接警报器报警和控制现场设备实现报警联动。
此外，在一般情况下，摄像机采用定焦距、定方向的固定方式，但在光照度变化大的场所应选用自动光圈镜头，大范围监控区域宜选用带有转动云台和可变镜头的摄像机。
监控中心通过控制端软件，能够控制远端摄像机镜头和云台的转动。
以上这些特性决定了DSP芯片需要具备丰富的外设资源，以满足网络视频监控的需要。
综合以上两点考虑，本系统采用TI公司DM64x系列中性能较高的DM642芯片。
DM642强大的计算能力和指令集功能、丰富的片上外设以及齐备的开发资料完全满足系统的设计及应用要求。
2.3基于TMS320DM642的视频采集压缩系统的总体方案
TMS320DM642是TI公司C6000系列DSP最新的定点DSP，其核心是C6416型高性能数字信号处理器，具有极强的处理性能，高度的灵活性和可编程性，同时外围集成了非常完整的音频、视频和网络通信等设备及接口，特别适用于机器视觉、医学成像、网络视频监控、数字广播以及基于数字视频/图像处理的消费类电子产品等高速DSP应用领域。
本课题针对市场客户的需求，设计并实现了一款以TVP5150为视频输入解码器，以TLV320AIC23B为音频输入采集电路，以TMS320DM642型DSP为核心处理器的多路视频采集兼压缩处理PCI板卡，以RTL8019AS为网卡芯片，并将其应用于构建高稳定性的多媒体数字监控系统，取得了较好的社会效益和经济效益。
基于TMS320DM642的视频采集压缩系统的硬件框图如图1所示。
系统的设计目标为4路网络视频监控系统。
每个摄像头采集到的视频信号经过视频A/D芯片转换为DM642视频口识别的BT.656的视频流格式，4路音频LINE_IN信号由音频A/D转换后通过IIS接口与DM642相连。
DM642芯片对输入的音视频流进行压缩编码，编码后的音视频流通过以太网口（EMAC）发送给远端的视频服务器，从而实现远程视频监控。
图１基于TMS320DM642的视频采集压缩系统的硬件框图
2.4DSP开发平台所涉及的关键技术及其方案选型
2.4.1视频解码
TVP5150是一种低功耗芯片，正常工作时的功耗为113mW,在节电模式下得功耗为1mW，该芯片内核电源电压为1.8V，输入/输出电源电压为3.3V。
TVP5150芯片的引脚定义如图2所示，它是一种32引脚TQFP封装的芯片，外部时钟频率14.318MHz或27MHz，通过I2C接口配置内部的寄存器。
图2TVP5150芯片引脚定义
2.4.2音频编解码
DM642的音频接口外部需要接音频解码芯片或者音频编码芯片，通过编解码芯片的D/A或者A/D进行模拟音频信号和数字音频信号之间的转化。
TLV320AIC23B是一款高性能的立体声音频编解码芯片。
片上带有耳机输出放大器，支持MIC和LINEIN两种方式，输入和输出可增益编程。
TLV320AIC23B芯片集成了基于Sigma-delta采样技术的A/D转换电路和D/A转换电路，可在8K或96K采样速度下提供16位、20位、24位或32位的采样数据，A/D和D/A的信噪比可以达到90dB或100dB。
TLV320AIC23B芯片是一种低功耗器件，回放模式下功耗仅为23mW，省电模式下功耗小于15μW。
TLV320AIC23B芯片的数字音频接口包括了LRCIN、DIN、LRCOUT、DOUT和BCLK等引脚。
图3TLV320AIC23B芯片引脚定义
2.4.3本系统的压缩方案及视频压缩的标准
视频压缩通过减少和去除冗余视频数据的方式，达到有效发送和存储数字视频文件的目的。
在压缩过程中，需要应用压缩算法对源视频进行压缩以创建压缩文件，以便进行传输和存储。
要想播放压缩文件，则需要应用相反的解压缩算法对视频进行还原，还原后的视频内容与原始的源视频内容几乎完全相同。
压缩、发送、解压缩和显示文件所需的时间称为延时。
在相同处理能力下，压缩算法越高级，延时就越长。
视频编解码器（编码器/解码器）是指两个协同运行的压缩-解压算法。
使用不同标准的视频编解码器通常彼此之间互不兼容；
也就是说，使用一种标准进行压缩的视频内容无法使用另外一种标准进行解压缩。
例如，MPEG-4Part2解码器就不能与H.264编码器协同运行。
这是因为一种算法无法正确地对另外一个算法的输出信号进行解码，然而我们可以在同一软件或硬件中使用多种不同的算法，以支持对多种格式的文件进行压缩。
由于不同的视频压缩标准会使用不同的方法来减少数据量，因此压缩结果在比特率、质量和延时方面也各不相同。
ITU-RBT.656国际电信联盟的无线通信部门（ITU-R）制定的标准。
严格来说，ITU-RBT.656应该是隶属ITU-RBT.601的一个子协议。
ITU-RBT.656则是ITU-RBT.601附件A中的数字接口标准，用于主要数字视频设备（包括芯片）之间采用27Mhzs并口或243Mbs串行接口的数字传输接口标准。
ITU-RBT.656视频数据流包括图像亮度Y和色度Cb、Cr信息，Y、Cb、Cr3个分量在ITU-RBT.656视频流数据中的比例为4:
2:
2。
拥有8/10位数据传输，不需要同步信号。
特点是先传Y，后传UV，同时行场同步信号嵌入在数据流中。
它包含了三部分：
（1）视频信号
（2）定时基准信号：
有两个定时基准信号，一个在每个视频数据块的开始（StartofActiveVideo，SAV），另一个在每个视频数据块的结束（EndofActiveVideo，EAV）；
每个定时基准信号由4个字的序列组成，格式如下：
FF0000XY（16进制）头三个是固定前缀，第4个字包含定义第二场标识、场消隐状态和行消隐状态的信息。
（3）辅助信号：
辅助数据信号可以以10比特形式只在行消隐间距传送，还可以以8比特形式只在场消隐中的行的有效间距中传送。
ITU-RBT.656视频数据流通常采用隔行扫描技术，包括上下两场，根据场频和每场图像包含的行数，可分为4种视频格式
表1BT.656视频数据格式
频率/线数
奇数场线数
偶数场线数
像素数/行
场频
60Hz/525线
240
640
60
244
243
720
50Hz/625线
288
768
50
2.4.4视频网络传输技术及实现
近些年来，多媒体技术、网络技术和无线通信技术的迅速发展为相互之间的交叉融合奠定了基础，也使得其成为信息产业发展的必然趋势。
传统的Internet主要提供数据业务，无线通信主要提供语音业务，而多媒体技术的日新月异，使得文本、语音、图形、图像和视频综合进入Internet和无线通信领域的需求日益增长。
其中，视频应用以其高数据量，实时性强等特点，给学术界和工业界提出了巨大的挑战，也成为研究的热点和难点。
本文研究并总结了在Internet和无线信道上传输图像和视频的各种主流技术，具体的研究内容如下：
（1）从图像和视频的压缩编码方面介绍了传统的编码技术和可伸缩性的编码技术。
重点分析了离散余弦变换、小波变换、匹配追寻算法、精细可伸缩性算法和渐进精细可伸缩性算法等具有代表性的算法。
（2）从网络的传输控制方面介绍了差错控制和拥塞控制。
重点分析了前向纠错、重传、容错性编码、差错掩盖、速率控制和速率成型等技术。
（3）从与视频传输相关的网络协议方面介绍了包括网络层协议IP，传输层协议UDP、TCP、RTP和RTCP，任务控制协议RTSP、RSVP和SIP，以及在Internet上传输MPEG-4视频流的端到端结构中的协议栈。
（4）提出并实验了基于图像的全局DCT变换的位平面编码，给出了具体的实验结果，并作了相应的分析。
介绍了网络仿真环境NetworkSimulator2，并用它实现了基本的网络仿真实验。
2.4.5本系统中使用8019实现UDP协议
RTL8019AS是高度集成以太网控制器，它能够简单的解答即插即用NE2000兼容适配器，这种适配器具有二重和功率下降特性。
通过三电平控制特性，RTL8019AS是已制的对网络设备GREENPC理想的选择。
全二重功能能够模拟传播和接收在双绞线到全二重以太网交换机。
这个特性不仅强带宽从10到20MBPS，而且避免了由于以太网频道争夺特性导致的读出多路存取协议的问题。
微软公司的即插即用功能能减轻用户较差的营业收入而注意适配器资源，如IRQ,输入输出，和存储器地址等等。
然而，为了特殊的应用而得不到即插即用功能的兼容性，RTL8019AS支持JUMPER和JUMPERLESS选项。
图4RTL8019AS芯片引脚定义
3DSP系统硬件设计
视频处理系统主要就是视频和音频的采集、数据处理、视频压缩、传输等。
本系统是一个基于DSP的视频采集要求对视频信号具备采集，实时处理，压缩传输。
因此一个视频采集通常可由如下部分构成：
视频图像的采集、处理，音频信号的处理，各种同步逻辑控制，视频和音频数据的存储，系统电源管理，视频的压缩传输等。
3.1主处理器TMS320DM642
TMS320DM642芯片属于TI公司的C64x系列DSP，是TI公司着重推出的超强多媒体处理器。
该DSP芯片为548脚BGA封装，高度集成化；
并且为了满足视频处理的需要，该芯片内部采用Cache结构，支持两极Cache：
其中第一级Cache对开发人员来说是不可见的，而第二级的Cache大小是可配置的，芯片自动完成这两级Cache之间数据一致性的维护。
这两级Cache的支持大大提高了CPU的执行效率。
图5TMS320DM642内部结构图
3.1.1TMS320DM642的硬件架构
TMS320DM642采用第二代高性能、先进的超长指令字velociT1.2结构的DSP核及增强的并行机制，当工作在720M赫兹的时钟频率下，其处理性能最高可达5760MI/s，使得该款DSP成为数字媒体解决方案的首选产品，它不仅拥有高速控制器的操作灵活性，而且具有阵列处理器的数字处理能力，TMS320DM642的外围集成了非常完整的音频、视频和网络通信接口。
TMS320DM642的主要特点如下:
3个可配置的视频端口（VPORT0－2）能够与通用的视频编、解码器实现无缝连接，支持多种视频分辨率及视频标准，支持RAW视频输入/输出，传输流模式；
1个10/100Mb/s以太网接口（EMAC），符合IEEE802.3标准；
1个多通道带缓冲音频串行端口（McASP），支持I2S，DIT，S/PDIF，IEC60958-1，AES-3、CP-430等音频格式；
2个多通道带缓冲串行端口（McBSP），采用RS232电平驱动；
1个VCXO内插控制单元（VIC），支持音/视频同步；
1个
升级会员 