基于DSP的视频采集及网络传输模块的设计.docx
《基于DSP的视频采集及网络传输模块的设计.docx》由会员分享，可在线阅读，更多相关《基于DSP的视频采集及网络传输模块的设计.docx（58页珍藏版）》请在冰点文库上搜索。
基于DSP的视频采集及网络传输模块的设计
目录不要删除行尾的分节符，此行不会被打印
摘要
Abstract
千万不要删除行尾的分节符，此行不会被打印。
在目录上点右键“更新域”，然后“更新整个目录”。
打印前，不要忘记把上面“Abstract”这一行后加一空行
第1章绪论
1.1课题背景
视频监控以其直观、方便、信息内容丰富而广泛应用于安防、交通、公安、银行、水利等各个领域，几乎覆盖各行各业，视频监控的技术和手段也在不断的发展和提高，尤其是近年来，随着计算机软硬件技术的发展、Internet的普及、多媒体处理手段的提高、视频压缩技术的成熟、网络传输技术的迅猛发展，促使视频监控技术正向全数字化网络化方向发展，网络摄像机（Web-Camera）越来越受到远程监控领域的关注。
传统意义上的网络摄像机是将摄像头采集到的视频信号送入与摄像头连接的PC中，通过PC机安装的相应软件将数据进行编码、压缩和网络传输。
这种方法不仅成本高，系统的稳定性和安全性也非常低，由于普通PC并非是专门用于处理视频数据的，因此系统的整体效率会很低。
本文所讨论研究的网络摄像机是通过模拟采集的方法，将实时的视频数据流采集到系统的缓存中，通过软件编程对数据进行编码和压缩，最后将系统作为一个网络结点接驳于符合TCP/IP网络传输协议的网络中（如Internet）。
因此只要远程计算机拥有相应的访问权限，即可实现跨区域的网络实时监控。
本系统以TI公司的DM642为核心，并设计出将视频采集、视频编码处理和网络传输等功能集成于一体的网络摄像机。
通过这一系统，可以利用计算机对非本地的现场进行多点监控，节省了大量人力物力。
1.2网络摄像机技术发展概况
1.2.1DSP技术的发展概况
DSP的发展历程大致经历了70年代的理论先行、80年代的产品普及、90年代的突飞猛进和现如今的全领域应用四个阶段。
在DSP出现以前，实时信号处理一般是在通用处理器中完成的。
随着集成电路制造工艺的不断提高，二十世纪70年代末出现了专门的可编程数字信号处理器。
世界上第一个单片DSP芯片是1978年AMI公司宣布诞生的S2811，1979年美国Intel公司发布的商用可编程器件2920是一个主要里程碑。
这两种芯片内部都没有现代DSP芯片必须拥有的单周期乘法器。
1980年，日本NEC公司推出的μPD7720是第一个具有硬件乘法器的商用DSP芯片。
如今，TI公司的TMS320系列产品已经成为目前最有影响的DSP芯片，包括了定点、浮点和多处理器3个类型的产品，每个类型又有不同性能和价格的具体系列可供用户选择。
TI公司已经成为世界上最大的DSP供应商，占有很大的市场份额。
除TI公司的TMS320系列外，其它具有代表性并应用较广泛的产品主要有ADI的ADSP-21xx和Blackfin系列，Motorola公司的DSP56000、DSP96000，AT&T公司的DSP16、DSP32等。
现如今随着DSP应用的不断扩展和深入，DSP器件的发展兼顾了3P的因素，即性能（Performance）、功耗（PowerConsumption）和价格（Price）。
当今的DSP技术已经进入了崭新的时代。
第一，可编程DSP将是主导产品。
可编程DSP能给生产厂商提供较大的灵活性。
生产厂商可在同一个DSP平台上开发出各种不同型号的系列产品，以满足不同用户的需求。
同时，可编程DSP为广大用户提供了便捷的升级途径。
第二，定点DSP成为主流。
虽然从理论上讲浮点DSP的运算精度更高，动态范围更大，但定点DSP器件的成本较低，对存储器的要求也较低，而且耗电较省。
因此，定点的可编程DSP器件仍是市场上的主流产品。
第三，系统级集成DSP是潮流。
缩小DSP芯片的尺寸、追求更高的运算速度和进一步降低功耗始终是DSP的技术发展方向。
在生产工艺上，采用1μm以下的CMOS制造工艺技术和砷化镓集成电路制作技术，使集成度更高、速度更快、功耗更低，从而使高频、高速的DSP处理器得到更大的发展。
第四，通过并行和存储器构架的变化提升DSP芯片的性能。
高速、高性能的DSP器件将以RISC（精简指令系统计算机）结构和单片机并行计算机基本结构为主导，以完成并行处理系统操作。
脉冲阵列和数据流阵列也将成为并行处理器的主要体系结构。
随着芯片主频的不断攀升，存储器的访问速度日益成为系统性能提升的瓶颈。
为了解决存储器速度与CPU内核速度不匹配的问题，高性能的CPU普遍采用Cache（高速缓存）机制，新的DSP芯片也开始采用这种结构。
第五，DSP与可编程器件相结合。
DSP的许多新应用需要更加强大的数字信号处理能力，借助PLD（可编程逻辑电路）和FPGA（现场可编程门阵列）来扮演像DSP加法器或协处理器一样的角色，可以满足日益提高的信号处理需求。
此外，将DSP与MCU融合在一起的双核平台，将成为DSP技术发展的一种新潮流。
在许多嵌入式应用领域，既需要在数据处理方面具有强大功能的DSP，也需要在智能控制方面技高一筹的MCU。
这种DSP与MCU相结合的系统既具有DSP器件在数据处理方面的独特优势，又具有应用目标所需要的技术特性。
1.2.2嵌入式Internet技术的发展概况
如今Internet技术已经成为数据交换共享和数据传输的主要方式和载体，而嵌入式系统也开始与以太网网络接口相接合组成嵌入式网络终端。
通过TCP/IP协议，实现通过以太网与远程PC进行网络通信。
嵌入式网络终端相比于PC，具有更高的安全性、可靠性，拥有更强大的数据运算能力，及更专业化的处理进程，同时也具有PC机的兼容性和扩展性。
最重要的是嵌入式网络终端可以利用网络减少操作的复杂性并降低使用成本，同时通过设置权限可以使用网络相关资源，提高计算能力。
借助嵌入式Internet技术，可以将数量众多的嵌入式终端设备接入广域范围的互联网络环境，将Internet的应用从传统的桌面PC机延伸到生产、控制现场的8位、16位、32位单片机系统，实现基于Internet的远程数据采集、远程控制、自动报警、上传/下载数据文件、自动发送E-mail等功能，从而大大扩展Internet的应用范围。
嵌入式Internet技术的出现历史虽然不是很长，但是发展速度却非常的快。
不少专家对此做出预测：
21世纪将是嵌入式Internet的时代，将会产生比PC机时代成百上千倍的服务器和超级嵌入式服务器。
这些服务器将与我们能想到的各种物理信息、生物信息相链接，并通过Internet自动、实时、方便、简单地提供给需要这些信息的对象。
将来通过Internet传输的信息，将有大部分来自小型嵌入式系统。
因此，嵌入式Internet将有很好的发展前景和广阔的市场，未来的Internet将由嵌入式Internet占主导地位。
目前，基于Internet的嵌入式系统己成为人们研究的热点。
典型的嵌入式系统接入有三种方式[1]：
第一，采用专用嵌入式网络协议的EMIT（嵌入式Internet网络技术）。
EMIT由emNet和emGateway两部分组成，emNet协议运行在嵌入式系统MCU内部，使得集成emMicro的嵌入式系统能够和嵌入式网关emGateway进行通信。
emGateway运行在计算机中，应用系统要通过emGateway与Intemet联接。
这种方式对嵌入式系统的MCU要求较高，同时需要PC机做网关，目前已很少应用。
第二，使用专用芯片，如Webchip。
Webchip是独立的专用网络接口芯片，嵌入式系统的MCU通过它与网关连接即可接收并执行经由Internet远程传来的命令或将数据交给Webchip发送出去。
和EMIT相比不需要PC机作网关。
第三，在处理机中加入TCP/IP协议方式的支持。
这其中又包括两种方式：
利用MCU或者DSP的可编程特性，使用高级语言编程的方式直接处理TCP/IP协议和采用固化了TCP/IP协议的专用网络硬件芯片，如SeikoInstruments公司的S7600A等。
处理机加TCP/IP协议的方式最为灵活，能按用户需求实现很多复杂的功能，更不需要PC机作网关，这种方式已经成为现如今嵌入式Internet的主流解决方案。
1.2.3数字图像编码技术的发展概况
数字信号有很多优点，但当模拟信号数字化后其频带大大加宽，一路6MHz的普通电视信号数字化后，其码率将高达167MbPs，对存储器容量要求很大，占有的带宽将达80MHz左右，这样将使数字信号失去实用价值。
数字压缩技术很好地解决了上述困难，压缩后信号所占用的频带大大低于原模拟信号的频带。
因此说，数字压缩编码技术是使数字信号走向实用化的关键技术之一。
随着数字视频技术的发展，使得数字图像编码在各个方面得到广泛的应用，但各种编码方法只有标准化后才能降低编解码硬件的价格和解决不同厂商设备之间的相互操作问题。
ITU-T与ISO/IEC是制定视频编码标准的两大组织，ITU-T的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域，如可视电话、会议电视。
MPEG系列标准是由ISO/IEC制定的，主要应用于视频存储（DVD）、广播电视、因特网或流媒体等，广泛使用的有MPEG-1、MPEG-2、MPEG-4等编码标准。
两个组织也共同制定了一些标准，H.262标准等同于MPEG-2的视频编码标准，而最新的H.264标准则被纳入MPEG-4的第10部分[2]。
H263建议的是低码率图像压缩标准，在技术上是.H261的改进和扩充，支持码率小于64Kbis/s的应用。
但实质上H.263以及后来的H.263+和H.263++己发展成支持全码率的应用，这一点从它支持众多的图像格式就可以看出，如Sub-QCIF、QCIF、CIF、4CIF以及16CIF等格式。
H.264是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG的联合视频组开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分。
在技术上，H.264标准中有多个闪光之处，如统一的VLC符号编码，高精度、多模式的位移估计，基于4x4块的整数变换、分层的编码语法等。
这些措施使得H.264算法具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率。
H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好的适应IP和无线网络的应用，是目前最具有发展前景的视频压缩编码标准。
MPEG-2是MPEG组织于1994年推出压缩标准，以实现视/音频服务与应用互操作的可能性。
MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特到100兆比特，标准的正式规范在ISO/IEC13818中。
MPEG-2不是MPEG-l的简单升级，MPEG-2在系统和传送方面作了更加详细的规定和进一步的完善。
MPEG-2特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。
MPEG-4也是由ISO/IEC下的“动态图象专家组”制定的图像压缩编码标准，于1999年初正式成为国际标准。
它是一个适用于低传输速率应用的方案。
实际上，MPEG-4对64Kbis/s以下、64Kbis/s至384Kbis/s和384Kbis/s至4Mbis/s三种比特率范围作了明确的最佳化处理。
低比特率是MPEG-4的一个主要的目标，有关误码的校正，也给予了极大的关注，这将使MPEG-4非常适合于易产生误码的环境中使用，例如个人手持式传输设备。
当然，MPEG-4标准也支持码率高达38.4Mbis/s的类和级，甚至码率高达1.2Gbis/s的演播室质量的类和级。
与MPEG-1和MPEG-2相比，MPEG-4更加注重多媒体系统的交互性和灵活性，它利用强大的工具开发出了全新的多媒体编码概念，使之适用于互操作性和更大范围内的应用，己成为目前广泛使用的压缩系统[3]。
1.2.4我国视频监控技术的发展概况
远程视频监控是指远端的监控系统通过通信系统对现场系统进行监测与控制，其目的在于突破地域和环境上的限制，实现集中和高层监控，最终实现生产资源和社会资源的优化配置。
视频监控技术在中国的发展已有10年的历史了。
经过数年的发展，大致经历了以下三个重要的阶段[4]。
第一阶段，传统模拟图像监视系统。
这是图像监控系统的早期实现方式，系统主要由摄像机、监视器、视频线缆、控制线缆等组成，采用模拟方式传输，因此传输距离较短，主要应用于小范围监控的场合。
传统模拟图像监视系统的主要优点是图像清晰、不丢帧、延迟小。
但其功能单一、易受干扰、成本较高、无法升级、系统的扩展能力差，无法形成有效的报警联动。
第二阶段，基于PC机的多媒体监控系统。
基于PC机的多媒体监控系统的产生得益于数字视频压缩编码技术的日益成熟和微型计算机PC的普及化。
该种系统的一般结构为：
在监控现场，有摄像头、检测和报警设备等，通过各自的传输线路连接到监控终端。
终端可以是一台PC机，也可以是专用工业机箱组成的多媒体监控终端。
这种监控系统功能较强，但稳定性和安全性不够好、施工布线工作量大，同时需要专业的软件，开发周期长、难度大，不利于日后升级和维护。
第三阶段，基于嵌入式Web服务器的远程视频监控系统。
嵌入式Web服务器的主要原理是，视频服器内嵌入一个Web服务器，摄像机送来的视频信号经数字化后进行压缩编码，通过内部总线传到Web服务器，网络上的用户可以通过专用软件观看摄像机图像，授权用户还可以控制摄像机云台镜头的动作或对系统进行配置。
系统将视频压缩和Web功能集成到一个体积很小的设备内，成本低、速度快，大大提高了图像质量和监控效率，可以直接联入以太网，布控区域广，环境适应性强，性能稳定可靠，无需专人管理，而且系统扩展能力强，可组成非常复杂的监控网络。
尽管视频监控技术在中国的发展迅速，但随着社会化科技的进步和人们对产品功能的更高需求使得视频监控技术仍有诸多瓶颈尚待“实质性”突破。
谈的最多的就是网络带宽、图像质量、传输延时、软件系统的兼容性和产品价格等问题，在这些问题中有些已经得到改进，但很多都还没有取得实质性的突破。
很多国内厂商一味追求某一特性的优越而忽视或干脆放弃了其它方面的性能，如有些厂商在设计初期，为了能使传输延迟降到最低，在视频编码压缩上加大了压缩比率，尽管传输速度和延迟性能得到了很大提高，但监控图像的整体清晰度和图像质量大打折扣。
如何在网络延迟和图像质量之间寻求一个平衡点，成为国内该领域发展需要解决的一个重大课题。
1.2.5网络摄像机产品概况
在网络摄像机产品的研发中，国外的起步较早，市场上较为成熟的嵌入式Web网络摄像机的产品也很多。
如索尼公司最近在08年推出的SONYSNC-CS50P。
它配备了10/100BASE-T的LAN端口，采用1/3英寸的CCD镜头，分辨率可达到640×480，最高刷新帧率为30fps。
图像压缩采用MPEG-4和H.264编码方式，可以变更任意区域的压缩率。
SNC-CS50P无须通过个人电脑便可以直接接入网络。
可以利用通用的Web浏览器浏览影视画面。
除了索尼公司的SNC-CS50P之外，还有松下KX-HCM280、三星SNC-L200P/SNC-L200WP、安特ANT-NWC10/50/100、瑞典AXIS的AXIS22xx系列等。
这些产品一般均采用了MPEG-4、H.264编码压缩方式，以及支持多种网络传输协议，产品性能普遍较好。
在国内，ADSL宽带，GPON/EPOG光纤宽带在中国很多城市顺利开通，架构起以IP为基础的数据平台，为网络监控提供了安全可靠的网络环境。
一些实力雄厚并且掌握了核心技术的民族企业，在高端市场上牢牢地把持着自己的品牌地位，如华为、中兴等。
而与知名企业不同，部分本地品牌依托自己灵活的应变能力以及良好的性价比，也在市场上获得了不错发展，并占领了不少的市场份额。
如安讯士等，非常注重产品的社会功用，对产品的环保要求很高，要求给顾客提供的是高品质，低耗能的产品。
另外大批的国内厂商根据自身实力及市场情况，采取了OEM的形式，其中亚安公司就是凭借公司灵活的反映机制，极具竞争力的性价比，以及良好的售后服务赢得了市场，获得了很大的发展。
目前，中国国内网络摄像机和视频服务器的生产厂商非常多，除了一些已经走出国门的大厂商外，一些非主打视频监控的电子制造厂商也进入了该领域的竞争，如爱国者，天视通电子，趋势电子，海康威视，天创恒达等均已打入市场，并取得了非常满意的成绩。
1.3本课题主要研究内容及工作
基于以上的分析，本文提出了基于TI公司DM642的嵌入式网络摄像机系统设计方案。
该方案主要有三大优点：
第一，系统只需一颗DM642芯片，加上简单的外围电路，即可完成图像数据采集、编码处理、网络传输等功能。
第二，网络摄像机需要嵌入式操作系统，而TI公司为其DSP产品设计了一套较好的小型嵌入式操作系统DSP/BIOS，省去了不必要的操作系统移植的过程。
第三，DM642具备强大的运算处理能力，能够完成包括JPEG、MPEG-2、MPEG-4、H.263、H.264等图像编码处理，日后仅需通过编程改变软件即可达到升级的目的，避免硬件资源的改动和重复设计。
本文所提出的网络摄像机系统，是可以脱离PC独立工作的。
整个设计过程主要有以下几个方面的工作：
第一，掌握DSP开发板的工作原理、硬件结构和CCS开发环境，参考开发板的设计搭建出本系统的总体架构。
第二，根据系统在速度等方面的要求，考虑到各个器件之间的兼容性，对硬件进行合适的选择和搭配，构建出系统的硬件平台。
掌握各芯片的结构和工作原理。
第三，对设计好的系统进行驱动程序的开发。
在DSP的集成开发环境CCS下，使用DSP/BIOS组件等工具进行程序设计，完成设备的初始化，使视频模块、网络传输模块能够在程序的驱动下正确的工作。
第四，详细分析了实时视频传输的评估标准，以及如何实现高质量传输的算法研究和应用内容，包括码率分配和带宽估计。
同时，对基于TCP/IP实现视频流传输的算法也做了详尽的研究，即根据远端请求，在不同的传输任务中使用不同的传输方式以达到流媒体高效传输的目的。
第五，设计带有网络通信功能的应用程序，实现视频数据在客户端的呈现。
第六，提高并完善系统的性能，优化程序使软硬件更好的结合，使有限的DSP芯片资源最大限度的发挥其作用。
1.4本文结构
本文将对网络摄像机视频采集模块和网络传输模块的硬件系统和软件设计做详细的阐述。
论文共分为五章。
本文第1章是绪论部分，即引言。
本章对DSP技术的发展、嵌入式Internet技术的发展、图像编码技术的发展以及视频监控技术的发展做了简要的概括和分析。
通过对相关领域研究进展及成果的讨论，发现了当前网络摄像机产品在图像质量和传输速率之间无法平衡的一个不足。
由此本章提出了将DSP技术与TCP/IP协议结合起来的一种新型网络摄像机产品。
本文的第2章主要介绍了数字信号处理器的结构及原理，以及重点讲述了本文将要采用的一款DSP芯片—TMS320DM642。
DM642具有完全的可编程性，能够兼容多种多媒体视频标准，非常适合网络摄像机系统的研发。
最后介绍了如今比较流行的一种视频评估标准及其原理。
本文的第3章主要分析了TCP/IP协议及其各层的核心协议。
重点讲述了实时视频传输的算法分析和方案实现。
最后提出了一种不使用第三方流媒体协议而同样达到流媒体传输的算法实现。
本文的第4章重点阐述了系统各硬件模块的设计。
本章对电路设计中关键部分进行了介绍和分析，针对网络摄像机的带宽估计和码率分析做了理论上的深入分析。
本文的第5章是对系统软件部分设计的分析。
包含两个部分，首先是系统各功能模块驱动程序的开发以及相应模块间通信的控制；其次是带有网络通信功能的客户端软件的开发设计。
对主要的网络传输模块部分代码做了码率分析优化，使得数据包在网络中得到最大效率的传输。
第3章传输算法的实现、第4章和第5章是系统的主要部分，也是本文的工作重点。
论文最后对本系统的设计进行了总结并提出了改进方向。
第2章DSP原理及视频评估算法
2.1DSP芯片特点及应用
2.1.1DSP芯片的特点
为了实现高速的数字信号处理运算，DSP芯片一般都采用特殊的软硬件结构，主要特点为以下几个方面。
第一，改进的哈佛（Harvard）结构。
哈佛结构是不用于传统的冯·诺依曼结构的并行体系结构，其主要特点是程序存储器和数据存储器相互独立编址，独立访问。
与两个存储器相对应的是系统中设置了程序总线和数据总线两条总线，从而使数据的吞吐率提高了一倍。
为了进一步提高运行速度和灵活性，人们在基本的哈佛结构的基础上做了改进，一是允许数据存放在程序存储器中，并被算术运算指令直接使用，增强了芯片的灵活性；二是指令存储器在高速缓冲器Cache中，当执行此指令时，不需要再从存储器中读取指令，节约了一个指令周期的时间。
这种改进被成为改进的哈佛结构。
第二，多级的流水线操作。
DSP芯片的指令系统广泛采用流水线操作，一个任务被分解为若干个子任务，各个任务可以在执行时相互重叠，每条指令处于流水线上的不同阶段。
流水线操作与哈佛结构相配合，减少了指令执行时间，增加了处理器的吞吐量。
不同的产品流水线的深度也各不相同，例如，第一代TMS320处理器采用2级流水线，其后几代依次增加为3级、4级、6级，在TMS320C6000中深度达到了8级，这就意味着可以同时并行8条指令。
同时，指令并行运行的条件在不断降低，指令的范围也在不断扩大。
如图2-1所示[5]。
第三，专用的硬件乘法器。
在数字信号处理运算中，无论是滤波器还是DFT、FFT运算，都存在大量的乘法运算，乘法运算的速度是数字信号处理实现中的一个瓶颈问题。
为此DSP芯片采用专用的硬件乘法器，使得乘法运算能够在一个指令周期内完成。
如在TMS320C3x系列DSP芯片中，有一个硬件乘法器，在TMS320C6000系列中则有两个硬件乘法器。
图2-1多级的流水线
Fig.2-1MultiplePipelines
第四，特殊的DSP指令。
DSP芯片的一个重要特点是有一套专门为数字信号处理而设计的指令系统。
加法、减法、比较、移位、最大/最小值、绝对值运算以及延迟操作等都可以由一系列特殊指令实现，极大的提高了性能和效率。
例如，MAC指令是连乘加指令，可以在单周期内同时完成乘法和加法运算；RPTS和RPTB指令是硬件判断循环边界条件，可以避免破坏流水线。
第五，快速的指令周期。
哈佛结构、流水线操作、专用的硬件乘法器、特殊的DSP指令再加上集成电路的优化设计，可使DSP芯片的指令周期在200ns以下。
TMS320系列处理器的指令周期已经从第一代的200ns降低至现在的5ns以下。
快速的指令周期使得DSP芯片能够实现许多高端应用。
随着微电子技术的发展，工作频率还将继续提高，指令周期将进一步缩短。
2.1.2典型DSP芯片比较
TI、ADI和Motorola公司的DSP芯片是目前国内应用的主流芯片。
各公司主要芯片产品如表2-1所示[6]。
本系统要求图像处理速度达到每秒20帧以上，即要求实时图像处理系统必须在50ms内完成对一帧图像的运算处理，图像采集模块的输出为为320×240像素。
为达到该处理速度，综合考虑以上各因素，采用价格较便宜、功耗较低的定点DSP芯片即可。
由于ADI公司的开发套件较贵，而且芯片开发工具包相对复杂，因此本系统选用了TI公司的TMS320DM642芯片。
表2-1典型DSP芯片产品
Table2-1TypicalProductsofDSP-Chip
生产厂家
主要产品系列
定点位数
主要应用
TI
TMS320C6000
32
面向高端应用，最适合宽带网络和数字影像应用。
包括C62x和C64x定点DSP以及C67x浮点DSP。
TMS320C5000
16/32
最适合个人与便携式上网以及无线通信应用。
包括C54x和C55x定点DSP。
升级会员 