基于FPGA的视频图像处理系统.docx

1、基于FPGA的视频图像处理系统 青 岛 工 学 院数字图像处理课程报告 基于FPGA的视频图像处理系统 学生姓名 学号 学 院 信息工程学院 专 业 电子信息工程 年级 2010级 青 岛 工 学 院摘要 由于指纹的唯一性和不变性，指纹识别己成为当前最流行、最方便、最可靠的个人身份认证技术之一。本文以自动指纹识别系统的处理流程为线索，介绍了系统的三个部分：指纹预处理、特征提取和指纹匹配。在前人工作的基础上，我们在各个环节都提出了自己的方法，结合那些经典的算法，在很大程度上提高了图像的处理效果与匹配结果。在指纹增强阶段，我们结合方向图与频率图修改了Gabor滤波器；在细化阶段，我们对传统的OPT

2、A算法进行了一些改进；在指纹匹配阶段，我们着重研究了基于点模式的细节匹配。此外，我们还成功的实现了各个算法，完成该指纹识别系统，经实验证明，该系统能够快速准确的识别指纹，达到了预期目的。 关键字:图像分割，图像增强，二值化，细化，特征提取，特征匹配 Abstract Fingerprint image enhancement process in the fingerprint image pre-processing has a very important role, directly affect the fingerprint recognition rate and recognit

3、ion speed. General image enhancement algorithm can not meet the requirements of the fingerprint identification system, ingerprint enhancement algorithm to improve the overall performance, are proposed a Gabor filter to enhance the fingerprint image and effectively eliminate noise, and Gabor filters

4、parameters can be quantified. The algorithm can make the image quality significantly enhanced to facilitate follow-up fingerprint feature extraction, fingerprint recognition algorithm to improve the efficiency and accuracy. Key words: Fingerprint enhancement intensification Gabor filter 目 录 第1章绪论 1

5、11视频图像技术的发展和应用 1 111视频图像技术的发展 1 112视频图像技术的应用范围 1 12课题的研究意义 1 13论文组织结构 2 第2章频图像处理的整体设计 3 2.1视频信号的处理过程 3 2.2典型视频图像处理系统 3 23本论文视频图像处理系统的总体框图设计 3 第3章系统开发平台FPGA技术及硬件选型 4 31 FPGA的结构及开发流程 4 311 FPGA的基本结构 4 312 FPGA的开发流程 4 32课题中FPGA的开发软件和器件概述 4 321集成开发软件 4 322 VertexlI Pro系列器件结构 5 33DSP开发工具SystemGenerator 7

6、 331 System Generator for DSP 7 332使用System Generator for DSP实现系统级建模 7 第4章视频图像采集模块设计 8 4. 1采集模块实现框图 8 42视频输入处理芯片SAA71 13初始化 8 421 SAA71 1 3概述 9 422 总线时序分析 9 43视频图像数据采集 9 431 SAA71 13输出视频数据格式 9 432视频图像采集的软件设计 10 第5章视频图像算法模块设计 11 51视频图像算法 11 511图像平滑算法 12 512图像锐化算法 13 52模板卷积的实现 16 53图像算法仿真结果及分析 16 54硬件

7、语言文件的生成 17 参考文献 18 致谢 19第1章绪论11视频图像技术的发展和应用111视频图像技术的发展 图像(视觉)信息是人们由客观世界获得信息的主要来源之一，约占人们依靠五官由外界获得信息量的70以上。因此由图像所提供的直观作用是其它途径获取信息所无法比拟的。视频图像就是连续的静态图像的序列，是一种对客观事物更为形象，生动地描述。随着电子技术和计算机技术的飞速发展，视频图像技术近年来得到了极大的重视和长足的发展，人们在选择学习和娱乐信息时，不再是单纯的枯燥文信息，丰富多彩的图片和视频信息越来越成为人们的首选。并且对视和图像处理技术的要求不断攀升，新的需求催生新的技术，主要体现在从标准

8、清(SD)到高清(HD)，分辨率越来越高，要求实时处理的数据量越来越大；视频和图像压缩技术日益复杂，如MPEG4第2部分，H264AVC，JPEG2000等；对视频系统智能化的要求提高，如智能拍摄、运动检测、对象识别、多通道、画中画、透明叠加效果等；消费者欣赏能力的提高，希望图像更稳定、更清晰、色彩更艳丽、亮度更符合人眼的感官需求。112视频图像技术的应用范围 随着计算机技术和半导体工业的发展，视频图像处理技术的应用将更加广泛，总结其应用领域，大致有以下几个方面： (1)在通信和电子商务中的应用。当前通信的主要发展方向是声音、文字、图像和数据相结合的多媒体通信，也就是将电话，电视和计算机以三网

9、合一的方式在数字通信网上传输。其中以视频图像通信最为复杂和困难，因其数据量十分巨大，如传送彩色电视信号的速率达100Mbs以上。要将这样高的速率的数据实时传送出去，必须采用图像处理中的编码压缩技术来达到目的。 (2)在生物医学中的应用。视频图像处理在生物医学工程方面有非常广泛的应用，无论是临床诊断还是病理研究都采用图像处理技术，而且很有成就。它的直观、无创伤、第1章绪论安全方便等优点受到了普遍的接受。除了最成功的x射线、CT技术之外，还有一类是对医用显微图像的处理分析，即自动细胞分析仪，如红细胞、白细胞分类，染色体分析，癌细胞识别以及超声波图像的分析等。 (3)在军事、公安中的应用。在军事方面

10、主要用于导弹的精确制导、各种侦察相片的判读，具有图像、传输、存储和显示的军事自动化、指挥系统，飞机、坦克和军舰模拟训练系统等；在公安业务方面实时监控、案件侦破、指纹识别、人脸识别、虹膜识别以及交通流量监控、事故跟踪、银行防盗等。特别是目前已全面投入运行的高速公路不停车自动收费系统中的车辆和车牌的自动识别。12课题的研究意义 传统的视频图像处理技术主要用PC机来做实时图像处理，由于PC机的结构是基于冯诺依曼的复杂指令计算机，本质上是顺序执行指令，不能实现并行处理，故实时性很差；用数字信号处理专用芯片来做实时图像处理，由于数字信号处理专用芯片采用数据与程序空间相分离的哈佛结构，加上数字信号处理专用

11、芯片比较适合做复杂的算法，可以实现一定的并行处理能力和容易实现一些算法，故用来做图像处理比PC机有一定优势。不过随着新的需求，像实时压缩(H264)高清视频，最为强大的单片DSP也无法实现。因此就需要一种新的开发环境，实现视频图像处理技术的新要求。随着半导体工艺的不断进步，FPGA不仅告别了传统观念的价格昂贵，而且性能也显著提升，同时不断集成一些新的硬件资源，比如内嵌DSP块、内嵌RAM块、锁相环(PLL)、高速外部存储器接I(DDR)等，作为一个平台，FPGA显然已经非常适合于高性能的视频和图像技术，用FPGA来做实时图像处理，由于可编程逻辑的大容量、灵活性，可以实现图像极大的并行处理能力，

12、速度可以比PC机和数字信号处理芯片快，可以实现SOPC(片上可编程系统)，帮助用户定制系统，缩短产品研发和更新换代的周期，快速做出有自己特色的，自主知识产权的产品，越来越多的研究人员开始致力于有关FPGA的视频图像处理技术。13论文组织结构 本论文主要研究的是基于FPGA的视频图像处理系统各功能模块的设计与实现，并基于FPGA的视频图像处理系统对这些模块算法进行仿真。全文共分5章，其内容安排如下： 第1章绪论。简要介绍了当前视频图像处理技术的发展和应用，本论文提出的意义以及论文的组织结构。 第2章视频图像处理的整体设计。首先简要地介绍视频信号及视频信号处理过程。其次在研究典型视频图像处理系统的

13、前提下，设计基于FPGA的视频图像处理系统，系统主要包含两个部分：视频图像采集模块，视频图像算法模块。 第3章系统开发平台FPGA及硬件选型。讨论了FPGA的结构特点、开发流程及开发软件和视频图像处理系统的硬件选择。如何在MATLA中实现FPGA设计，以实现后端视频图像算法的处理。 第4章视频图像采集模块设计。视频图像采集、存储部分的具体实现。首先利用12 C总线对采集卡SAA7113初始化及配置；其次通过分析视频数据格式，采用软件的方式控制视频图像数据的采集；然后根据存储器的读写时序，完成存储器模块的设计。最后对各部分产生的仿真结果进行分析。 第5章视频图像算法模块设计。首先简述了常用的视频

14、图像算法及滤波原理；然后根据模板卷积实现的框图，以基于模型的设计思想，MATLAB中应用Exilian公司嵌入到Simul ink中的模块，构建一款频图像处理的模型，实现图像平滑和图像锐化算法。最后对不伺算法能进行仿真，并生成硬件描述语言及网表，在ISE中调用实现，并对硬件资源消耗情况做简要分析。 第2章频图像处理的整体设计2.1视频信号的处理过程 一幅平面图像可以看成是由许许多多的小单元组成，在图像处理系统中，这些组成画面的细小单元称为像素。像素越小，单位面积上的像素数目就越多，由其构成的图像就越清晰。电视系统中把构成一幅图像的各像素传送一遍称为进行了一个帧处理，或称为传送了一帧。将组成一帧

15、图像的像素，按顺序转换成电信号的过程称为扫描。在PAL制中，图像扫描是隔行的，即一帧图像分两次扫描，扫描到的两幅图像分别称作奇数场和偶数场。视频图像信号的处理过程就是拍摄视频信号的逆过程。摄像头输出的是标准PAL制电视信号。摄像头通过光电转换实现图像到视频信号的转换，也就是扫描的过程。摄像头每扫描一行图像，加入一个行脉冲，每扫描完一场图像加入一个场同步信号。同时了保证扫描逆程光栅不显示，应加入和同步信号同周期的消隐信号。对视频信号进行处理，需要先进行AD转换、行场同步信号的分离等步骤。采用专用的视频信号进行转换，然后再启用工具处理数字图像信号并得到需要的结果。最后将结果用适当的方式进行传输。2

16、.2典型视频图像处理系统 典型的视频处理系统使用一个微处理器来控制一个视频流水线，该视频流水线包括一个视频源和宿，一个用于存储视频数据的大型存储器，和个视频算法函数，实现一些算法处理功能。23本论文视频图像处理系统的总体框图设计 根据对视频信号处理的基本过程和对典型视频图像处理系统框图的理解，结合FPGA的开发优势，本论文构建的基于FPGA的视频图像处理系统框图，如图24所示。第3章系统开发平台FPGA技术及硬件选型31 FPGA的结构及开发流程311 FPGA的基本结构 它主要由可配置逻辑模块(CLB)、用户可编程IO(IOB)、BlockRAM、数字时钟管理模块(DCM)幂I硬件乘法器等组

17、成。312 FPGA的开发流程 FPGA设计流程分为设计规范、设计输入、功能仿真、综合设计、布局布线、时序仿真。32课题中FPGA的开发软件和器件概述321集成开发软件 目前，FPGA的常用丌发工具软件大体上可分为两类：一类是由专业的EDA软件开发公司提供的第二方软件，另一类是山FPGA芯片厂商直接提供的开发软件。在此仅对本论义所用剑的Exilian公司集成化，发工具ISE做简要介绍。322 VertexlI Pro系列器件结构 1嵌入式Power PC 405处理器 在VertexII Pro系列器件中，最多嵌入4个同样规模的Power PC 405处理器内核。每个处理器模块包含Power

18、PC 405RISC硬核、OCM(OnChip Memory)控制器、时钟和控制逻辑、CPUFPGA接口、各种内部总线等。2千兆位高速串行收发a(MGT)模块 在VertexII Pro系列器件中，Exilian嵌入了多达24个通道的千兆位高速串行收发器模块，可提供单通道全双工600Mbs一3125Gbs的数据传输能力。多个收发器组合起来应用，可使VertexII Pro系列器件实现高达75Gbs的有效带宽。3可配置逻辑模块(CLB) VertexII Pro系列器件的每个CLB模块由4个相同的Slice和附加逻辑构成，用于实现组合逻辑和时序逻辑。每个Slice由两个4输入函数发生器、进位逻辑

19、、算术逻辑、存储逻辑和函数复用器组成。4输入函数发生器可以用于实现4输入查找表(LUT)、分布式RAM或16位基于查找表的移位寄存器。每个CLB既可配置为分布式RAM，也可配置为分布式ROM。4数字时钟管理器(DCM) VertexII Pro系列器件提供了性能更高的数字时钟管理器(DCM)。DCM模块是基于Xilinx的其它系列器件所采用的数字延迟锁相环(DLL,DeIayLocked Loop)模块发展起来的。在时钟的管理和控制方面，DCM比DLL功能更强大，使用更灵活。系统中采用DCM设计可以实现零时钟漂移，消除时钟分配延迟，并实现时钟闭环控制；另外，使用DCM使时钟可以映射到PCB上用

20、于同步外部芯片，这样就减少了对外部芯片的要求，将芯片内部的时钟控制一体化，以利于时钟设计。VinexII Pro系列器件的DCM共由四部分组成。其中最底层仍采用成熟的DLL模块；其次分别是数字频率合成器(DFS，DigitalFrequency Synthesizer)、数字移相器(DPS，DigitalPhase Shifter)和数字频谱扩展器(DSS，Di西tal Spread Spectrum)。基y-FPGA的视频图像处理系统。5可编程输入输出逻辑块(IOB) IOB模块用于提供FPGA内部逻辑与器件封装管脚之间的接口。VirtexII Pro系列器件的lOB在Select0技术基础

21、上发展到系统级的System IO技术。该技术不仅支持常用的一些接口标准，而且提供内部端接电阻和数字控制阻抗(DCI，Digital ControlledImpedance)技术，输出驱动强度控制，从而支持更复杂的系统接口，有效改善信号传输质量。这些接口包括：单端接口I，唧，、LVCMOS、SSTL3III、PCI、PCIX、AGP、AGP2X、SSTL21II、HSTL-lIIHIW、GTL和GTL+等；差分接口LVDS、BusLVDS、LVPECL、LDT；此外还支持DDR接口。为了能够适应系统中存在的各种接口标准，VirtexIIPro系列器件将IO引脚分成了8个块(Bank)，每个Ba

22、nk有各自的工作电压和参考电源。可根据当前使用的IO接口标准不同，设置不同的接口工作电压(vcco)和参考电源(VREF)。6乘法-器(Multipler) VirtexII Pro系列器件提供多达556个嵌入式18位18位二进制乘法器。这些嵌入式乘法器可实现18位x 18位带符号高速乘法运算。18位18位的有符号乘法运算速度可达140MHz，而4位4位的有符号乘法运算速度可达255 MHz。乘法器模块不仅可以通过交换矩阵与18Kb的块存储器配合使用，也可以单独使用。乘法器模块的物理分布与块存储器的物理分布是一致的，两个模块彼此相邻，这种结构非常适合于高速的数字信号处理。7存储器体系结构(1)

23、分布式存储器结构 分布式存储器(Distributed SelectRAM)是由CLB中的查找表(LUT)实现的。每个CLB有8个UJT，可以构成8个16X 1或128X 1、642的存储器，通常用来构成小容量的片内存储器。这种存储器具有访问速度快的特点，可以达到05as，因此常常用于数字信号处理的数据缓存等。VirtexII Pro系列器件最多可提供15Mb的分布式存储器。(2)块存储器结构 块存储器(Block RAM)是FPGA内部的专用存储器模块，BRAM存储器是真正双口(True DualPort)RAM，在器件内提供了大量快速分散的存储器块。BRAM存储器的总量随着VirtexII

24、 Pro器件的规模而增长(高达38Mbit)。18Kb每块的BRAM块是可级联的，从而可支持更深和更宽的存储器设计，同时通过专门的布线资源使得时序代价极小。块存储器可以配置成单端口BlockRAM或完全的双端口BlockRAM，双端口BlockRAM的结构和标准原型如图所示。33DSP开发工具SystemGenerator331 System Generator for DSP 本论文在开发视频图像算法中将采用Xilinx公司开发的基于MATLAB的SystemGenerator forDSP工具114J。SystemGenerator for DSP是基于FPGA的信号处理建模和设计工具。在

25、MATLABSimulink的环境下完成算法的建模和设计，可以将一个DSP系统表示为一个高度抽象的模块，并自动将系统映射为一个基于FPGA的硬件方案，而且SystemGenerator for DSP实现这些功能并没有降低硬件性能。此外它还能自动生成硬件描述语言，测试程序，支持软硬件仿真，且支持用户创建的Simulink模块，并能在XilinxFPGA上自动实现硬件系统。ISE可对工程进行仿真、综合、最后完成算法的硬件化。332使用System Generator for DSP实现系统级建模第4章视频图像采集模块设计 由第二章设计的系统总体框图可知，视频图像处理可以主要分为两大模块：视频图像

26、采集模块和视频图像算法模块。本章主要介绍视频图像采集模块设计。4. 1采集模块实现框图42视频输入处理芯片SAA71 13初始化 本设计中SAA7113的初始化是利用l2C总线来实现的，使之开始正常工作。从CVBS端口引进的电视信号构成极为复杂。我们采用了Philips公司的视频输入处理芯片SAA7113来完成数据的AD转换。FPGA通过12 C总线和SAA7113相连接，可以轻松的对其进行配置，以获取需要的数据信息。421 SAA71 1 3概述 SAA7113是Philips公司的一种高集成度视频解码芯片1191，采用CMOS工艺，在很多视频产品如电视卡、MPEG2、MPEG4中都有应用，

27、支持隔行扫描和多种数据输出格式，通过简洁的总线与采样控制器连接可方便地构成图像采集系统。本系统对视频解码芯片SAA7113的控制连接电路。422 总线时序分析 (Inter-Integrated Circuit)总线是由Philips公司开发的串行两线式总线，自80年代产生以来，由于其简单性和可靠性，被广泛应用于集成电路(IC，IntergratedCircuit)及外围设备中仅需要两条线工作，串行数据线SDA和串行时钟线SCL。通过简单的主从协议，每个连接到总线上的设备都具有唯一的软可编址的地址。作为主设备或从设备，取决于其在某时刻所起的功能，由主设备发起数据传输。在标准模式传输中，串行8位

28、传输方式和双向传输方式能达到100Kbits的速度。 43视频图像数据采集 开始采集视频时，SAA7113输出视频图像数据通过8位总线VPO传输给FPGA。由于PAL制电视信号是隔行扫描，分为奇数场和偶数场传输，数字化以后仍然格式不变，因此需要将奇数场和偶数场的数据还原成一幅完整的图像。本论文通过分析视频数据流中的“FF 00 00 SAVEAV”时间参考代码段，获得奇偶场信号，场参考信号，行参考信号，有效行数据开始和结束信号，并根据这些信号，编写Verilog语言控制数据的采集。431 SAA71 13输出视频数据格式 SAA7113数字化后输出的视频图像数据是标准的11rU656 YUV

29、4：2-2格式，YUV颜色空间是PAL电视信号传输过程中基本的格式，它充分利用传输通道的带宽。Y分量代表黑白亮度分量，U和V分量表示彩色信息，输出数字视频信号数据格式表41 SAA7113输出的数据格式Tab41 SAA71 13 output data format1rIMlNG 11MINGBLANKING REFERENCE 72D PlXELS YUV 4：2：2 DATA REFERENCEPERIODCODE CORE80 10 FF 00 00 SAV Cb0 Y0 Cm Y1 Y719 FF 00 00 EAV表41中，“80 10”表示当前视频信号处于行消隐阶段。“FF 00

30、 00 SAV”是时间参考代码段，标志有效视频数据的开始。其中“SAV”是“有效视频数据的开始”(Startof Activevideo)。“Cb0Y0 CrO Y1Y719是有效数据段。Cbn：U(B色差分量，n是像素标号n=0，2，4718，Yn：Y亮度分量，n是像素标号n=0，1，2719，CmV(RY)色差分量，n是像素标号n=0，2，4718，“FF00 00 EAV是时间参考代码段，标志有效视频数据的结束。其中EAV是“有效视频数据的结束(End of Active Video)。SAA7113对SAV和EAV数据格式的定义如表42所示。第7位 第6位 第5位 第4位 03位场标志

31、位，第一 处于场消隐阶段 在SAV中为“0”始终为“1 场为0”，第 为“1”，有效数 在EAV中为“1 保留二场“1 据阶段位为“0”从表42中可以看到在完整的一帧图像数据中第一场场消隐阶段SAV为“1010XXXX”，第一场有效数据阶段SAV为“1000XXXX。“X表示该位的状态没有作用。其它场的SAV和EAV状态类推。432视频图像采集的软件设计(1)软件设计分析 8位总线数据VPO传输给FPGA，FPGA需要将数据保存到SRAM中，由于PAL制电视信号是隔行扫描，奇数场和偶数场分别传输，因此在将数据保存到SRAM之前，需要将奇数场和偶数场的数据还原成一幅完整的图像。通常的设计都是利用SAA7113的RST0，RSTl两个引脚判断控制信号，但控制信号有场参考信号VREF、行参考信号HREF和奇偶场信号3个，所以剩下的奇偶场信号需要通过计数器来模拟，给设计带来繁琐且准确度不高。此外在实践中发现，采用该设计方法有时候难以保证每一行采集的有效数据位置都一样，容易导致图像错位。基于上述两点考虑，决定利用视频数据流的格式标准，来识别需要得到的图像数据，目前这种方法在视频采集