数字图像叠加技术研究大学论文.docx

1、数字图像叠加技术研究大学论文摘 要随着半导体技术的飞速发展，具有图像功能的嵌入式应用愈来愈多。从数码相机、可视电话、多功能移动电话等消费产品到门禁、数字视频监视等工业控制及安防产品，图像采集和处理已成为重要的组成部分之一。本文所描述的数字图像中叠加十字叉丝技术，是用于采集后的图像目标位置的标定，运用了数字图像叠加技术标定图片中目标的位置，并在该位置标画出十字叉丝。随着超大规模数字集成电路的飞速发展，采用复杂可编程逻辑器件(CPLD)来进行电路设计，由于该器件主要通过软件来实现其功能，因此设计过程将更加灵活快捷。CPLD因为具备了功耗低、体积小、集成度高、速度快及可重复编程和擦写等优点，所以基于

2、CPLD的图像叠加研究有非常重要的现实意义和实际价值。论文最后给出了图像目标位置叠加的试验结果。关键词：叠加 可编程逻辑器件 图像传感器 AbstractWith the rapid development of semiconductor technology, with the image features more and more embedded applications. From digital cameras, video telephony, multi-function mobile phones and other consumer products to access,

3、 digital video surveillance and other security and industrial control products, image acquisition and processing has become an important component of that. This paper describes the digital image in the stack Cross Fork wire technology, is used to collect the images of the calibration target location

4、, using a digital image overlay target in the picture calibration technology to locate and position in the standard cross painted silk fork .With the ultra-large-scale rapid development of digital integrated circuits, use of complex programmable logic devices (CPLD) for circuit design, as the device

5、 through software to achieve its features, so the design process will be more flexible faster. CPLD because with the low power consumption, small size, high integration, high speed and re-programming and erase the advantages, based on the CPLDs image is superimposed on a very important practical sig

6、nificance and practical value. Finally, the paper image of the target location stack test results and its simple analysis.Key word: Superimposition Complex pogrammable logic device Image sensor目 录摘 要 IAbstract I目 录 II第一章 绪 论 - 1 -1.1 引言 - 1 -1.2图像叠加技术研究的意义 - 1 -1.3叠加技术研究的背景 - 1 -1.4基于CPLD的数字图像叠加十字线研

7、究的主要内容 - 2 -第二章 CMOS图像传感器原理 - 3 -2.1 CMOS图像传感器像元结构的种类 - 3 -2.2 CMOS图像传感器OV7620 - 4 -2.3 可编程逻辑器件 - 7 -2.3.1 固定逻辑与可编程逻辑 - 7 -2.3.2 PLD的发展 - 7 -第三章 图像叠加电路硬件组成 - 10 -3.1硬件系统设计 - 10 -3.2 EPM7128芯片 - 10 -3.3 AVR单片机AT90S8515 - 11 -3.4 USB接口器件PDIUSBD12 - 13 -3.5 静态存储器HM628512 - 13 -第四章 图像叠加软件原理分析 - 15 -4.1

8、OV7620的参数 - 15 -4.2 设计方案及实验结果 - 16 -第五章 硬件电路设计及测试结果 - 20 -5.1 硬件电路设计 - 20 -5.2 测试结果 - 21 -结 论 - 24 -参考文献 - 25 -致 谢 - 26 -附 录 - 27 -第一章 绪 论1.1 引言叠加技术是图像处理技术中的一个重要部分，在生产应用中发挥着重要的作用。目前生产生活中应用最广泛的是字符叠加技术。就是在图像上叠加字符图形，及时给出和增加了原画面无法表达或明确表达的信息，使画面图文并茂、实用醒目。比如，在视频监控系统中，监控设备不仅能实时的显示监控场景的状况，还能实时叠加检测到数据，有的还需要附

9、加动、静态图像说明，都属于图像叠加的范畴。在叠加领域中，目标锁定与跟踪也是一个重要应用方面。比如，在火控系统中，检测追踪目标并在图像上显示出目标的各项参数，提示操作员做相应的反映，这是非常重要的技术应用；同时，图像叠加在电视跟踪、雷达跟踪、红外跟踪等各种跟踪过程中也有非常重要的应用。随着大规模集成电路技术和工业化计算机应用技术的发展，图像叠加已经广泛应用于高速公路、公共场所、智能楼宇等民用设施中。1.2图像叠加技术研究的意义随着监控一类系统的广泛应用，传统的叠加设计，存在集成度低，灵活性差（不利于调试和修改设计），不适合设计高速叠加等缺点，所以基于模拟信号的叠加技术已经不再适应图像叠加的发展要

10、求。基于数字信号的叠加技术应运而生。本设计采用大规模可编程逻辑阵列来实现控制，电路可靠，器件延时时间短，大大减小了电路板的体积，降低了电路功耗，增加了可靠性，大幅提高小系统的数据处理能力和运算能力，为后续系统的工作提供有力支持。论文中涉及到的关于这款芯片的使用方法，CMOS图像传感器的时序设计流程以及硬件电路设计方法对今后的设计工作有一定的借鉴意义。1.3叠加技术研究的背景 叠加技术经历了三个不同的发展阶段。第一阶段是“图解现实控制”即GDC阶段。它是利用中小规模数字集成电路来实现各部分所要求的严格的时序关系，并将形成的字符信号与视频信号在预定的时间关系上混合并显示在屏幕上。在这种方式中。字符

11、的产生有两种方法：专用字符发生器：它是一种专用的ROM，常用的有MK36000、MCM6670P、MN1217等。他们将字符或数字以点阵的方式存入存储器中，外加恰当地址后便能输出相应的数据信号。该方式一旦选定了某种器件，所显示的字符也就确定了，缺乏灵活性，且不能显示图形，通常称此为“文本方式”。“图形方式”：在这种方式中，是用EPROM来存储字符或图形的点阵数据其点阵形式由设计者自己决定，具有更大的灵活性。第二阶段是用CRT控制器这类专用集成电路的阶段。常用的有M6237、MC6845等，它将“图解显示控制方式”中的中小规模集成器件构成的电路集成化。字符（或图形）等以点阵方式存储在外围的ROM

12、或RAM中。它使电路大为简化，而且使用较为方便。第三阶段是垫片“屏幕现实”器件阶段：因为在与电视有关的产品上，并不需要显示很多的字符或图形，因此将以上CRT控制器中的外部存储器与其集成在一起而形成所谓单片屏幕现实器件。1.4基于CPLD的数字图像叠加十字线研究的主要内容本文主要研究了基于CPLD的数字图像叠加技术方面的问题，基于对可编程逻辑器件CPLD芯片和相关软件的学习，实现用CPLD控制在数字图像中目标位置叠加十字线。文中利用CPLD设计了一个十字线叠加的位置计数器，计数器包括对行方向位置的计数和对场方向位置的计数。行方向计数器根据目标的Y坐标，对采样脉冲计数，决定是十字线中心的纵坐标位置

13、。像素方向计数器根据目标的X坐标，对像素时钟计数，决定十字线中心的横坐标位置。第二章 CMOS图像传感器原理2.1 CMOS图像传感器像元结构的种类 已设计出的CMOS图像传感器像元结构有光电二极管型无源像素（MOS-PPS）结构、光电二极管型有源像素（PD-CMOS-APS）结构和光栅型有源像素（PG-CMOS-APS）结构等三种类型。 1. MOS-PPS的像素结构 光电二极管型CMOS无源像素传感器（CMOS-PPS）的结构自从1967年Weckler首次提出以来，实质上一直没有变化。它由一个反向偏置的光电二极管和一个开关管构成。当开关管开启，光电二极管与垂直的列线连通。位于列线末端的电

14、荷积分放大器读出电路保持列线电压为一常数，并减少KTC噪声。光电二极管受光照将光子变成电子，通过行选择开关将电荷读到列输出线上。当光电二极管存贮的信号电荷被读出时，其电压被复位到列线电压水平。与此同时，与光信号成正比的电荷由电荷积分放大器转换为电荷输出。光电二极管型CMOS-PPS的像素时钟结构见图2.1。 2. CMOS-APS的像素结构 几乎在CMOS无源像素传感器（CMOS-PPS）像素结构发明的同时，人们就很快认识到在像元内引入缓冲器或放大器可以改善像元的性能。光敏二极管型有源CMOS图像传感器通过复位开关和行选择开关将放大的光电产生的电荷读到感光阵列外部的信号放大电路。每个像元内部都

15、包含一个有源单元，既包含有一个或多个晶体管组成的放大电路，在像元内部先进行电荷放大，再被读出到外部放大电路。在像元内部对电荷信号进行放大，并且可以像DRAM那样被单独选址和读出。光电二极管型CMOS-APS的像素结构图见图2.2。CMOS图像传感器具有的一个很大的优点是它只要求一个单电压来驱动整个装置。不过设计者仍应谨慎地布置电路板以驱动芯片。根据一般的实际要求，数字电压和模拟电压之间应尽可能地分离开以防止有害的串扰。因此良好的电路板设计、接地和屏蔽就显得非常重要。尽管这种图像传感器是一个CMOS装置并具有标准的输入/输出（I/O）电压，但它实际的输入信号相当小，而且对噪声也很敏感。到目前为止

16、，已设计出高集成单芯片CMOS图像传感器。设计者力图使有关图像的应用更容易实现。许多功能包括自动增益控制（AGC）、自动曝光控制（AEC）、伽玛校正、背景补偿和自动黑电平校正。所有的彩色矩阵处理功能都被集成在芯片上。CMOS图像传感器允许片上的寄存器功能可以通过I2C总线编程来实现参数设定功能，有很宽的动态范围，抗浮散且几乎没有拖影。 2.2 CMOS图像传感器OV7620OV7620是OMNIVISION公司生产的高度集成的1/3英寸单芯片CMOS图像传感器。它是基于线线传输的场积分读出系统和以像素同步读出为原理的电子快门。此设备合并了一个帧频高达每秒30帧的640480分辨率的图像阵列，一

17、个模拟信号处理器，双向10位A/D转换器，模拟视频开关、数字编译器和视频口、I2C总线及其寄存器，数字控制电路。OMINVISION公司所有的传感器产品均利用先进的算法去除FPN（固定图形噪声），消除拖尾效应，彻底的减小光晕。通过串行I2C总线控制包括曝光，增益，白平衡，色彩饱和度，色调控制，开窗口等功能。此器件可通过编程选择输出16位图像数据还是8位图像数据。数字相机绝大多数的信号处理是在模拟处理模块中实现的，它可以实现颜色分离、矩阵转换、AGC、系数矫正、色彩矫正、色彩平衡、黑电平校准、平滑、光圈矫正、照度和色度图像的控制、抗混淆滤波。模拟视频信号是根据下式定义的：Y0.59G+0.31R

18、+0.11B；其中R、G、B是每个像素中的相应的颜色成分UR-Y VB-Y另一种输出数据模式是YCrCb，它的公式如下： Y0.59G+0.31R+0.11BCr=0.713（R-Y）Cb=0.564（B-Y)YCrCb/RGB原始数据信号送入两个10位A/D转换器，一个转换器供Y、R、G通道使用，另一个供CrCb和BG通道共用。A/D转换数据线安装在数字编码器内部，数据视频口具有16位或8位数据开关。OV7620为黑白图像传感器。在黑白工作模式下，UV端口被置于三态，所有的数据均从Y端口输出。OV7620支持编程交换Y/UV或RGB输出字节的重要性。Y7Y0默认的顺序是：Y7是最重要的，Y0

19、是最不重要的。交换后，Y7就是最不重要的，Y0是最重要的，其余位按对应位置交换。OV7620提供标准的视频时钟信号如：VSYNC、HREF、PCLK、FODD、CHSYNC。前三种信号对电路的设计起重要的作用。（如图2.3所示）。a水平时序图 b垂直时序图 图2.3 OV7620的水平及垂直时序中的行场同步信号 VSYNC：垂直同步脉冲，即帧（场）同步时钟。它的一个上升沿来临时，HREF有效。当下一个上升沿来临时，标志着一整帧图像结束。HREF：水平有效数据窗口。亦称行同步，标志水平方向的有效数据。即当HREF为高时，PCLK有效。当HREF为低时，PCLK无效。PCLK：像素时钟信号。用于锁

20、存有效数据，数据上升沿锁存。场（帧）同步信号表明新一帧图像数据输出的开始，行同步信号则保证在其有效时输出的是指定窗口内的像素图像数据，每个像素时钟周期内输出一个像素的图像数据。在默认状态下，CMOS图像传感器在像素时钟的下降沿更新输出图像数据（8位灰度图像），并在上升沿稳定下来。CMOS图像传感器OV7620产生的时序图如图2.4和图2.5：图2.4 相机的行同步HREF(CH1)和像素时钟PCLK(CH2)在图2.4中，CH1为行同步HREF波形图，CH2为像素时钟PCLK波形图，通过对OV7620的学习，可以得知在每一个行同步信号有效时间内有640个像素时钟信号。图2.5 相机的帧同步VS

21、YNC(CH1)和行同步HREF(CH2)时钟 在图2.5中，CH1为帧同步VSYNC波形图，CH2为行同步HREF波形图，通过对OV7620的了解，在两个场同步信号之间有480个行同步信号，这种数据对应关系对以后基于可编程逻辑器件叠加十字线起着重要的作用。2.3 可编程逻辑器件在数字电子系统领域，存在三种基本的器件类型：存储器、微处理器和逻辑器件。存储器用来存储随机信息，如数据表或数据库的内容。微处理器执行软件指令来完成范围广泛的任务，如运行文字处理程序或视频游戏。逻辑器件提供特定的功能，包括器件与器件间的接口、数据通信、信号处理、数据显示、定时和控制操作、以及系统运行所需要的所有其它功能。

22、2.3.1 固定逻辑与可编程逻辑逻辑器件可分为两大类:固定逻辑器件和可编程逻辑器件。一如其名，固定逻辑器件中的电路是永久性的，它们完成一种或一组功能，一旦制造完成，就无法改变。另一方面，可编程逻辑器件（PLD）是能够为客户提供范围广泛的多种逻辑容量、特性、速度和电压参数的标准成品部件，而且此类器件可在任何时间改变，从而完成许多种不同的功能。 对于固定逻辑器件，根据器件复杂性不同，从设计原型到最终生产所需要的时间可从数月至一年多不等。而且，如果器件工作不合适，或者如果应用要求发生了变化，那么就必须开发全新的设计。设计和验证固定逻辑的前期工作需要大量的非重发性设计成本（NRE）。NRE代表在固定逻

23、辑器件最终从芯片制造厂制造出来以前客户需要投入的所有成本包括工程资源、昂贵的软件设计工具、用来制造芯片不同金属层的昂贵光刻掩膜组以及初始原型器件的生产成本。这些NRE成本可能从数十万美元至数百万美元。 对于可编程逻辑器件，设计人员可利用价格低廉的软件工具快速开发、仿真和测试其设计。然后，可快速将设计编程到器件中，并立即在实际运行的电路中对设计进行测试。原型中使用的PLD器件与正式生产最终设备（如网络路由器、DSL调制解调器、DVD播放器、或汽车导航系统）时所使用的PLD完全相同。这样就没有了NRE成本，最终的设计也比采用定制固定逻辑器件时完成得更快。采用PLD的另一个关键优点是在设计阶段中客户

24、可根据需要修改电路，直到对设计工作感到满意为止。这是因为PLD基于可重写的存储器技术，要改变设计，只需要简单地对器件进行重新编程。一旦设计完成，客户可立即投入生产，只需要利用最终软件设计文件简单地编程所需要数量的PLD就可以了。2.3.2 PLD的发展20世纪80年代迅速发展起来的可编程逻辑器件（PLD），是可由用户编程、配置的逻辑器件。PLD适宜于小批量生产的系统，或在系统开发研制过程中采用。因此在计算机硬件、自动化控制、智能仪表、数字电路系统等领域中得到了广泛应用。它的应用和发展不仅简化了电路设计，降低了成本，提高了系统的可靠性和保密性，而且给数字设计方法带来了重大变化。现在的PLD产品比

25、较起来无论是集成度还是灵活性都很高。随着双极性TTL工艺向CMOS技术的转移，PLD器件在80年代得以迅猛发展，至今已经历了大致四个阶段：第一阶段包括可编程只读存储器PROM和可编程逻辑阵列PLA器件。第二阶段开发了可编程阵列逻辑PAL器件。第三阶段出现了CMOS电路可擦型器件，先后研制成功紫外线可擦和电可擦的可重复编程器件，其主要代表为通用阵列逻辑器件GAL。第四阶段出现完全不同于PROM和PAL结构的PLD器件。例如逻辑单元阵列LCA、宏单元可编程逻辑器件MPLD以及现场可编程门阵列FPGA和在系统可编程ISP逻辑器件等。早期的可编程逻辑器件只有可编程只读存贮器(PROM)、紫外线可擦除只

26、读存贮器(EPROM)和电可擦除只读存贮器(EEPROM)三种。由于结构的限制，它们只能完成简单的数字逻辑功能。其后，出现了一类结构上稍复杂的可编程芯片，即可编程逻辑器件(PLD)，它能够完成各种数字逻辑功能。典型的PLD由一个“与”门和一个“或”门阵列组成，而任意一个组合逻辑都可以用“与一或”表达式来描述，所以，PLD能以乘积和的形式完成大量的组合逻辑功能。这一阶段的产品主要有PAL(可编程阵列逻辑)和GAL(通用阵列逻辑)。PAL由一个可编程的“与”平面和一个固定的“或”平面构成，或门的输出可以通过触发器有选择地被置为寄存状态。PAL器件是现场可编程的，它的实现工艺有反熔丝技术、EPROM

27、技术和EEPROM技术。还有一类结构更为灵活的逻辑器件是可编程逻辑阵列(PLA)，它也由一个“与”平面和一个“或”平面构成，但是这两个平面的连接关系是可编程的。PLA器件既有现场可编程的，也有掩膜可编程的。在PAL的基础上，又发展了一种通用阵列逻辑GAL(Generic Array Logic)，如GAL16V8，GAL22V10等。它采用了EEPROM工艺，实现了电可擦除、电可改写，其输出结构是可编程的逻辑宏单元，因而它的设计具有很强的灵活性，至今仍有许多人使用。这些早期的PLD器件的一个共同特点是可以实现速度特性较好的逻辑功能，但其过于简单的结构也使它们只能实现规模较小的电路。 为了弥补这

28、一缺陷，20世纪80年代中期，Altera和Xilinx分别推出了类似于PAL结构的扩展型CPLD(Complex Programmable Logic Device)和与标准门阵列类似的FPGA(Field Programmable Gate Array)，它们都具有体系结构和逻辑单元灵活、集成度高以及适用范围宽等特点。这两种器件兼容了PLD和通用门阵列的优点，可实现较大规模的电路，编程也很灵活。与门阵列等其它ASIC(Application Specific IC)相比，它们又具有设计开发周期短、设计制造成本低、开发工具先进、标准产品无需测试、质量稳定以及可实时在线检验等优点，因此被广泛应

29、用于产品的原型设计和产品生产(一般在10,000件以下)之中。几乎所有应用门阵列、PLD和中小规模通用数字集成电路的场合均可应用FPGA和CPLD器件。第三章 图像叠加电路硬件组成本系统主要应用到单片机CPLD逻辑控制器件EMP7128，静态存储器HM658512，单片机AT90S8515，USB接口芯片PDIUSBD12等，由这些器件组成的硬件电路实现对数字图像的十字线叠加。3.1硬件系统设计下面将具体对各部分器件结构及其原理进行简单的介绍，系统框图如图3.1所示：图3.1 硬件系统框图 在图3.1这个系统图中，可以在上位机上输入叠加十字线的位置数据。这时上位机通过USB接口把命令发给单片机

30、，单片机再控制可编程逻辑器件CPLD开始叠加；同时经上位机通过USB接口把一幅图像的灰度值数据存储在静态存储器HM658512中，当单片机收到上位机发出命令时，控制可编程逻辑器件CPLD，开始在图像中对应位置叠加十字线，同时读取静态存储器里的图像灰度值，并由数据输出口输出。3.2 EPM7128芯片CPLD是一种整合性较高的逻辑元件。由于具有高整合性的特点，故其有性能提升，可靠度增加，PCB面积减少及成本下降等优点。CPLD元件，基本上是由许多个逻辑方块（Logic Blocks）所组合而成的。而各个逻辑方块均相似于一个简单的PLD元件（如22V10）。逻辑方块间的相互关系则由可编程的连线架构

31、，将整个逻辑电路合成。 Altera公司作为全球最大的可编程逻辑器件供应商之一，可提供MAX7000S(E)、MAX7000A(AE)、MAX7000B、FLEX6000A、FLEX10KA、FLEX 10KE等系列产品。这些产品可用于组合逻辑、时序、算法、双端口RAM、FIFO的设计。在加ALTERA公司的MAX+PLUS II 10.2开发软件集设计输入、处理、校验和器件编程于一体，集成度高，开发周期短。 EPM7000系列CPLD器件的性能特点:以第二代多阵列矩阵（MAX）结构为基础，是一种高性能CMOS EEPROM 器件； 通过JTAG接口可实现在线编程（ISP）； 逻辑密度为600

32、5000个可用编程门电路，128个宏单元； 引脚到引脚的逻辑延时为5.0ns，计数器工作频率可达到178MHz； 有集电极开路选择，可编程宏单元触发器； 具有专有的清除、时钟、输出使能控制； 包括一个可编程的程序加密位，全面保护专利设计。 EPM7128SL84-15的各项参数: 可用门数目:2500 宏单元数目:128 逻辑阵列块数目:8 最大用户I/O数目:100 tPD(ns):6 tSU/ns:5 tFSU/ns:2.5 tC01/ns:43.3 AVR单片机AT90S8515AT90S8515是基于增强的AVR RISC结构的低功耗的8位CMOS微控制器。由于其先进的指令集以及单时钟周期指令执行时间，AT90S8515的数据吞吐率高达1MIPS/MHz，从而可以缓减系统在功耗和处理速度之间的矛盾