红外图像及微光图像的融合算法研究.docx

红外图像及微光图像的融合算法研究.docx

《红外图像及微光图像的融合算法研究.docx》由会员分享，可在线阅读，更多相关《红外图像及微光图像的融合算法研究.docx（47页珍藏版）》请在冰点文库上搜索。

红外图像及微光图像的融合算法研究

毕业设计说明书（论文）中文摘要

夜视图像的融合是图像领域研究的一个重要方向。

由于微光图像与红外图像的图像质量各有优缺点，不能很好的满足应用要求。

若能将两种图像以某一算法进行融合处理，综合运用多源信息，就能得到性能比任一源图像好的图像，更好地满足应用的要求。

图像融合的层次有三种：

像素级、特征级和决策级，本论文实现的是像素级上的融合。

像素及融合也有多种方法，本论文采用的是基于小波变换的融合方法，详细的介绍了基于小波变换的图像融合原理、方法和优缺点，并成功地实现了融合。

关键词微光图像红外图像融合像素级小波变换

毕业设计说明书（论文）外文摘要

TitleResearchingalgorithmoffusionabout

lowlightlevelimageandinfraredimage

Abstract

Fusionnightvisionimagesisanimportantdirectionofresearchingareasaboutimage.Becauseoflowlightlevelimageandinfraredimagehavetheirownadvantagesanddisadvantages,theycouldn’tmeettheapplicationrequirement.Ifaparticularalgorithmcanbeusedtofusethetwoimages,thenwecangetbetterperformanceimagetomeettheapplicationrequirement.Imagefusionlevelsareofthreetypes:

thepixellevel,featurelevelanddecisionlevel,thispaperrealizethepixellevelfusion.Pixellevelfusionalsohasavarietyofmethods,thispaperisbasedonthewavelettransformfusionmethodandintroducestheimagefusionbasedonthewavelettransformofprinciple,methodandadvantagesanddisadvantages,andsuccessfullyrealizedthefusion.

Keywordslowlightlevelimage,infraredimage,fusion,pixellevel,wavelettransform

目次

1引言……………………………………………………………………………1

1.1图像融合的意义和应用价值…………………………………………………1

1.2图像融合的发展现状…………………………………………………………1

1.3图像融合的发展趋势…………………………………………………………2

1.4本文工作及特色………………………………………………………………3

2夜视技术…………………………………………………………………………4

2.1概述……………………………………………………………………………4

2.2微光成像技术…………………………………………………………………4

2.3红外成像技术…………………………………………………………………5

2.4红外热成像技术与微光成像技术的比较……………………………………6

2.5微光图像和红外图像的融合…………………………………………………7

3图像融合原理……………………………………………………………………7

3.1图像融合层次…………………………………………………………………7

3.2图像融合流程…………………………………………………………………8

3.3像素级图像融合………………………………………………………………9

3.4小结……………………………………………………………………………12

4基于小波变换的图像融合方法…………………………………………………12

4.1小波变换………………………………………………………………………12

4.2多分辨率分析…………………………………………………………………16

4.3基于离散小波变换的图像融合方法……………………………………………17

4.4基于小波变换的融合规则……………………………………………………20

5图像预处理………………………………………………………………………21

5.1图像去噪………………………………………………………………………21

5.2图像增强………………………………………………………………………24

6图像融合…………………………………………………………………………28

6.1空间域融合……………………………………………………………………28

6.2频率域融合……………………………………………………………………29

6.3结论……………………………………………………………………………31

结论…………………………………………………………………………………32

致谢………………………………………………………………………………33

参考文献…………………………………………………………………………34

1绪论

1.1图像融合的基本概念

图像包含着非常丰富的信息，随着遥感与遥感技术的发展和应用的不断扩大，融合技术在卫星、航空、航天、机器人和医学等图像处理中获得了大量的应用。

基于多频谱、多波段、多分辨率的图像数据融合技术和基于运动图像、光学流的数据融合技术获得巨大的进步，成为图像处理中新的研究热点和重要的技术手段之一。

图像融合技术是单一图像传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多图像传感器信息之间可能存在的冗余和矛盾，加以互补，降低其不确定性，减少模糊度，以增强图像中信息透明度，改善信息的精度、可靠性以及使用率，以形成对目标的完整一致的信息描述[1]。

图像融合的目标是综合来自相同景物的多个图像信息。

图像融合的结果是更易为人或机器感知的一个新的图像或更易进行进一步的图像处理任务。

也可以这样来描述图像融合：

把对同一目标或场景用不同的传感器所获得的图像或用同一传感器在不同的时刻或用不同方式所获得的多重图像（如TV,IR,CT,SAR,多光谱图像），在不同的数据表征层次上进行合成，融合信息能集中反映多重原始图像的信息，以达到对目标和场景更为精确，全面的分析和判决。

根据图像融合处理所处阶段的不同，图像融合处理通常可以在三个不同层次上进行：

像素级（Pixel-level）图像融合，特征级（Feature-level）图像融合以及决策及（Decision-level）图像融合[2]。

（1）像素级图像融合

像素级图像融合是在严格配准的条件下，对各传感器输出的图像信号，直接进行信息的综合与分析。

像素级融合是在基础层面上进行的信息融合，其主要完成的任务是多传感器目标和背景要素的测量结果进行融合处理。

像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其他层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析，处理和理解。

像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础。

但是与其他两个层次的融合相比，像素级融合需要处理的信息量最大，处理时间较长，对设备的要求也比较高。

在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中最为复杂且实施难度最大的融合。

本文所研究的融合技术就是

这种最基础的图像融合。

（2）特征级图像融合

特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息（如边缘，形状，轮廓，区域等）进行融合是在中间层次上进行的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。

它使用参数模板，统计分析，模式相关等方法完成几何关联，特征提取和目标识别等功能，以利于系统判决。

一般从源图像中提取的典型特征信息有：

线型、边缘、纹理、光谱、相似亮度区域、相似景深区域等。

在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。

（3）决策级图像融合

决策级图像融合是根据一定的准则以及每个决策的可信度做出最优决策。

决策级融合是最高层次的信息融合，在每个传感器已完成了目标提取与分类之后，融合系统根据一定的准则以及每个决策的可信度做出决策融合处理。

这种融合实时性好，并且具有一定的容错能力，但其预处理代价较高，图像中原始信息的损失较多。

决策级融合方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。

1.2夜视图像的融合

夜视技术主要分为微光夜视技术和红外热成像技术两类[3]。

微光夜视技术致力于探索夜间和其他低光照度时目标图像信息的获取，转换，增强，记录和显示，研究其在人类实际生活中的应用。

它的成就集中表现在使人眼视觉在时域，空域和频域得到有效扩展。

而红外热成像技术能把目标与场景各部分的温度分布，发射率差异转换成相应的电信号，再转换成可见光图像。

热像仪的温度分辨率很高（0.1—0.01℃），使观察者更容易发现目标的蛛丝马迹。

但微光和红外成像也各有其不足之处，其中微光图像的对比度差，灰度级有限，瞬闻动态范围差，高增益时有闪烁，强光闪烁时会出现光晕乃至错觉。

而红外热图像与物体和场景温度有关，物体会呈现不自然的外观。

虽然微光夜视和红外热成像是当前夜视装备的主要技术模式，是世界各国发展的重点技术。

但由于在夜晚微光条件下，系统可探测的光谱范围窄，器件灵敏度和图像信噪比（SNR）低，致使以往的微光图像和红外热图像都是单色图像，且图像缺乏立体感（深度感）。

这些都不利于目标的探测，使得系统的应用受到限制。

随着微光与红外成像技术的发展，综合和发掘微光与红外图像的特征信息，使其融合成更全面的图像已发展成为一种有效的技术手段。

夜视图像融合能增强场景理解，突出目标，有利于在隐藏，伪装和迷惑的军用背景下更快更精确地探测目标。

将融合图像显示成适合人眼观察的自然形式，可明显改善人眼的识别性能，减小操作者的疲劳感。

1.3图像融合的意义及其必要性

图像融合具有很多功能和优点：

比如锐化图像、改善几何纠正精度、为立体摄影测量提供立体观测能力、增加单一图像不清晰特征、互补的数据用于改善分类质量、利用多时域数据进行变化检测、对某一图像中丢失的信息用另一传感器图像数据来替换、完成图像的编码和压缩、实现图像重构等等[4]。

而单一的红外或微光成像技术，由于原理不同，各有利弊。

微光图像的对比度差，灰度级有限，瞬间动态范围差，高增益时有闪烁，只敏感于目标场景的反射，与目标背景的热对比无关。

而红外图像的对比度差，动态范围大，但其只敏感于目标场景的辐射，而对场景的亮度变化不敏感。

在微光和红外技术各自不断进展的时期，考虑到二者的互补性，在不增加现有技术难度的基础上，将微光图像和红外图像融合以获取更好的观察效果，成为当前夜视技术发展的热点之一，这也使得图像融合技术的研究显得非常有迫切性。

随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。

但是，目前作为信息输出源的各种图像获取技术传感器的性能还不能完全满足人们的要求，还没有一种图像获取技术能够保证按照要求提供完整可靠的信息，这一方面是由于受到获取技术本身发展水平的限制；另一方面是因为任何一种获取技术都有一定的精度和使用范围而且信号都会受到周围环境的干扰。

也就是说，一幅图像只能提供部分的，不完全精确的信息，因此不能排除对未知或部分未知环境描述的多义性。

对于来自同一景物的多幅图像，由于其成像传感器方向不同，景物自身的变化以及各种干扰存在，所摄取的图像会存在程度不同的失真和变质。

这就产生了如何从多幅图像中恢复出原始图像的问题，即图像数据融合技术的问题。

1.4图像融合的应用及发展前景

图像融合技术的上述优点使其在现代技术各个领域得到了充分的应用。

目前，将

图像融合技术应用于数字图像处理的主要目的有以下几种：

（1）增加图像中有用信息的含量，改善图像的清晰度，增强在单一传感器图像中无法看见，看清的某些特征；

（2）改善图形的空间分辨率，增加光谱信息的含量，为改善检测，分类，理解，识别性能获取互补的图像信息；

（3）通过不同时刻的图像序列融合来检测场景，目标的变化情况；

（4）利用来自其他传感器的图像来替代，弥补某一传感器图像中的丢失，故障信息。

1.4.1图像融合的应用

（1）军事应用

图像融合在军用方面主要是军事目标的定位、识别、跟踪、侦察，隐蔽武器的探测，战场监控，夜间飞行指导等。

所使用的图像类型主要有各种卫星图像如SPOT图像、TM图像、雷达图像数据、热红外图像、航片等。

以目标检测为例，军事上使用图像融合技术进行目标检测十分普遍。

由于军事目标往往具有隐蔽性，变化也较快，因此使用的图像应该能很好地显示出这些特征。

这样，进行目标检测经常采用的图像就包括可以在恶劣天气状况下成像的雷达图像、具有反伪装能力的红外图像和可见光图像等。

具体包括恶劣天气下的目标检测、伪装目标的识别、制作地形图等。

（2）国土资源应用

国土资源方面包括土地利用的动态检测，森林、海洋资源调查，环境监察与监测，洪涝灾害的预测与评估等都要用到融合技术。

处理的图像数据类型主要有各种卫星图像如TM图像、SPCrr图像、SAR图像等。

具体地，图像处理的目的是通过分析不同时期的卫星图像，从中提取、分析变化信息，要求融合图像能直观地表示出这个变化，反映到融合图像上，往往用不同的彩色区域来表示。

具体包括土地信息变化的提取、地质灾害调查、城市规划、洪水监测等。

（3）其它应用

图像融合技术还广泛的应用在导航、摄影、医学等领域。

在摄影中的图像处理方面，主要是清晰度的处理问题。

常用在多焦点情况下。

使用的方法包括简单的加权融合、主成分分析等。

在医学上，主要是对两种不同类型的图像一一解剖结构图像（CT、MRI、B超等）和功能图像（SPECT、PET等）进行融合，得到结合了解剖图像的高分辨率

信息和功能图像的脏器功能代谢信息的图像。

医学图像融合技术在肿瘤的精确定位、癌症的早期检测和诊断中发挥重要作用。

1.4.2图像融合的发展前景

以往的微光图像和热图像都是单色图像，其最大缺陷是低信噪比且图像缺乏体视感（深度感），不利于目标的探测。

利用人眼彩色视觉的高分辨力和高灵敏度的特性，实现彩色夜视图像融合对于目视夜视系统可提高探测和识别目标能力，具有明显的战场效果[5]。

与以往图像灰度彩色编码的伪彩色技术不同，彩色夜视融合图像包含了景物的光谱或波谱信息，具有更丰富的景物信息。

但是，由于彩色夜视图像融合的色彩往往与人类本身的视觉不同，过于鲜明的彩色图像对比易造成观察者的疲劳和烦恼，不适宜长时间的密集观察，设置难以获得理想的效果，因此，寻找接近人眼视觉感的彩色夜视图像融合算法成为研究重点。

彩色夜视图像融合主要指多种微光夜视、中波与长波热成像系统之间图像的彩色融合。

目前接近人眼视觉感的彩色夜视图像融合算法主要有彩色微光夜视以及微光与热成像的彩色夜视。

彩色夜视图像融合通常采用基于RGB空间以及基于HSV空间的融合结构。

荷兰DEP公司采用双通道微光CCD（ICCD）构造了彩色微光夜视系统CII，获得了明显的夜视视觉改善，实验结果表明：

相对单色微光夜视仪可使目标识别速度提高30％，识别错误减少60％，并具有一定的体视效果，有利于目标的探测与识别[6]。

图像融合技术在国内的研究相对于国际的研究工作起步较晚，还处于落后状态。

尽管在遥感领域，多传感器、多时相的图像配准与镶嵌技术已相当成熟，但这些技术主要是针对图像波段接近、图像特征比较相近、又往往在各自的图像上有较多事先已知的特征点的情况，在一般情况下又不需要进行现场实时配准。

这对战场环境下的可见光与长波红外图像配准并不适用，因为这时情况正好相反或差别很大。

1.5本论文所做的工作

本文以夜视图像的特征为出发点，以改善夜视图像质量为主要目的，研究了适用于夜视图像融合的理论算法并通过Matlab软件实现图像融合的仿真。

具体工作如下：

（1）对夜视图像的噪声进行了处理，主要研究了用中值滤波法和自适应滤波法对微光图像和激光助视图像进行了去噪。

并对去噪后的效果进行了对比分析。

（2）对夜视图像进行了图像增强，主要研究了用直方图均衡化法和灰度调整法对去噪后的夜视图像进行增强。

并对比各方法的处理效果。

（3）对两预处理后的图像进行融合处理，采用空间域和频率域两种融合算法，分析融合后的图片，对比各方法的融合效果。

2夜视图像特征分析

2.1概述

人眼之所以能看见周围的景物，是因为景物反射或自身辐射的可见光（波长范围为0.30-0.76微米）作用于人眼视网膜激起了视觉。

人眼只能感觉到可见光，而且必须在照度足够大时才能看清景物[7]。

昼间可见光照度大（通常在100勒克斯以上），人的视觉有很高的分辨能力和辨别颜色的能力。

夜间可见光照度很小（即使在星月满天的夜晚，也只有0.2勒克斯），人眼只能区别某些物体的轮廓，且视程很近，分辨力很低。

夜间的可见光指月光、星光和大气辉光等微弱的可见光，统称微光[8]。

在微光条件下，人的视觉功能受到很大限制。

但是，现代的夜视技术可以把微光增强到人眼能够看清景物的光照度范围，从而实现夜视目的。

在夜间除有微光外，还存在非常丰富的人眼看不见的红外线。

红外线虽然不能被人眼直接感光产生视觉，但若通过某种方式将红外线变成可见光，也能达到用人眼观察夜间目标的目的。

因此，微光和红外线是实现夜视的两个条件。

这两个条件可用来改善和扩大人的视觉范围。

通过把微光增强到足以引起人眼视觉的照度，或把看不见的红外线转变成可见光，人们发展了微光和红外夜视技术，并研制出多种类型的夜视装备。

这些装备都是先把来自目标的微光或红外线光线转换成电信号，再把电信号放大，最后又转换成可见光信号。

这种“光-电-光”的转换是夜视装备实现夜视的基本途径。

为了提高部队的夜战能力，夜视技术多年来一直是发达国家重点发展的技术领域。

美国在这个领域一直占据领先地位。

近年来，美国又在微光夜视和红外夜视方面取得了新进展，研制出第四代微光夜视眼镜，开始装备横向技术集成型第二代前视红外传感器，并正在开发突出量小的增强型微光夜视眼镜、大视场的全景夜视眼镜和第三代红外技术。

微光图像和红外图像作为夜视图像的两大类，对它们进行的增强处理技术及压处理技术一直是夜视领域重要的研究课题。

而微光图像和红外图像所具有的特征则成为对它们进行处理的算法依据基础。

由于本论文研究的是微光图像，所以下面仅对微

光图像的特征进行分析阐述。

2.2微光图像特征分析

微光图像有很低的对比度、非常有限的灰度级、在高增益下有颗粒和闪烁噪声以及模糊现象。

微光成像研究在低光照条件下景物信息的转换、增强并应用于夜间观察。

它利用的光谱区域是由月光、星光、大气辉光，以及它们的散射所综合形成的夜天光辐射。

事实上，夜间自然辐射、目标和背景自身的辐射以及反射的辐射，各有其不同的光谱特性。

就微光图像而言，夜晚在红光及近红外区域有突出强烈的自然辐射，物体中绿色草木在这些光谱范围内的反射最强烈。

而野外环境常以绿色草木为背景，典型目标常为涂暗绿色漆的运动军事目标和混凝土结构的固定军事目标为多，在夜间，这些典型目标与背景的微光夜视探测的对比度呈现复杂的光谱分布。

微光电视图像与一般的可见光图像不同，它是经过多次光电转换和电子倍增而形成的，因此它不仅与场景的照明条件和景物的反射率分布有关,而且还与成像器件的信号转换，像增强器的增益和系统噪声有关,对像增强CCD，它还与CCD空间采样频率及量化有关[9]。

由此可见，描述微光电视图像的特征要从多方面论述。

一般分析与阐述微光图像特征主要从以下几个方面着手：

图像信噪比，灰度分布，像素空间与时间相关性等。

分析微光图像的特征，对微光多光谱图像融合技术研究具有重要的指导意义。

为了能够更好地对微光图像进行融合处理，需要掌握相关的微光电视图像的理论基础知识，下面我们就来具体探讨一下微光电视图像的特征。

2.2.1微光电视图像的成像过程

微光电视系统的成像过程实质上就是微光摄像器件对景物的辐射能（或反射能）通过光学系统之后，在其敏感的光谱范围内积分的过程，可用下式近似表示：

（2.2.1.1）

其中L表示景物成像信号大小（即亮度值）；S（λ）表示夜间天空的辐射特征；ρ（λ）表示景物的光谱反射系数；τ（λ）表示光学系统的光谱透过率；τ’（λ）表示大气的光谱透过率；R（λ）表示像增强器光电阴极的光谱响应特性；λ1、λ2表示光电阴极敏感范围上限和下限波长。

若定义目标与背景之间的亮度对比为K，则有：

（2.2.1.2）

其中LO、LB分别为目标和背景的亮度，由式（2.2.1.1）可知，上式可表示为：

（2.2.1.3）

其中，ρo（λ）、ρb（λ）分别表示目标和背景的光谱反射系数。

从式（2.2.1.3）可以看出，微光电视图像景物的对比度不仅与微光电视系统的性能（τ（λ）、R（λ））有关，还与夜天光的辐射特性（S（λ））、大气的透明状况（τ（λ））以及目标和背景的光谱反射特性（ρo（λ）、ρb（λ））有关。

2.2.2微光电视图像一维直方图统计分析

图像的随机分布本身就是图像的重要特征，直方图就是图像的一种宏观统计，它用来表示数字图像中每一灰度级与其出现频数（该灰度像素的数目）间的统计关系，用横坐标表示灰度级，纵坐标表示频数[10]。

直方图能给出该图像的概貌性描述，例如图像的灰度范围，每个灰度级的频数和灰度的分布，整幅图像的平均明暗及对比度等，由此可作为进一步处理的重要依据。

一幅数字图像可看作是二维随机过程的一个样本，能用联合概率分布加以描述。

定义图像灰度的一阶概率分布为：

（2.2.2.1）

式中b是图像某一灰度值，L为图像最高灰度值。

P（b）为直方图，其近似值可写为：

（2.2.2.2）

式中M是以（i,j）为中心的测量窗口中的像素总数，N（b）是该窗口内灰度值为b的像素点。

通常假定图像是平稳的，取窗口M为整幅图像，N（b）是整幅图像中灰度值为b的像点数。

一般情况下这个窗口可指定为整幅图像。

一维直方图虽然只对孤立点的统计，不能统计图像像素间的相关关系，但图像一维直方图的形状仍可给出图像特性的许多信息。

例如，分布狭窄的直方图反映图像的对比度很低，双峰型直方图反映图中存在两个不同灰度区等等。

我们通过对大量不同景物的直方图统计分析，不难得出这样的结论，即微光CCD摄取的图像具有以下的灰度特征：

（1）微光CCD摄像机输出图像的对比度很低，直方图上表示为灰度范围较集中，动态范围不大，很少充满整个灰度空间。

可见光图像的像素则分布于几乎整个灰度级

空间。

（2）微光CCD摄像机输出的图像具有一定的亮度，直方图上表现为直方图中心保持在中间某一特定的灰度值附近，这些范围以外的灰度级上则没有或只有很少的像素。

可见光图像的像素