像素级多分辨率图像融合方法研究.doc
《像素级多分辨率图像融合方法研究.doc》由会员分享，可在线阅读，更多相关《像素级多分辨率图像融合方法研究.doc（78页珍藏版）》请在冰点文库上搜索。
重庆大学硕士学位论文
像素级多分辨率图像融合方法研究
硕士研究生：
××××××××（三号黑体，居中）
指导教师：
（××××××××三号黑体，居中）
学科、专业：
××××××××（三号黑体，居中）
所在院（系、所）（三号黑体，居中）
论文提交（完成）时间（四号黑体，居中）
摘要
摘要
随着国民经济和科学技术水平的提高，特别是计算机技术、通信技术、网络技术、控制
关键词：
1
xx大学论文
ABSTRACT
indoorlocationsystem:
CC2431zdk.Wegetgoodlocationaccuracyafterdoingsomeexperimentalverification.
Keywords：
431
目录
目录
摘要 I
ABSTRACT II
目录 III
第1章绪论 1
1.1研究背景及意义 1
1.2国内外研究现状 2
1.2.1图像融合层次简介 2
1.2.2像素级图像融合方法概述 4
1.2.3图像融合研究现状 8
1.2.4图像融合存在的关键问题 9
1.3本文研究工作及结果简介 10
1.3.1本文研究工作 10
1.3.2研究结果及章节安排 10
第2章多分辨率图像融合概要 13
2.1引言 13
2.2像素级多分辨率图像融合框架 13
2.2.1原理框架 13
2.2.2步骤分析 14
2.3基于区域的多分辨率图像融合一般框架 18
2.3.1原理框架 18
2.3.2步骤分析 19
2.4实验与结果分析 20
2.5本章小结 24
第3章基于冗余小波变换的多聚焦图像融合 25
3.1引言 25
3.2冗余小波变换概要 25
3.2.1小波变换理论概述 25
3.2.2图像的小波变换快速算法及冗余算法 26
3.3多聚焦图像融合方法 29
3.3.1多聚焦图像融合概述 29
3.3.2方法原理 30
3.3.3基于像素邻域的融合规则 31
3.4实验及结果分析 34
3.5本章小结 36
第4章基于冗余小波变换的区域图像融合 37
4.1引言 37
4.2基于改进K-means算法的图像聚类分析 37
4.2.1K-means算法及其改进 38
4.2.2多分辨率聚类分析 40
4.3区域图像融合方法 44
4.3.1方法原理 44
4.3.2融合规则 45
4.4实验及结果分析 47
4.5本章小结 49
第5章图像融合性能评价的进一步探讨 51
5.1引言 51
5.2主观评价方法 51
5.3客观评价指标 53
5.3.1基于融合图像的评价指标 53
5.3.2基于融合图像与参考图像的评价指标 54
5.3.3基于融合图像与源图像的评价指标 56
5.4多分辨率图像融合方法评价 58
5.4.1实验设置及性能评价指标的选取 58
5.4.2实验结果及分析 59
5.4小结 65
第6章总结与展望 66
6.1本文工作总结 66
6.2进一步的研究及展望 67
参考文献 68
第1章绪论
第1章绪论
1.1研究背景及意义
随着电子技术、信息技术的飞速发展，超大规模集成电路（VLSI）和超高速集成电路（VHSIC）的出现促使传感器的性能不断提高，面向各种复杂应用的军用和民用传感器信息系统大量涌现。
随着传感器数量和种类的不断增加，多传感器系统中的信息量剧增，信息表现形式多样化、复杂化，因此，对多传感器所获信息的处理方法、速度等要求都大大超出了人脑的信息综合能力，以往的信息处理技术已无法满足这种新的系统。
于是，信息融合技术便应运而生[1]。
多传感器信息融合（亦称多传感器数据融合）是指对来自多个传感器的信息进行多级别、多层次、多方面的处理与综合，从而获得更丰富、更精确、更可靠的有用信息。
多传感器图像融合（简称图像融合）[2]，即多传感器信息融合中可视信息部分，是多传感器信息融合的重要分支。
它综合来自不同传感器的多源图像信息，通过对多幅图像信息的提取与综合，从而获得对同一场景/目标的更为准确、全面、可靠的图像描述，而这一描述是从单一传感器所获图像信息中无法得到的。
多传感器图像融合是一门综合了传感器技术、图像处理、信号处理、计算机科学、人工智能、心理学及生理学等的多种学科交叉而形成的现代高新技术。
图像融合技术充分利用了多个传感器所获图像中的冗余信息和互补信息，在遥感、医学、计算机视觉、目标识别等领域得到了广泛的应用[2]。
例如：
红外/可见光图像的融合可更好地协助飞行员导航；多聚焦图像融合有利于扩大景深；CT/MRI图像融合更有利于医生对病情的诊断；LandsatTM/SPOT图像的融合综合了TM图像的多光谱特点和SPOT图像的高空间分辨率特点，更有利于特征提取及目标的跟踪与识别等等。
因此，对图像融合技术开展深入的研究，对于各相关领域的建设都具有非常重要的意义。
近20年来，国内外诸多机构在图像融合的不同层次上进行了大量的研究，提出了较多的图像融合系统，但是迄今为止，多传感器图像融合尚未有公认的理论框架和方法，许多理论和技术问题亟待解决，例如，传感器本身的多样性和复杂性，图像的准确配准，融合方法的稳定性和实时性及融合方法的实现等。
图像融合技术在国内的研究起步较晚，与国际先进水平相比，目前仍处于落后状况，因此，迫切需要开展多传感器图像融合基础理论、相关技术及其实现等的研究。
1.2国内外研究现状
1.2.1图像融合层次简介
在多传感器图像融合中，根据融合处理所处的阶段不同，通常可分为三个层次：
像素级（Pixel-level）图像融合、特征级（Feature-level）图像融合及决策级（Decision-level）图像融合[2,41]。
（1）像素级图像融合。
像素级图像融合是在源图像严格配准的条件下，对各传感器输出的图像信号直接进行信息的分析与综合[2,75-76]。
像素级图像融合是在基础层上进行的信息融合，是最低层次的图像融合，该层次的融合准确性最高，能够提供其他层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步处理、分析和理解。
像素级图像融合结构如图1.1所示。
图1.1像素级图像融合结构示意图
像素级图像融合是目前在实际中应用最广泛的图像融合方式，也是特征级图像融合和决策级图像融合的基础，其优点就是信息丢失最少，但需处理的信息量最大、处理速度最慢、对设备要求较高。
另外，在进行像素级图像融合之前，必须对参加融合的各图像进行精确的配准，其配准精度一般应达到像素级，因此，像素级融合是图像融合中实施难度最大的层次。
目前，常用的像素级融合的方法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法、金字塔图像融合法、小波变换法、选举决策法、卡尔曼滤波法、数理统计法、IHS变换法、PCA变换法、高通滤波法、线性加权法、彩色空间法、假彩色法和非线性综合法等[15]。
（2）特征级图像融合。
特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息（如边缘、形状、轮廓和区域等）进行信息的综合与处理[2,75-76]。
特征级图像融合是在中间层次上进行的信息融合，它既保留了足够数量的重要信息，又可对信息进行压缩，有利于实时处理。
特征级图像融合的结构示意图如图1.2，这一层次的图像融合一般从源图像中提取的典型特征信息有：
线型、边缘、纹理、光谱、相似亮度区域、相似景深区域等。
在特征级图像融合过程中，由于提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。
尽管在模式识别、图像处理和计算机视觉等领域，己经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究，但是对图像中有用信息的提取和表达这一问题至今仍是困扰计算机视觉研究领域的一个难题，有待于从融合角度及其它相关领域进一步综合研究和提高。
图1.2特征级图像融合结构示意图
目前大多数C3I系统的数据融合研究均在该层次上展开的[15]。
常用的特征级融合方法有聚类分析法、Dempster-Shafer证据理论法、贝叶斯估计法、熵法、加权平均法、表决法、神经网络法、卡尔曼滤波法、模糊推理法和产生式规则法等。
（3）决策级图像融合。
决策级图像融合是根据一定的准则及每个决策的可信度做出最优决策，是最高层次的信息融合。
决策级融合是高层次的信息融合[2,75-76]。
在每个传感器已完成了目标提取与分类之后，融合系统根据一定的准则以及每个决策的可信度作出决策融合处理。
此种融合实时性好并且具有一定的容错能力。
决策级融合的结构如图1.3所示，这一层次的图像融合主要基于认知模型，需要大型数据库和专家决策系统进行分析、推理、识别和判决。
虽然这一层次的处理的数据量少，融合的实时性好，并且具有较好的容错能力，但其预处理代价高，源图像信息的损失严重。
图1.3决策级图像融合结构示意图
目前常用的决策级融合方法有神经网络法、模糊聚类法、专家系统、贝叶斯概率推理法、Neyman-Pearson准则、Dempster-Shafer证据理论法、统计决策理论、模糊推理法和合情推理法等[15]。
1.2.2像素级图像融合方法概述
本文在像素级这一层次进行图像融合的相关方法研究。
对像素级多传感器图像融合方法的基本要求包括[2,43,75-76]：
（1）融合图像尽可能多地加入图像互补信息；
（2）融合图像应包含各源图像中所具有的有用信急，不破坏图像的色彩信息，也不能丢失图像的纹理信息，以便获得一个既有光谱信息，又有空间信息的图像；
（3）合成图像中应尽量少引入人为的虚假信息，或其它不相容信息，以减少对人眼以及计算机目标识别过程的干扰；
（4）融合算法对配准的位置误差和噪声不应该太敏感，融合图像的噪声应降到最低程度；
（5）在某些应用场合中应考虑到算法的实时性。
像素级图像融合方法可分为：
非多分辨率分析融合方法和多分辨率分析融合方法。
1.2.2.1非多分辨率分析融合方法
主要有：
加权平均和主成份分析法、非线性方法、颜色空间法、最优化方法、逻辑滤波法及神经网络法等等。
（1）加权平均和主成份分析法。
加权平均的方法是一种最简单的图像融合方法，就是直接求源图像对应像素点的平均值生成融合图像。
这方法可以增加图像的信噪比，但是会降低图像的对比度。
主成份分析法首先用3个或3个以上波段数据来求得图像间的相关系数知阵，由相关系数矩阵计算出特征值和特征向量，进而求得各主分量图像；然后将高空间分辨率图像数据进行对比度拉伸，使之与第一主分量图像数据具有相同的均值和方差；最后用拉伸后的高空间分辨率图像代替第一主分量，将其同其他主分量经PCA逆变换得到融合的图像。
该方法可以很好地保持图像的清晰度。
文献[6]采用主成份分析法确定最优加权系数，通过计算输入图像的协方差矩阵的主元素，其权重系数可以由对应的特征向量得到。
此方法的改进方法及其它算术符号合并方法还有许多[7-8]。
（2）非线性方法。
配准后的图像分为低通和高通部分，通过自适应地修改每一部分，然后再把它们融合成复合图像。
文献[9]采用自适应的非线性处理方法融合可见光图像和红外图像。
（3）颜色空间法。
利用图像数据表示成不同的颜色通道，再合并这些通道得到假彩色融合图像。
IHS变换是这类方法最常用的颜色空间变换，这种方法多用在高分辨率的SPOT图与分辨率较低但具有丰富颜色细节的TM图之间的融合。
其做法是将TM图从RGB的颜色空间变换到IHS空间，然后对TM图进行高分辨率重采样，将得到的H和S分量放到SPOT图的相关像素上，而原SPOT图（的颜色分量）则取为I分量。
然后变换回RGB空间，完成融合。
Toet将前视红外图像和微光夜视图像通过非线性处理映射到一个彩色空间中，增强了图像的可视性[10]。
MIT林肯实验室使用彩色元素的生物模型来融合微光夜视和热红外图像，形成彩色融合图像。
文献[11]的研究表明通过彩色映射进行可见光和红外图像的融合能够提高融合结果的信息量，提高检测性能。
（4）最优化方法。
为场景建立一个先验模型，把融合任务表达成一个优化问题，包括贝叶斯最优化方法和马尔可夫随机场方法。
贝叶斯最优化方法的目标是找到使先验概率最大的融合图像。
文献[12]提出了一个简单的自适应算法估计传感器的特性和传感器之间的关系，以进行图像融合，该方法基于独立条件下传感器间变换的局部线性估计。
文献[13]提出了基于一个图像信息模型的概率图像融合方法。
文献[14]提出了一个系统的统计图像融合方法。
马尔可夫随机场方法把融合任务表示成适当的代价函数。
该函数反映了融合的目标，模拟退火算法被用来搜索全局最优解。
文献[16]提出了基于匹配图像相似性的马尔可夫融合模型。
文献[17]提出了一种只考虑图像边缘图构造的马尔可夫随机场，与迭代条件共同使用，可实现图像的实时融合。
（5）神经网络法。
目前应用于多传感器图像融合的三种网络为：
（a）、双模态神经元网络（bimodalneurons）。
文献[18，19]提出了六种不同类型的双模态神经元用于可见光和红外图像的融合。
（b）、多层感知器（Multi-layeredperceptron）。
Fechner和Godlewski提出了基于多层感知器神经网络的图像融合方法[20]。
通过训练多层感知器识别前视红外图像中感兴趣的像素，将其融入可见光图像中。
（c）、脉冲耦合神经网络（Pulse-coupledneuralnetworks:
PCNN）。
Eckhorn提出了一种基于猫的视觉原理构建的简化神经网络模型。
Broussard等人借助于该网络实现图像融合来提高目标的识别率[21]，并论证了PCNN神经元的点火频率与图像灰度的关系，证实了PCNN用于图像融合的可行性。
1.2.2.2多分辨率分析图像融合方法
多分辨率分析图像融合方法是像素级图像融合方法中研究活跃的一类重要方法。
本文的融合方法也基于多分辨率分析工具。
多分辨率分析把图像分解为能保持局部信息的不同尺度、不同方向的子图像系列，它们分别代表不同的特征，如边缘、梯度、对比度等。
基于多分辨率分析的融合方法的优点主要表现在：
能提供对人眼的视觉比较敏感的强对比度信息，以及它在空间和频域的局部化能力。
基于多分辨率分析的融合方法包括三个主要步骤[41]：
（a）、对源图像分别进行多分辨率分解，得到变换域子图像序列。
（b）、提取各尺度各频率最有效的特征，采用融合规则，得到综合的多分辨率表示。
（c）、通过多分辨率重构得到融合图像。
多分辨率图像融合基本流程图如图1.4所示：
图1.4多分辨率图像融合基本流程示意图
多分辨率分析融合方法主要有：
基于金字塔变换的融合方法和基于小波变换的融合方法。
（1）基于金字塔变换的融合方法。
Burt最早提出基于拉普拉斯金字塔变换的融合方法[22-24]。
该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合。
随后人们也提出了多种基于拉普拉斯金字塔变换的融合方法[25]。
基于拉普拉斯的图像融合方法实际上是选取了局部亮度差异较大的点，这一过程粗略地模拟了人眼双目观察事物的过程。
但是，准确地说，人眼对局部亮度对比度较为敏感，而不是对局部亮度差异敏感。
所以，用拉普拉斯金字塔得到的融合图像并不能很好地满足人类的视觉心理。
Toet[26,27]于1989年提出的一种基于局部对比度的比率低通金字塔。
它非常类似于拉普拉斯金字塔，但它并不是求高斯金字塔中各级之间的差值，而是求高斯金字塔中各级之间的比率。
在文献[26-29]中，比率低通金字塔和最大值原则被用于可见光和红外图像的融合。
文献[30]中，比率低通金字塔用于毫米波传感图像与人工合成图形的融合。
比率低通金字塔虽然符合人眼的视觉特征，但由于噪声的局部对比度一般都较大，所以基于比率低通金字塔的融合算法对噪声比较敏感，而且算法也不稳定。
在文献[31,32]中，Burt提出了基于梯度金字塔和匹配与显著性测度的图像融合方法。
文献[33]中，Sims和Phillips给出了以上三种金字塔用于图像融合的定性和定量的结果。
以上金字塔变换都是线性的，而形态学金字塔则是非线性的。
在数学形态学中，连续地增加结构元素的尺寸或者连续地减小图像的尺寸时，越来越多的图像细节被滤除掉，这样就得到了多分辨率形态学金字塔[34]。
基于形态学金字塔变换的融合方法参见文献[35-36]。
（2）基于小波变换的融合方法。
20世纪80年代中期发展起来的小波变换技术[37-38]具有许多其它时（空）频域所不具有的优良特性，如方向选择性、正交性、可变的时频分辨率、可调整的局部支持，以及分析数据量小等。
小波变换的多尺度变换特性更加符合人类的视觉机制，与计算机视觉中由粗到细的认识过程更加相似，更加适于图像融合。
事实上，小波变换是金字塔变换的一种特殊形式，它具有金字塔变换的优点，且具有更完全的理论支持[39-40]。
这些优良特性使得小波变换成为图像融合的一种强有力的工具和手段，许多基于小波的图像融合方法相继提出[42-53]。
此外，小波理论处于不断发展中，一些新型的多分辨率分析工具不断提出。
例如，剑桥大学的Kingsbury[70]提出了双树复小波变换（Dual-TreeComplexWaveletTransform）；斯坦福大学的EJCandès和DLDonoho[71]提出了脊波变换，并进一步提出了Curvelet变换及第二代Curvelet变换[72]。
伊利诺伊大学香槟分校的DoMN和VetterliM[73-74]提出了Contourlet变换。
1.2.3图像融合研究现状
美国是信息融合技术研究起步较早、发展最快的国家。
早在70年代初期，美国研究机构在国防部的资助下，利用计算机技术对多个连续的声纳信号进行融合处理，以实现对敌方潜艇位置的自动检测，这一尝试被认为对现代战争有非常重要的意义，使得信息融合作为一门独立的技术首次在军事应用中受到青睐。
进入80年代以后，各发达国家已经致力于为信息融合设计混合的传感器和处理器，同时进行各种信息融合系统的研制。
由于信息融合系统本身所具有的性能稳定、宽阔的时空覆盖区域、较高的测量维数、良好的目标空间分辨力以及较强的故障容错与系统重构能力等优点，自信息融合问题一开始提出，就引起西方各国国防部的高度重视，并将其列为军事高科技研究和发展领域中的一个重要专题。
多传感器图像融合是多传感器信息融合的重要分支，自最早被应用于遥感图像处理及分析中以来，已迅速、广泛地应用到其它相关领域。
1979年，Daliy等人[3]将雷达图像和Landsat-MSS图像进行综合，应用于地质解释。
1981年，Laner和Todd[4]进行了Landsat-RBV和MSS图像信息融合的试验。
1985年，Cliché和Bonn[5]将Landsat-TM的多光谱遥感图像与SPOT高分辨率图像进行融合。
90年代后，随着多颗遥感雷达卫星JERS-1、ERS-1、Radarsat等的发射，图像融合技术已经成为遥感图像应用中的研究热点[15]。
80年代末，人们开始将图像融合技术运用到一般图像处理（如可见光、红外图像等）当中。
90年代后，对图像融合的研究更为深入、应用更为广泛。
近年来，多传感器图像融合技术已成为计算机视觉、目标识别、军事应用等领域的热点研究问题。
而我国对信息融合理论和技术的研究起步相对较晚，到20世纪80年代末期，才开始出现有关多源信息融合技术研究的报告，到20世纪90年代初，这一领域的研究在国内才开始逐渐升温。
目前我国已将信息融合技术列为“863”计划和“九五”规划中的国家重点研究项目，并将其确定为发展计算机技术及空间技术等高新产业领域的关键技术之一。
1.2.4图像融合存在的关键问题
数学、电子技术、计算机技术等学科的发展，以及军事、遥感、医学和工业等方面的应用需求，有力地促进了图像融合技术的发展，同时图像融合技术也为这些应用提供了有效的解决手段。
自20世纪90年代发展至今，尽管国内外学者在图像融合的不同层次上开展了大量的模型和算法研究，并取得了一些成果，但是由于图像融合技术自身理论尚不够成熟，目前仍有许多理论上和技术上的问题有待解决[2,15,75-76]，概括地讲主要表现在以下几个方面：
（1）目前对图像融合的研究尚处于初步阶段，许多研究工作仍属于试探性或仿真性的。
许多新技术如人工智能、神经网络、小波分析等在图像融合方面的应用研究还处于初期阶段。
图像融合技术目前还没有建立起一个统一的理论框架，各种融合方法都是针对具体的应用，当应用环境发生改变，其优越性就无法充分显示出来，因此开发能自动调整相关参数和结构的自适应性算法非常重要。
（2）计算精度、速度和存储量都是图像融合需要解决的关键问题，现有的融合算法在对大量的图像数据进行处理时，往往会出现这样的情况：
采用简单的算法运算简单、处理速度快，但很难得到满意的融合效果；而采用基于多分辨率分析等较复杂的算法，会使计算量急剧增加，融合处理速度缓慢，很难满足实际应用系统快速实时处理的要求。
因此，如何提高现有图像融合算法的实时性、准确性和稳定性是图像融合领域亟待解决的问题，也一直是一个重要的研究方向、研究的难点。
（3）对于像素级图像融合，首先面临的是图像之间的时间和空间配准问题，由于配准误差直接会影响到图像融合的效果，因此如何在现有算法的基础上，研究新的图像配准算法以提高图像配准的精度是一个技术难点。
此外，各类融合算法各自有各自的特点和不足，对于某一特定任务，如何选择最优的融合算法；如何消除图像融合过程中产生的虚假信息；如何建立和选择合适的融合规则以及融合算子等，这些都是图像融合中的难点问题。
（4）图像非结构化信息很复杂，很难用精确的物理模型来描述图像，因此开发能处理这些复杂而不确定信息的图像融合技术就成为当前研究的迫切需要。
（5）图像融合性能评价是图像融合的一个重要环节，因此研究主客观评价标准相结合的融合效果评价方法，也是研究当中一项必不可少的重要任务。
1.3本文研究工作及结果简介
1.3.1本文研究工作
多分辨率图像融合方法是多传感器图像融合领域里的重要方法，是现今的研究热点。
本文在像素级层次对多分辨率分析融合方法进行深入的研究。
目前，多分辨率图像融合存在两大主要问题：
1）如何根据图像的特点合理、有效地对图像进行多分辨率分析与合成；2）如何根据多分辨率分析的系数特点及图像内容的表达进行有效的活性度量，并设计合理的融合规则进行融合。
据此，本文一方面详细研究小波变换理论，选取适合于图像融合的小波分解算法作为多分辨率分析工具；另一方面，根据多分辨率分析的特点，结合图像的内容描述，研究像素级图像融合方法和基于区域的多分辨率图像融合方法。
1.3.2研究结果及章节安排
本文主要研究结果如下：
（1）提出一种基于冗余小波变换的多聚焦图像融合方法。
该方法首先采用冗余小波变换对源图像进行多分辨率分解。
针对多聚焦图像的成像特点，对分解后的高频系数，采用统计显著系数的方法来度量各频域系数的重要性，并结合多分辨率系数间的相关性对不同尺度间系数进行组合，从而实现高频部分融合；低频系数则采用一种改进的局部熵方法进行活性度量，并采用加权与选择相结合的规则进行融合。
最后通过冗余小波逆变换重构得到融合图像。
实验结果表明了该方法的有效性和可行性。
（2）提出一种基于冗余小波变换的区域图像融合方法。
该方法首先针对K-means固有的缺陷，在初始聚焦中心问题及其约束函数问题两方面行改进。
然后采用改进K-means算法进行聚类分析，并结合聚类后续处理步骤获得联合的多分辨率聚类表示。
在获得图像联合多分辨率聚类表示的基础上，对高频部分各子图像进行有性的活性度量并实现高频部分融合；低频
升级会员 