像素级图像融合讲解.docx
《像素级图像融合讲解.docx》由会员分享，可在线阅读，更多相关《像素级图像融合讲解.docx（24页珍藏版）》请在冰点文库上搜索。
像素级图像融合讲解
（威海）
UNIVERSITYfWEIHAI
毕业设计（论文）
设计（论文）题目像素级图像融合方法
姓
名：
李桂楠
学
号：
201100800668
学
院：
机电与信息工程学院
专
业：
自动化
年
级
2011级
指导教师：
孙甲冰
摘要4
Abstract5
第一章绪论1
1.1课题背景及来源1
1.2图像融合的理论基础和研究现状1
1.3图像融合的应用1
1.4图像融合的分类1
第二章像素级图像融合的预处理3
2.1图像增强3
2.2图像校正6
2.3图像配准6
第三章像素级图像融合的方法综述8
3.1加权平均图像融合方法8
3.2HIS空间图像融合方法8
3.3主成分分析图像融合方法8
3.4伪彩色图像融合方法9
第四章基于小波变换的像素级图像融合概述10
4.1小波变换的基本理论10
4.2基于小波变换的图像融合11
4.3基于小波变换的图像融合性能分析12
第五章像素级图像融合方法的研究总结与展望19
参考文献20
谢辞错误！
未定义书签。
摘要
近些年，随着科学技术的飞速发展，各种各样的图像传感器出
现在人们的视野前，这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。
而因为多传感器的不断涌现，图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。
图像融合主要有像素级、决策级和特征级三个层次，而像素级图像融合作为基础能为其他层次的融合提供更准确、全面、可依赖的图像信息。
本文的主要工作是针对像素级的图像融合所展开的。
关键词
图像融合理论基础、加权平均、图像融合方法、小波变换、
Abstract
Inrecentyears,withtherapiddevelopmentofscieneeandtechnology,allkindsofimagesensorappearinfrontofthepeople'sfieldofvision,imagesensorinawiderangeofthisstyleindifferentimagingprincipleandunderdifferentworkingconditionshavedifferentfunction.Andbecauseofmultiplesensors,imagefusiontechnologyisalsomoreandmorebeenusedinmedical,exploration,Marineresourcesdevelopment,biologicalsciences,andotherfields,andimagefusionfornationalsecuritymorestrategicsignificancetoconstructionandeconomicdevelopment.Therefore,thestudyofimagefusionisanditsimportanttheoreticalsignificanceandapplicationprospects.
Imagefusionisdividedintopixellevel,featurelevelanddecisionlevelthreedifferentlevels,imagefusionatpixellevelandasabasisforotherlevelsoffusionprovidemoreaccurate,comprehensive,imageinformationcanbelazy,isadvantageoustotheimageanalysisandfurtherresearch.Theresearchworkofthisarticleisthesurroundingimagefusionatpixellevel.
Keywords
imagefusion,weightedaverage,pseudocolorimagefusionmethodandwavelettransform
第一章绪论
1.1课题背景及来源
在现代化的农业、生活、资源管理开发、国防等方面的实际应用中，图像融合被广泛的开发应用，是较为常用的图像信息融合技术，它可以对源图像中的像素进行逐个的信息融合，尽可能保留源图像中的重要信息以得到对图像更精确、更丰富的描述。
为了特征级和决策级的研究提供帮助。
本章主要工作是对图像融合的理论和发展做出介绍，并在该基础上分析图像融合在实际应用前景。
1.2图像融合的理论和现状
图像融合是对不同传感器所收集到的一幅或者多幅源图像进行融合，用融合
技术合成同一幅包含了多幅源图像优点、内容更加全面丰富的图像，其最早产生于20世纪70年代末，而该技术随着实际应用中的所占比例的增大在其后的时间内有了很大的发展。
虽然图像融合技术越来越多地在实际生活中得到应用，但因为该技术所覆盖领域的广泛性和该技术的多样性，研究结果只是反映了特定的方面，而不是形成完整的体系。
总而言之，其中仍有很多问题有待我们的解决和探讨。
1.3图像融合的应用
多传感器技术的提高和电子科技技术方面的提高，图像融合技术越来越多的被用于实际应用中。
在民用方面，图像融合在应用于各个领域。
遥感方面，随着遥感技术的发展，在同一地区可使用越来越多不同的传感器，因此能获得不同时间段的各类遥感图像信息，国土资源规划等方面都有效的利用到该技术。
在医学领域，多模医学图像融合技术已经被广泛的用于医疗诊断中，根据不同影像设备可反应出人体体征情况各有不同，弥补了原来医学单一成像的缺点。
在军事领域，随着传感器的种类不停增多，可得到的战场信息战况越来越丰富，而有关于战场图像信息的分析也需要越来越准确，而多传感器图像融合技术则成为控制战争态势的有效利器。
1.4图像融合的分类
（1）按信息表征层次分类
像素级图像融合：
根据某个融合规则直接对源图像灰度进行融合。
像素级图像融合是最低层次的融合，但其保留信息的能力要强于决策级和特征级。
但像素级融合对配准精度的要求也更高。
特征级图像融合：
在像素级的基础上提取其特征信息进行综合性分析和融合处理。
特征级融合首先从各个多传感器图像中提取原始信息特征，去掉其中的虚
无用特征。
特征级图像融合能压缩信息，还能保留图像的复合特征，可以直接为决策级融合分析提供帮助。
决策级图像融合：
是最高层次的融合，从源图像中获取特征信息并进行预处理，得出各自的决策，合并成一个全局性的联合决策。
决策级图像融合有较高的实时性和容错性，但是在处理过程中损失的图像信息量大，预处理的要求也比较高。
（2）按图像源分类
同类传感器图像融合：
对同一传感器在不同成像模式下获得图像进行融合。
异类传感器图像融合：
将不同类型的并且彼此相互独立传感器收集到的图像进行融合。
遥感图像融合：
对多遥感器所获得的图像进行融合。
（3）按融合方法分类
基于空间域的图像融合：
在像素级别上对图像直接进行处理。
其算法有：
加权平均法、主成分分析法、HIS空间法、伪彩色法等等。
基于变换域的图像融合：
首先对多幅源图像进行图像变换，之后在对其获得的系数按准则进行融合，再对其进行逆变换得到融合结果。
常用算法有：
傅里叶变换，多尺度分解等等。
第二章像素级图像融合的预处理
像素级图像融合是最底层的图像融合，它可以获得另外两个层级不能获得的细微的源图像信息，因为要精确要像素级别，所以在图像融合前要进行预处理，例如图像的增强、校正、配准等。
2.1图像的增强
图像增强是一类图像预处理的技术，其目的是为了获得效果更明显、对研究内容更加有用的图像信息。
图像增强的主要方法有：
1.空间域增强
2.频率域增强。
（一）空间域增强
1.线性变换和非线性变换
在对图像的像元进行灰度值的变换以后，我们将会得到可视度更高、分辨率更为清晰的图像。
根据变换函数分类，当变换函数为线性或者分段函数时，称其为线性变换。
图1线性变换
灰度变换的过程可以表示为：
g（x,y）=T［h（x,y）］,射映射为T,则输入图像
中的每个像素的灰度值f（x，y）可以通过该映射，经过变换后得到输出图像的灰度值h（x，y）。
简单的线性变换公式课定义为：
d-c
g（x，y）=［h（x,y）-m］，其中，n和m分别为输入图像亮度分
n-m
量的最大和最小值，d和c分别是输出图像亮度分量的最大和最小值。
如图1所示，在线性变换后其灰度范围明显扩大，由［m,n］扩展为［c，d］。
变换后的图像中相邻像素灰度的差值增加，将有效改善图像视觉效果。
线性变换效果图如下：
非线性变换则可以理解为，变换函数是非线性的，则为非线性变换，它是有选择的对某一灰度范围进行扩展。
指数变换和对数变换都是比较常用的非线性变换。
指数变换一般公式为：
Xb=beaXac
对数变换一般公式为：
Xb二big（axa1）c
其中，Xa和Xb分别表示变换前和变换后每个像元的灰度值。
a、b、c为参数。
图4非线性灰度变换
2.空间增强
为了达到强化图像特征信息的目的，则采用空间增强。
领域处理：
对于某一图像（i，j），对于该图像像元的集合{i+m，j+n}（mn为任意整数）称为该像元的领域。
由图可知g（i,j）可由f（i,j）确定，它们分别为处理前和处理后的像元值，这种处理称为领域处理。
领域运算的计算表达式为：
g（i,j）二\[N（i,j）]
■n为对N（i,j）像兀的运算法则。
卷积运算：
在空间域上对图像做加权求和的过程。
需选定一个模板。
在运算前，需选定一个大小为AB的运算模板（a,b）。
并建立一个和模板大小相同的活动窗口f（a,b），再将模板与窗口的对应的灰度值做对应运算。
得到新的窗口中心灰度值。
其公式为：
AB
g（mn）=送Ef（a,b）g（a,b）
a」b_1
将模板和窗口作相同移动后再按上式计算得出新的灰度值。
根据该公式进行类推，最后获得目标图像。
平滑：
传感器在成像过程会存在各种客观原因造成的误差，图像在形成过程
中会出现“噪声。
”平滑的目的是为提高图像质量而进行的处理。
锐化：
锐化可突出边缘和线状口信息。
（二）频率域增强
在图像处理过程中，像元的灰度值随着位置变化的频繁程度用频率来表示，属于空间频率。
对于边缘、线条、噪声等特征，在短像元距离内灰度值变化频率较大，而在长像元距离内灰度值逐渐变化。
频率域增强的过程如下：
f佻y）傅里叶变换、F（u,v）滤波，H（u,v）＞Qu,v）傅里叶变换＞qu,v）
（三）彩色增强
1.伪彩色增强
一副黑白的图像在经过一定规则的变换后得到彩色图像的过程为伪彩色增强。
2.假彩色增强
假彩色增强与伪彩色增强不基本相似，而它与伪彩色增强不同在于它与原波段的真实颜色不相同，它呈现出来的颜色并不是物体的真是颜色。
（四）图像运算
为了达到图像增强的目的，可对图像运用代数方法进行运算。
1.加法运算
是指两幅大小相同的图像对它们的像元的灰度值进行相加。
若设加法运算后的图像为fa（x,y），两幅图像分别为fi（x,y）和f2（x,y），则加法运算公式为：
fa（x,y）二qf",y）f2（x,y）］
2.差值运算
差值运算是指两幅同样大小的图像对它们的灰度值进行相减。
若差值运算后的图像为fb（x,y）,两幅图像为f1（x,y）和f2（x,y），则差值运算公式为：
fb（x,y）=a[f1（x,y）-f/x,y）b]
3.比值运算
比值运算是针对两幅大小相同的图像，对它们对应的像兀进行除法运算。
若比值运算后的图像为f』x,y）,两幅图像为fi（x,y）和f2（x,y），则比值运算
公式为:
fc（x,…心需]
2.2图像校正
1.准备工作：
对源图像包含的数据信息进行收集整理;
2.输入原始数字影像；
3.建立校正变换函数。
（1）多项式校正法；
（2）共线方程校正法。
2.3图像配准
（1）对图像灰度信息进行配准
该方法在图像灰度上对图像的相似程度进行统计，主要有互相关法、序贯相似度检测匹配法和交互信息。
对于一幅图像I和一个模板T,二维交叉相关函数定义为：
x^yT（x,y）l（x-u,y-u）
C（u,v）二——y彳-
［呼yl2（x-u,y—v）厂
C（x,y）为图像上进行了相似程度为（u,v）的位移。
序贯相似检测法相对来说是更容易实现的方法，其准则定义为:
E（u,v）=ExEyT（x,y）-T—（l（x-u,y-v）—|（u,v））
其中，t和I分别为模板和图像窗口的均值。
交互信息I由A、B的个体熵G（m）、Gn）和联合熵G（m,n）定义
I（mn）=Gm）+Gn）—Gmn）
式中，Gm）=—Jp（m,n）In[p（m）]dm;H（n）=_jp（n）ln[p（n）]dn;
Gmn）=—jjp（mn）In[p（m,n）]dmdn;p（m）和p（n）为随机变量M
和N的边缘概率密度，p（m,n）为M和N的联合概率密度分布。
（2）对变换域进行图像配准
相位相关是重要的配准方法之一，在对图像运用傅里叶变换时。
设
fi（x,y）和f2（x,y）两幅图像，（xo,y0）是两幅图像的平移量，则:
f2（x,y）二fi（x-Xo,y-y。
）
而它们之间的傅里叶变换满足下式：
F2（u,v）=exp（-j2：
（uxovy。
））■-R（u,v）
（3）基于特征的图像配准方法
1.特征提取，根据图像性质提取对配准有用的特征信息。
2.特征匹配，将两幅图像中提取的特征作对应。
3.图像转换，利用特征信息进行转换后获得目标图像。
第三章像素级图像融合的方法综述
3.1加权平均图像融合方法
设有两幅图像分别为A和B,它们融合后的图像为F,贝
F（x,y）A（x,y）■-B（x,y）（3-1）
式中，（x,y）为图像中某一像素的位置，：
•和］是权重系数，它们满足:
二-1o最简单的加权平融合方法就是采用平均权值（_：
=1=0.5）
3.2HIS空间图像融合方法
在HIS中，对于HIS，它表示的是表色系统。
由这三个分量构成的HIS模型
可以准确表示彩色图像，I、HS分别表示亮度、色调和饱和度，且互相独立另外一种系统是由R、GB组成的空间。
以LandsatTM多光谱图像与全色Pan图像的融合为例，HIS空间图像融合步骤一般为：
1.对图像的RGB^间中的RGB变换，得到I、H、S三个分量；
2.再将亮度分量I按规则融合，得到新的亮度分量Inew；
3.再将Inew、H、S反变换回RGB空间，完成融合过程。
3.3主成分分析图像融合方法
主成分分析图像融合方法对图像作多维正交线性变换，实现图像的相关和降
维。
对n个波段的多光谱图像进行PCA变换时，对应n个波段图像同一位置处的像素灰度构成了一个n维矢量数据x=（X2,X3…，Xn），若各波段图像大小为MN，则共有K二MN个维矢量，这些矢量数据的协方差阵可计算为：
1K1K
Cx—VXkX；-mxm^，其中，mx—Xk。
其中让Cx的特征值和特征
KK二KK
向量使
■1
0…0
T0
UTCxU二上二：
・2…0
:
其中，，i_T一…_>-n为Cx的n个特
0
0
征值，U的列向量为对应的特征向量。
而主成分分量y可由x求得，即：
y=uTx^（yy,…yn）T，其中，yi、y?
分别是第一和第二主成分，以此类推。
3.4伪彩色图像融合方法
使用伪彩色的意义在于人眼对色彩的分辨要比灰度敏感很多，而且可分辨的色彩种类也较灰度来说多很多。
而对于人眼的该特征，通过某种彩色化处理将蕴含在各源图像中的灰度细节信息以彩色方式表征出来，可使人眼对图像有更丰富的感知。
第四章基于像素级小波变换的图像融合方法概述
小波变换是法国工程师在1974年提出来的一门新兴理论，是一种新发展起来的数学工具，小波变换是在傅里叶变换的基础上建立起来的。
图像的小波变换反映了在经过小波分解后各个频率段信号重新形成的图像。
利用小波分解的方向
性可获得人眼辨析度更高的图像。
但小波基和分解层数的选取仍是分解过程中有待解决的问题。
本章的主要工作就是通过实验的方法，得出最佳小波基函数和分
解层数。
。
4.1小波变换理论
将一个基本的小波函数进行伸缩和平移变换可以得到对应小波函数，而小波
变换是将信号投影到小波函数上，在将其分解后可得到一系列叠加在一起的小波函数
设G为理想状态下的低通滤波器，H为理想状态下的高通滤波器，用它们对源信号多分辨率分解，则两个支路输出必为正交，且带宽减半而不会引起信息丢失。
因此，可在一级滤波后加入降二采样之后用G和H对低频分量进行滤波，然后再降二采样，重复该过程就是对源信号进行了多分辨率分解，如下图2所示：
图2多分辨分析的滤波器组成分解过程
图像的小波变换：
这里运用到了Mallat快速算法对而为图像进行小波分解。
按照二维Mallat算法在尺度j一1上有如下的分解公式：
（4-3）
CA=HmHnCAjJ
cHj=GmHnCAj二
cVj二HmGncAj_i
cDj=GmGncAj_i
相应的重构公式如下:
cAj=HnHCAHnGmsHjGE上Vj_1GGCDj（4-4）
图像经过小波分解后可获得低频近似分量、水平的高频近似分量、
垂直的高频近似分量以及对角的高频分量,四个分量用LL、LH、HL、HH来表示,而分解后的框架如下图所示，
LL2
LH2
LH1
HL2
HH2
HL'
HH11
图二维数据分解的塔形框架
我们也称之为塔形框架。
4.2基于小波变换的图像融合
频率域对于图像融合来说比空间域更为有效。
将图像进行N层的小波分解,
可获得一个高频带和一个包含近似分量的低频带。
小波分解也被称为小波金字塔分解，因为随着层数的增多而数据尺寸在变小，最后形成塔状结构。
（1）图像的小波分解
小波分解是对函数v（t）在伸缩和平移后形成的空间，对其投影后构成了对信号的多尺度分析。
定义下面的符号：
W为化，kj,k€Z｝所张成的闭包，即
W=SpaL%）Cj,k门，kZ）
j-1
V=二W二二W」=、-w
l2（r）是由子空间Vj构成的多分辨率空间，V则有如下性质
1.单调性：
二V」二V。
二V,二（4-6）
2•伸缩性：
f（t厂Vj=f（2t厂«1（4-7）
3.平移不变性：
-f（t）Vj二f（t-k）Vj,j,kZ（4-8）
4.直和分解：
Vj,二Vj二W（4-9）
5.Riesz基存在性：
存在（t厂Vo,使得｛（t-k）k•Z｝是V。
的Riesz基。
（2）基于小波变换的融合方法
小波变换的步骤为下：
1对将图像作多尺度分解；
2各个分解层通过图像特征信息获得图像的小波系数；
3变换，得到融合图像。
基于小波变换的图像融合过程如下图所示：
图像1多尺度分解
图像n多尺度分解
图3基于小波变换的融合过程
4.3基于小波变换的图像融合性能分析
（1）对一个小波基按不同层数融合。
将两幅对多聚焦图像，使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图4所示。
Ca）I层分解（b>2层分解5）3层分解（d）4层分解
te）5层分承（f）6层份解（g）7层分解
图4多聚焦图像不同分解层数融合结果
图像的熵、均值、标准差和空间分辨率的计算结果如表1所示:
表1多聚焦图像不同分解层数融合实验数据
分解层教
信息爛
均值
标准爭
空间分辨率
1层
7,29505
97.0336
49,4463
848667
2层
731979
97.016
49.8001
10.2056
3层
7.36097
97.0243
50.5203
11317
4层
7.37766
97,0532
512）48
11.5206
5层
7.3843
97,2612
51.5226
11.5916
6层
7.37148
97,8428
51.757
1L61R5
7层
733891
984347
52.0014
11.6331
将前视红外图像与微光夜视图像，使用同一小波基函数按照不同分解层数采用Matlab7.0编程进行仿真实验,实验结果如图5所示。
（a）1展分解（b）2层分敝（0）3层分解（d）4宦分解
（e）5层分解（06层分解（g）7层分報
图5前视红外图像与微光夜视图像不同分解层数融合结果
图像的熵、均值、标准差和空间分辨率的计算结果结果如表2所示:
表2前视红外图像与微光夜视图像不同分解层数融合实验结果
分解层数
信息摘
均值
标准差
空间务辨率
1层
7.48047
843883
477917
9.28003
2层
7.49874
S4.4016
48.6875
10J208
3层
7,5216]
S4.4271
50J187
10.7567
4层
7,54895
843953
52,7251
11.1487
5层
7.54809
84.0536
56,6003
11.4002
6E
7.50232
82.6319
613904
IL5124
7层
7.46096
81.0779
64.2012
1J.544
将两幅遥感图像,使用同一小波基函数按照不同分解层数采用Matlab7.0编
程进行仿真实验，实验结果如图6所示。
（a）I层分解（b）2层分解（c）3层分解（d）4层分解
（e）5层分解图6遥感图像不同分解层数融合结果
图像的熵、均值、标准差和空间分辨率的计算结果结果如表3所示:
分解层数
信息箱
均值
标准差
空间分辨率
1层
7.55022
95,3591
48.7309
31.5892
2层
7.55245
95.3601
492551
32
升级会员 