基于导向滤波优化的自然图像去雾新方法.docx
《基于导向滤波优化的自然图像去雾新方法.docx》由会员分享,可在线阅读,更多相关《基于导向滤波优化的自然图像去雾新方法.docx(7页珍藏版)》请在冰点文库上搜索。
基于导向滤波优化的自然图像去雾新方法
基于导向滤波优化的自然图像去雾新方法*
韩正汀,路文+,杨舒羽,刘奇,齐晶晶
【摘要】由于暗通道先验的单幅图像去雾方法通常使用导向滤波器来优化大气透射率,在保持较好去雾效果的同时能大大降低算法复杂度。
但是由于采用有雾图像作为导向滤波器的导向图,使得优化后的透射图在景深相同或相似的区域不够平滑,并且包含大量的细节信息,导致去雾后的图像在该区域的可视性差。
因此,提出了一种新的基于导向滤波优化的单幅图像去雾方法。
该方法利用基于大气光幕的导向图对大气透射率进行导向滤波,将优化后的大气透射率结合大气物理散射模型恢复出无雾图像。
实验结果表明,相比暗通道先验方法,该方法恢复出的无雾图像色彩更加真实,细节更加丰富,结构更加清晰。
【期刊名称】计算机科学与探索
【年(卷),期】2015(000)010
【总页数】7
【关键词】暗通道先验;导向滤波器;优化透射率
1引言
户外场景的拍摄通常会受到恶劣天气的影响,在雾、霾等恶劣天气下,物体的反射光会受到大气中悬浮颗粒的吸收和散射,致使获取的图像可视性差,对比度低,细节模糊,颜色衰减,无法满足影像感知系统对图像清晰度的要求。
因此,图像去雾算法的研究具有非常重要的实际意义。
图像去雾[1]是指消除图像中雾和霾造成的图像对比度下降,局部细节模糊及颜色失真等退化现象,还原图像本身特征,提高景物清晰度的方法。
图像去雾方法主要分为雾天图像增强和雾天图像退化模型。
雾天图像增强的方法[2-3]结合图像的时域和频域特性,采用不同的图像增强算法以提高图像的视觉质量。
但是该类方法没有考虑图像降质的根本原因,因此无法从本质上消除雾霾对图像质量的影响。
Tan[4]通过最大化图像的局部对比度达到去雾目的,但是去雾图像容易过饱和,且在边界处易产生光晕现象。
基于雾天图像退化模型[5]的方法是从雾天图像降质的物理过程出发,利用雾天图像退化模型恢复出真实的无雾图像。
Oakley等人[6]建立了一个各种光线对雾天图像降质的计算模型,但是该模型涉及的参数较多,算法实现过于复杂。
Narasimhan等人[7]使用不同天气状况下的图像来提取景深信息,该方法对场景的估计比较精确,但是去雾效果有待提高。
Fattal[8]基于场景目标的表面阴影与透射率局部统计不相关的假设来推断透射率图及恢复无雾图像,该方法去雾效果好,但是不能很好地处理浓雾图像。
Meng等人[9]通过结合基于加权的上下文正则化,将透射函数的边界约束建模成一个最优化问题来估计场景透射率。
He等人[10]利用暗通道先验来求取粗略透射率,然后利用软抠图算法优化透射率,代入到雾天图像退化模型中恢复出无雾图像。
该算法利用基本自然规律,方法简单,恢复出的图像色彩真实,细节丰富,结构清晰,被认为是“简单而有效的方法”,并且获得了2009年度CVPR会议的最佳论文。
在暗通道先验理论的基础上,陈剑鹏等人[11]将白平衡理论作用于大气光照,利用三边滤波对暗通道图像进行边缘细化,进而恢复出场景透射率。
王一帆等人[12]提出了利用双边滤波器的平滑特性得到准确的大气光幕,同时弱化明亮区域以恢复出无雾图像的方法。
2010年,He等人[13]提出了利用导向滤波器优化透射率图的暗通道先验方法,在保证相近的去雾效果的同时大大降低了算法复杂度。
但是使用有雾图像作为导向图,导向滤波使得优化的透射率图能够充分获得导向图的变化细节的同时,也导致透射率图包含有丰富的细节信息,如图1(c)、(d)所示。
透射率,为大气散射系数,一般情况下,认为在局部内恒定。
因此,透射率主要依赖于场景景深。
而景深在多数情况下是平滑的,即在不含景深跳变的局部小块内,具有相似、平滑的景深。
因此,理想的透射率在景深相同的区域相似、平滑,不包含细节信息,在景深跳变、不连续的区域变化较大,即保留有物体的边缘特征[14]。
可见,利用有雾图的灰度图[15]作为导向图优化的透射率图虽然保留有清晰的边缘特征,但是同样会使景深相同处的细节过于丰富,不够平滑,因此该导向图是有待改进的。
本文提出了一种基于导向滤波优化的自然图像去雾算法。
获得的导向图具有以下特点:
具有有雾图像在边缘处的特征;景深相近处平滑;与导向滤波输入尽可能接近。
用该导向图代替暗通道先验方法的导向图,可得到更准确的透射率。
实验表明,相比暗通道先验方法,本文方法恢复的无雾图像色彩更加真实,细节更加丰富,结构更加清晰。
2基于导向滤波优化的去雾方法
本文方法基于雾天图像退化模型,利用暗通道先验求出有雾图像透射率。
然后计算基于大气光幕模型的导向图,采用导向滤波对有雾图像透射率进行优化,结合优化后的透射率和全局大气光恢复出无雾图像。
方法框图如图2。
2.1雾天图像退化模型在计算机视觉领域,雾天图像退化模型表示如下:
I(x)=J(x)t(x)+A(1-t(x))
(1)式中,x为图像像素的坐标;I为有雾图像;J是场景反射光强度,即无雾图像;t(x)为场景反射光的透射率,即场景反射光通过大气中介质到达成像设备的比率。
式子右边第一项称为直接衰减项,第二项称为空气光或大气光幕。
A为大气光向量,通常情况下假设为全局常量,与空间坐标无关。
在式
(1)中,t(x)和A均为未知,通过已知的I恢复J,关键是估计透射率t(x)。
2.2透射率t1(x)的求解
暗通道先验规律是通过观察不包含天空区域的无雾户外图像而提出的,其基本内容可描述为:
在无雾图像的非天空局部区域内,总存在一些像素点在至少一个颜色通道内的值很低。
在此规律的基础上,结合雾天图像退化模型,得到了透射率t1(x):
等式右边的第二项就是归一化图像的暗通道。
在实际无雾场景中,在景深较远的场景中仍然会存在雾气,故引入参数w(0<w<1)来减小去雾程度。
2.3导向图的求解
理想的导向图需要具有以下特点:
(1)保持有雾图像在边缘处的特征;
(2)图像景深相近处趋近平滑;(3)导向图与输入图像尽可能接近,使得指导滤波器中代价函数最小化,减少输入图像与输出图像的差异。
首先,对有雾图像的RGB通道取最小值,得到图像W,然后对W进行双边滤波[16]得到局部均值图像T,使得T既能保持平滑,又保留边缘特征。
计算图像和局部均值图像的局部标准差异图像[17],对该差异图像进行双边滤波后与图像T求差得到二次差异图像G,利用图像G获得大气光幕图像,最终求出导向图Iguide。
具体步骤如下:
2.4透射率t2(x)的求解及图像去雾
用Iguide作为导向图,利用导向滤波器[11]对透射率t1(x)进行优化,可以使优化后的透射率保持有雾图像的边缘特征且在景深相近处趋近平滑。
导向滤波器是导向图Iguide与滤波输出结果t2(x)之间的一个局部线性模型,可以认为t2(x)是在大小为wk,以像素k为中心的窗口内所有像素的线性变换,如下式:
(ak,bk)是线性变换系数,在窗口wk内是常量。
由于∇t2(x)=ak∇Iguide,这就保证了t2(x)与Iguide具有相同的梯度信息。
通过最小化代价函数,使导向滤波器的输出图像与输入图像差异最小,来确定线性系数(ak,bk)。
代价函数如下式:
其中,ε为调整参数,以防止ak过大;[t1(x)]i为输入图像在i处的像素。
式(7)的目的是使输入图像与输出图像差异最小化,因此t2(x)保留了t1(x)的总体特征。
同时,由于式(6)建立的线性模型,t2(x)能充分获取导向图Iguide的变化细节。
2.5图像去雾
利用文献[10]中的方法计算出空气光向量。
(1)计算输入图像的暗通道图像;
(2)选取暗通道图像中最亮的0.1%个像素的位置,在输入图像对应位置处选取最亮的像素点作为A。
然后,将A和t2(x)带入式
(1)的变形式(8)中,恢复出无雾图像J。
在式
(1)中,当t2(x)趋近0时,会使得J引入噪声,因此为t2(x)设置一个下界t0,一般取值0.1。
3实验结果与分析
3.1实验结果
由图3可以看出,相比暗通道先验方法[13],本文方法恢复出的无雾图像,色彩更加真实,细节更加丰富,结构更加清晰。
同时,本文方法的透射率图也比暗通道先验方法[13]的透射率图更平滑。
在对应红框内的放大图(图3(f)、(g)中的第1幅图)的绿地图中,暗通道先验方法[15]恢复出的绿地已经模糊了,而本文方法恢复出的绿地细节信息清晰可见。
在南瓜图(图3(f)、(g)中的第3幅图)及其余的两幅图中,暗通道先验方法[13]的去雾结果图像中仍然残留有雾气,使得细节信息损失,进而产生视觉模糊感,而本文方法的去雾结果图像中能很好地保留图像的细节信息,图像也更清晰。
3.2基于导向滤波器参数的结果分析
在导向滤波器中,滤波半径的选取影响图像去雾的最终效果。
当滤波半径wk变大时,导向图会在更大范围内进行平均线性输出,使得透射率图与有雾图像有更相近的边缘特征,且边缘细节信息更加丰富,从而避免无雾图像在边缘处产生“光晕”效应。
但是滤波半径过大,会将边缘两边透射图平均化,使无雾图像在相应区域出现颜色过饱和与去雾不足的现象。
因此,本文将对不同滤波器半径算法的去雾效果进行分析。
分析结果显示,本文方法在不同滤波器半径情况下均优于基于暗通道先验[15]的去雾算法。
在图4中,暗通道先验方法[13]及本文方法的透射率图随着wk的增加细节信息越来越丰富。
在暗通道先验方法透射率图(c)中,透射率图细节信息丰富,恢复的无雾图像在上部出现颜色过饱和及去雾不足的现象。
相比于暗通道先验方法[13]在不同wk的透射率图,本文方法的透射率图(d)在保留景物边缘特征的同时,在景深相同的区域均更平滑。
对比暗通道先验去雾方法去雾结果图(a)与本文方法去雾结果图(b)可以看出,本文方法在不同wk下的去雾效果均要优于暗通道先验方法[15],且恢复出的图像色彩真实,去雾彻底,细节信息丰富,结构清晰。
4结束语
基于导向滤波的暗通道先验去雾算法[13]能获得清晰、色彩真实的无雾图像。
但是该方法优化得到的透射率在景深相同的区域不平滑,包含大量细节信息,不够准确。
本文基于有雾图像的大气光幕得到较理想的导向图,使得优化的透射率平滑准确,去雾效果也有一定的提升。
References:
[1]NishinoK,KratzL,LombardiS.Bayesiandefogging[J].InternationalJournalofComputerVision,2012,98(3):
263-278.
[2]WangQing,WardRK.Fastimage/videocontrastenhancementbasedonweightedthresholdedhistogramequalization[J].IEEETransactionsonConsumerElectronics,2007,53
(2):
757-764.
[3]JobsonDJ,RahmanZU,WoodellGA.Amultiscaleretinexforbridgingthegapbetweencolorimagesandthehumanobservationofscenes[J].IEEETransactionsonImageProcessing,1997,6(7):
965-976.
[4]TanRT.Visibilityinbadweatherfromasingleimage[C]//Proceedingsofthe2008IEEEConferenceonComputerVisionandPatternRecognition,Anchorage,USA,Jun24-26,2008.Piscataway,NJ,USA:
IEEE,2008:
1-8.
[5]NayarSK,NarasimhanSG.Visioninbadweather[C]//Proceedingsofthe7thIEEEInternationalConferenceonComputerVision,Kerkyra,Greece,Sep20-27,1999.Piscataway,NJ,USA:
IEEE,1999,2:
820-827.
[6]OakleyJP,SatherleyBL.Improvingimagequalityinpoorvisibilityconditionsusingmodelfordegradation[J].IEEETransactionsonImageProcessing,1988,7
(2):
167-179.
[7]NarasimhanSG,NayarSK.Chromaticframeworkforvisioninbadweather[C]//Proceedingsofthe2000IEEEConferenceonComputerVisionandPatternRecognition,HiltonHeadIsland,USA,Jun13-15,2000.Piscataway,NJ,USA:
IEEE,2000:
598-605.
[8]FattalR.Singleimagedehazing[J].ACMTransactionsonGraph,2008,27(3):
72.
[9]MengGaofeng,WangYing,DuanJiangyong,etal.Efficientimagedehazingwithboundaryconstraintandcontextualregularization[C]//Proceedingsofthe2013IEEEInternationalConferenceonComputerVision,Sydney,Australia,Dec1-8,2013.Piscataway,NJ,USA:
IEEE,2013:
617-624.
[10]HeKaiming,SunJian,TangXiaoou.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(12):
2341-2353.
[11]ChenJianpeng,BiDuyan,ZhangChengchong,etal.Asingleimagedehazingalgorithmbasedonthetheoryofthedarkchannel[J].ComputerEngineeringandDesign,2014,35(6):
2047-2051.
[12]WangYifan,YinChuanli,HuangYiming,etal.Imagedehazingbasedonbilateralfilter[J].JournalofImageandGraphics,2014,19(3):
386-392.
[13]HeKaiming,SunJian,TangXiaoou.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2013,35(6):
1397-1409.
[14]AncutiCO,AncutiC,BekaertP.Singleimagerestorationofoutdoorscenes[C]//LNCS6855:
Proceedingsofthe14thInternationalConferenceonComputerAnalysisofImagesandPatterns,Seville,Spain,Aug29-31,2011.Berlin,Heidelberg:
Springer,2011:
245-252.
[15]XiaoChunxia,GanJiajia.Fastimagedehazingusingguidedjointbilateralfilter[J].TheVisualComputer,2012,28(6/8):
713-721.
[16]ParisS,DurandF.Afastapproximationofthebilateralfilterusingasignalprocessingapproach[J].InternationalJournalofComputerVision,2009,81
(1):
24-52.
[17]TarelJP,HautiereN.Fastvisibilityrestorationfromasinglecolororgraylevelimage[C]//Proceedingsofthe12thIEEEInternationalConferenceonComputerVision,Kyoto,Japan,Sep29-Oct2,2009.Piscataway,NJ,USA:
IEEE,2009:
2201-2208.
附中文参考文献:
[11]陈剑鹏,毕笃彦,张晟翀,等.基于暗通道理论的快速单幅图像去雾算法[J].计算机工程与设计,2014,35(6):
2047-2051.
[12]王一帆,尹传历,黄义明,等.基于双边滤波的图像去雾[J].中国图象图形学报,2014,19(3):
386-392.
HANZhengtingwasbornin1988.HereceivedtheM.S.degreeinsignalandinformationprocessingfromXidianUniversityin2015.Hisresearchinterestsincludenaturalimagedehazingalgorithmandimagequalityassessment,etc.
韩正汀(1988—),男,宁夏吴忠人,2015年于西安电子科技大学获得硕士学位,主要研究领域为自然图像去雾算法研究,图像质量评价等。
LUWenwasbornin1981.HereceivedthePh.D.degreeinsignalandinformationprocessingfromXidianUniversityin2009.NowheisanassociateprofessoratXidianUniversity.Hisresearchinterestsincludeimagequalityassessment,imagedehazingandhumanvisualsystem,etc.
路文(1981—),男,陕西西安人,2009年于西安电子科技大学获得博士学位,现为西安电子科技大学副教授,主要研究领域为图像质量评价,图像去雾,人类视觉系统等。
发表学术论文30余篇,主持国家自然科学基金面上项目等。
YANGShuyuwasbornin1991.SheisamastercandidateatXidianUniversity.Herresearchinterestsincludeimagequalityassessmentandcolorperception,etc.
杨舒羽(1991—),女,辽宁锦州人,西安电子科技大学电子工程学院硕士研究生,主要研究领域为图像质量评价,彩色视觉感知等。
LIUQiwasbornin1985.HeisaPh.D.candidateatXidianUniversity.Hisresearchinterestsincluderemotesensingimageprocessing,patternrecognitionandcomputervision,etc.
刘奇(1985—),男,山东济宁人,西安电子科技大学博士研究生,主要研究领域为遥感图像处理,模式识别,计算机视觉等。
QIJingjingwasbornin1991.SheisamastercandidateatXidianUniversity.Herresearchinterestisnaturalimagedehazingalgorithm.
齐晶晶(1991—),女,河南兰考人,西安电子科技大学电子工程学院硕士研究生,主要研究领域为自然图像去雾算法研究。
+Correspondingauthor:
E-mail:
luwen@
HANZhengting,LUWen,YANGShuyu,etal.Improvednaturalimagedehazingalgorithmbasedonguidedfiltering.JournalofFrontiersofComputerScienceandTechnology,2015,9(10):
1256-1262.
韩正汀,路文,杨舒羽,等.基于导向滤波优化的自然图像去雾新方法[J].计算机科学与探索,2015,9(10):
1256-1262.
ISSN1673-9418CODENJKYTA8
JournalofFrontiersofComputerScienceandTechnology
1673-9418/2015/09(10)-1256-07
doi:
10.3778/j.issn.1673-9418.1409064
E-mail:
fcst@
http:
//www.ceaj.org
Tel:
+86-10-89056056
*TheNationalNaturalScienceFoundationofChinaunderGrantNos.61372130,61432014(国家自然科学基金);theFundamentalResearchFundsfortheCentralUniversitiesofChinaunderGrantNos.BDY081426,JB140214(中央高校基本科研业务费专项资金);theProgramforNewScientificandTechnologicalStarofShaanxiProvinceunderGrantNo.2014KJXX-47(陕西省科技新星专项资金)
Received2014-09,Accepted2015-04.
CNKI网络优先出版:
2015-05-26,