基于局部不变特征的遥感图像自动配准方法.docx
《基于局部不变特征的遥感图像自动配准方法.docx》由会员分享,可在线阅读,更多相关《基于局部不变特征的遥感图像自动配准方法.docx(18页珍藏版)》请在冰点文库上搜索。
基于局部不变特征的遥感图像自动配准方法
计算机研究与发展
JournalofComputerResearchandDevelopment
ISSN
1000.1239|CN11.1777|TP
44(Suppl.):
366--370,2007
基于局部不变特征的遥感图像自动配准方法
雷
琳粟
毅
(国防科学技术大学电子科学与工程学院长沙410073)
(alaleilin@163.eom)
AutomaticRemoteSensedImageRegistrationwithLocalInvariantFeatures
LeiLinandSuYi
(SchoolofElectronicScienceandEngineering,NationalUniversityofDefenseTechnology,Changsha410073)
Abstract
Anautomaticremotesensedimage
registration
methodwithimagelocal
invariantfeaturesis
proposedinthispaper.Atfirst,thefeaturepoints
are
identified
as
localextremabothin2D-spaceandscalespace
oftheimage,andthelocalinvariantfeaturedescriptors
are
extracted
in
theneighborhoodsofthese
featurepoints,namedas
scaleinvariantfeaturetransform(SIFT).Thentheinitialmatching
set
isdivided
intoinliers
andoutliersusing
robustrandom
sampleconsensus(RANSAC)algorithm,andtheimage
transformationisaccuratelyestimatedbytheinlierssub—set.TherepeatabilityandmatchabilityofSIFTfeatures
are
testedinthesimulatedexperiment,andtheexperimentwithsatelliteimageiscarried
outto
validatetherobustnessoftheproposedregistrationmethod.Keywords
SIFT;inlierandoutlier;RANSAC;automaticregistration;remotesensedimage
摘要提出了一种基于图像局部不变特征的遥感图像全自动配准算法.首先在图像二维平面空间和
尺度空间中同时检测局部极值作为特征点,并在特征点邻域提取局部不变特征描述子——尺度不变特
征变换(SIFT).然后运用稳健的随机采样一致性(RANSAC)算法将匹配点集划分为内点和外点,在内点域上精确地估计出图像变换模型.实验利用仿真数据测试了SIFT特征的可重复性和可匹配性,利用卫星图像验证了此自动配准算法的有效性和稳健性.
关键词尺度不变特征变换;内点外点;随机采样一致性;自动配准;遥感图像
中图法分类号TP391.41;TP75
遥感图像自动配准方法主要分为两类:
直接配准和基于特征的配准.其中基于特征的方法是通过提取显著的图像特征,利用特征集之间的空间关系或各种局部不变特征描述子找到特征集之间的对应关系来实现的….有意义的区域(森林、湖泊)、线(区域边界、海岸线、道路)或点(区域角点、线交叉点)在此都可理解为特征.相对于直接方法而言,基于特征的配准并不直接作用于图像灰度,它们在更高层次上用特征描述信息.这一属性使得基于特征的配准方法适合于遥感图像间发生复杂畸变的情况.
收稿日期:
2007
03—05
假设参考图像和待配准图像的特征集是用控制点代表,典型的基于不变特征的配准方法一般包括下面5个步骤【2J:
1)特征点检测.这些特征点一般是灰度变化的局部极值点,含有显著的结构性信息.
2)不变特征描述,即建立特征向量.特征点的特征描述子应是不变量,以确保最低限度受图像几何变化和光照变化等因素的影响.
3)进行不变特征匹配以获得初始匹配集合.这一步根据特征向量的相似性来进行匹配,一般采用
万方数据
雷琳等:
基于局部不变特征的遥感图像自动配准方法
367
各种距离函数作为特征的相似性测度,如欧氏距离、马氏距离等.
4)消除错配.无论采用何种特征描述子和相似性测度,错配难以避免.这一步主要根据约束信息去除初始匹配集中的错误匹配(外点),最大限度地保留内点.
5)最优变换模型估计和重采样.根据4)中提纯的内点,优化估计图像间的变换参数,并将待配准图像按模型参数重采样,得到最终配准结果.
可见,基于不变特征的配准主要是特征提取和特征描述两点.通常,特征检测对尺度变化比较敏感,特征描述子对复杂的图像畸变不太稳定.最典型的方法——提取图像的Harris角点,然后利用局
部强度值的归一化互相关系数来匹配角点——就具
有上述两种局限性.
近年来,一些效果更好的不变特征提取算法有很大的发展.这些特征更具有可重复性和可匹配性.目前最具代表性、效果最突出的就是Lowe提出的SIFT算法【3J.他利用尺度空间理论,把同时在空间域和尺度域取极值的点作为特征点,解决了尺度变化时特征点提取重复率低的问题.在此基础上,Lowe采用特征点区域内梯度方向的直方图作为特征描述子(称为SIFF特征),使得所提取的局部特征不仅对尺度、旋转具有不变性,同时对一定范围内的照度变化也具有不变性.
Lowe的不变特征提取方法为图像自动配准提供了强有力的工具,本文正是在分析SIFT算法的基础上,建立了一种通用的基于局部不变特征的遥感图像全自动配准方法流程,能够在仿射变换下获得很好的图像配准结果.该方法的思想是对图像间提取出的SIFT特征向量进行初始匹配,然后利用RANSAC估计算法过滤初始匹配结果,以提纯后准确的匹配点对来估计图像间的变换参数.这样就对特征点提取和匹配的准确性放松了限制条件,利用变换估计方法来优化特征匹配结果,完成自动配准
任务.
1特征点检测和局部不变特征描述
对于特征提取问题,通常选取图像中具有特殊结构的点,也可以没有实际的直观视觉意义,但在某种角度、某个尺度上具有不变性,含有丰富的易于匹配的信息.Lowe利用尺度空间理论,提出了一种以同时在空间域和尺度域取得极值的点作为特征点的
方法,极值点所在的尺度还被用于确定特征区域的大小.方法同时解决了特征区域定位和区域尺度选择的问题,这种性质正是稳健的特征匹配所必需的.
当特征区域的位置和大小确定后,需要用特征量来描述区域的性质.Lowe提出的尺度不变特征变换(SIFT)图像特征产生方法能惟一表征特征点区域,与其他特征点确定的区域特征具有高度的区分性,并对该区域的尺度、旋转等变换具有不变性.1.1特征点检测
一幅二维图像,(z,y),在不同尺度下的尺度空间表示可由图像与高斯核卷积得到:
L(X,Y,口)=G(z,Y,口)*j(z,Y),
(1)
其中(X,y)代表图像的像素位置,G(X,Y,盯)=
—__e一(z‘+yz)/2az是二维高斯核函数.由于高斯函数
ZNO"一
的频域也是高斯函数,所以这是一个带通滤波.盯称为尺度空间因子,其值越小则表征该图像被平滑的越少.L代表了图像的尺度空间,大尺度对应于图像的概貌特征,小尺度对应于图像的细节特征.
Lowe在图像二维平面空间和高斯差分(difference.of—Gaussian。
DoG)尺度空间中同时检测局部极值以作为特征点.DoG算子定义为两个不同尺度的高斯核的差分,具有计算简单的特点,是归一化LoG(Laplacian—of.Gaussian)算子的近似.DoG算
子定义如下:
D(z,y,仃)=(G(z,Y,忌口)一G(z,y,仃))*
I(z,Y)=L(z,y,ka)一L(z,Y,仃).
(2)
基于以上原理,图像特征点提取算法包括3步:
1)尺度空间极值检测,以初步确定特征点位置和所在尺度.
利用不同尺度的高斯核函数卷积图像,并生成高斯差分图像DoG.在检测尺度空间极值时,DoG图像中的像素需要跟包括同一尺度的周围邻域8个像素和相邻尺度对应位置的周围邻域9×2个像素总共26个像素进行比较,以确保在尺度空间和二维图像空间都检测到局部极值.
2)通过拟和三维二次函数以精确确定特征点的位置和尺度,同时去除低对比度的特征点和不稳定的边缘响应点.
3)利用特征点邻域像素的梯度方向分布特性为每个特征点指定方向参数.
m(x,y)=√(L1一L2)2+(L3一L4)2,
,,.、
0(x,Y)=a
tan
2((L3一L4)/(L1一k)).
m和口为特征点(z,3,)梯度的模值和方向,尺度L为每个特征点各自所在的尺度.其中,
万方数据
计算机研究与发展2007,44(增刊)
LI=L(z+1,Y),L2=L(z一1,Y),L3=L(z,y+1),L4=L(z,Y一1).
至此,图像的特征点已检测完毕.每个特征点有3个信息:
位置、所处尺度、方向,由此可以确定一个SIFT特征区域.
1.2
SIFT特征向量生成
当图像中的特征点位置和尺度确定后,计算
SIFT特征向量主要分为2步:
1)将坐标轴旋转为特征点的方向,以确保旋转不变性.
2)以特征点为中心取8×8的窗口计算SIFT特征向量,如图1所示:
,、
^
●T
,
、
r
.、
T
,k
●’
/一
℃
‘一
生
\1/
_K
常
兴
b
、
。
/卜。
图1特征点邻域梯度信息及SIFT特征向量示意图
图1左边的中央黑点为当前特征点的位置,每个小格代表特征点邻域所在尺度空间的一个像素,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值,图中圆圈代表高斯加权的范围(越靠近特征点的像素梯度方向信息贡献越大).然后在每4×4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点,如图1右边所示.实际计算过程中,为了增强匹配的稳健性,Lowe建议对每个特征点取16×16的窗口,使用4×4共16个种子点来描述.这样对于一个特征点最终产生128维的SIFT特征向量.
这种邻域方向性信息联合的思想使得当特征点定位有轻微偏差时不会扰动描述矢量,具有一定的空间仿射不变性.梯度矢量已经归一化,而且由于梯度矢量由强度值的差分组成,所以它们在强度上也具有仿射不变性.
1.3
SIFT特征匹配
从参考图像和待配准图像中提取出对尺度缩
放、旋转、亮度变化无关的特征向量后,就要进行SIFT特征匹配.在此采用SIFT特征向量的欧氏距离作为两幅图像中特征点的相似性判定度量.取图像1中的某个特征点,并找出其与图像2中欧氏距
离最近的前两个特征点,在这两个特征点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点.降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定.经过大量统计,阈值选为0.6时,通常能获得较好的匹配结果.
2
图像变换的自动稳健估计
在获得特征点集和初步匹配结果后,自动配准
的第2步是估计变换模型参数.尽管大量研究都集中于特征提取和匹配这一环节,但是变换参数的稳健估计对于准确稳健的自动配准也是非常关键的.特征匹配的过程在实际应用中是难点,很多情况下获得的匹配点集中会有错误的匹配对,使得变换的估计变得困难甚至失败.因此我们需要寻求稳健的
估计方法来消除其影响,正确地估计变换.
目前已经发展了许多能够容忍一定数量的误配点存在的稳健的变换估计算法【4].其中由Fishler和Bolles提出的RANSAC算法【5J对错误率超过50%的数据仍然能够处理,是最有效的稳健估计算法之一,在计算机视觉领域得到了广泛的应用.因此本文采用RANSAC算法进行图像间的变换估计.
2.1
图像变换的线性求解
在卫星遥感成像中,由于成像平台离地面很高,
可以认为成像的中jb射影的线束近似平行,这时常用仿射变换近似图像间的射影变换.普遍的2D仿射变换为
fz;1:
fn”1+。
×f口d口121fXil,c4,
(YiJ
【口23J
L口21
a22
J(YiJ
写成齐次坐标形式后为
fz门
fn11口12
n13]fX门
h1
,川:
K锄%lYi
I:
AYl
1.(5)
【1J
【0
0
1J【1J
【1J
可见仿射变换矩阵A有6个自由度,需要3对特征点计算出A.由于特征点检测的误差和选取的3对特征点有可能共线,这种线性解法的结果往往很不稳定,必须通过一定数量的匹配特征点集合来进行非线性优化.为此,需要在特征匹配点集中自动选取出适合估计仿射变换的子集.
2.2
RANSAC稳健性估计
RANSAC算法的基本思想是:
在进行参数估计
时,不是不加区分地对待所有可用的输入数据,而是迭代地在输入数据中采样所谓的最小点集,并利用
万方数据
雷琳等:
基于局部不变特征的遥感图像自动配准方法
369
每次采样所得到的最小点集估计出所要确定的模型参数,同时根据一定的判断准则来判别输入数据中哪些是与该参数相一致的,即内点,哪些是不一致的,即外点.如此迭代一定次数后,将对应输入数据中内点比例最高的所估计参数值以及所筛选出来的内点作为RANSAC最后解.将此解作为其他方法的初始值进一步优化计算,从而得到最终估计参数.结合前面的SIFT特征匹配结果,运用RANSAC算法对仿射变换矩阵的自动稳健估计步骤如下L6J:
1)计算特征点的SIFT特征向量,并估计出两幅图像的初始匹配点集;
2)运用RANSAC估计图像间变换矩阵,重复N次随机采样:
①随机选取3对初始匹配点,按第2.1节中的方程线性地计算仿射矩阵A;
②计算所有初始匹配点对离A的垂直距离
d(P7,Ap),P7和P为两幅图像中对应特征点的像
素坐标;
③根据内点距离小于某一阈值t的原则计算A的内点;
3)由RANSAC的N次随机采样得到了最大内点集合;
4)对前一次获得的内点集合重复2)3),直到两次RANSAC计算出的内点数目趋于一致,运用LLS优化算法在最终的内点集合上对A进行估计;
显然RANSAC算法有3个需要确定的量:
区分内点与外点的距离阈值t;随机采样的次数N;多大的内点个数.限于文章篇幅,详细参数设置见文献
[6].
3实验结果及分析
本节利用仿真和实际图像验证文中不变特征的稳定性和自动配准方法的有效性.在以下所有实验中,图像首先归一化到0~1之间.
3.1特征点重复率
首先利用仿真图像测试尺度不变特征点的可重复性.定义重复率为R=Match/maxNum,其中Match表示人工筛选出的正确匹配点的数目,maxNum表示两幅图像特征点数目的最大值.由于变换前后仿真图像内容完全相同,理论上所有特征点都应匹配上,重复率为1,因此文中用仿真图像的重复率作为特征点提取的性能评估准则.
对原始图像按间隔0.05比例缩小尺寸,按36。
间隔旋转,依次得到9×9=81种组合的仿射变换图像对,提取特征点后计算特征点重复率,如图2(b)所示.图2(a)显示了其中一组变换图像,上面是256×374的原始图像,下面为旋转36。
,尺寸缩小0.05倍的变换图像,图上的十字架代表检测出来的特征点位置.
实验结果说明,本文使用的尺度不变特征点提取算法对尺度、旋转变化具有较好的不变性,但图像尺寸的变化对特征重复率的影响仍然较旋转变化要大得多.当图像尺寸降为原图的一半时,重复率低于了20%,但对图像配准这一只需要较少匹配点数的应用而言,20%的重复率仍能适用.
图2特征点提取结果及重复率曲面3.2
SIFT特征正确匹配率
对于实际图像,由于两幅图像内容可能只有部分相同,不易计算理论上的重复率.此外,重复率也
无法衡量SIFT特征的可匹配性.因此我们用正确
匹配率作为SIFT特征提取方法的评估准则[7]:
C=Match/Correspond.Correspond表示用第1.3节方法找到的所有匹配特征点数目,Match表示在其中通过人工筛选出的正确匹配点的数目.
图3右部分是IRS卫星全色参考图像,左部分是SPOT卫星全色待配准图像,两者分辨率、成像角
图3实际遥感图像中SIFT特征匹配结果
万方数据
370
计算机研究与发展2007。
44(增刊)
度不同,照度也有所变化.图上的白色连线是SIFT特征匹配结果,其中共190对匹配点,正确匹配167
对,正确匹配率为87.9%,可见SIFT特征具有较好
的可匹配性,对遥感图像的各种变化具有稳定的不变性.
3.3
RANSAC估计结果
第3.2节中的SIFT特征匹配结果中仍存在错误匹配,文中通过RANSAC算法进一步去除这些外点,得到了166对提纯后的内点集合,如图4中*所示.可以看出提纯后的内点都是正确匹配点,利用它们估计的模型变换参数对待配准图像进行校正得到最终的配准结果,叠加效果如图5所示.鉴于文章篇幅,不再给出配准精度估计结果.但由于所采用的特征点定位方法具有子像素精度,可以断言在RANSAC良好的估计结果下,配准的精度是非常高的.
图4
RANSAC提纯结果
图5配准结果叠加
4
结束语
目前,局部不变特征因其强健的匹配能力,已成
为图像自动配准研究领域的热点与难点.本文结合SIFT局部不变特征提取算法和RANSAC模型估计算法,实现了存在复杂变换的遥感图像全自动配准.实验结果表明:
SIFT特征具有较好的可重复性和可匹配性;RANSAC算法能够过滤较大误差和错误匹配数据,对图像噪声和特征点匹配不准确有强健的承受能力.
但是,目前的局部不变特征提取算法在面向各种实际应用时尚有许多方面可改进.如何根据图像畸变模型拟合更为稳定的特征区域以及如何将结构信息结合到特征检测中去,这些都是以后有待考虑完善的地方.
参
考文
献
[1]BarbaraZitova,JanFlusser.Image
registration
methods:
A
survey.Imageand
Vision
Computing,2003.21:
977—1000
[2]王东峰,张丽飞.基于广义特征点匹配的全自动图像配准.
电子与信息学报,2005,27(7):
1013-1016
【3]D
G
Lowe.Distinctive
image
features
fromscale.invariant
keypoints.InternationalJournalofComputerVision。
2004.60
(2):
91—110
[4]陈付幸,王润生.基于预检验的快速随机抽样一致性算法.
软件学报,2005。
16(8):
1434-1473
[5]
M
A
Fishier,R
C
Bolles.Randomsample
eoncensus:
Aparadigm
formodel
fitting
with
applications
to
image
analysis
and
automated
cartography.Communications
ofACM,1981,
24(6):
381—395
[6]赵向阳。
杜利民.一种全自动稳健的图像拼接融合算法.中
国图象图形学报,2004,9(4):
417-422[7]Krystian
Mikolajczyk,Cordelia
Schmid.A
performance
evaluationoflocaldescriptors.IEEETrans
on
PatternAnalysis
andMachineIntelligence,2005,27(10):
1615—1621
雷琳女,1980年生,博士研究生,主要研究方向为遥感图像处理、目标识别.
粟毅男,1962年生,教授,博士生导师,主要研究方
向为信号处理、雷达系统、遥感信息处理等.
万方数据