影像匹配及其应用(武汉大学-郭丙轩-肖雄武).pptx

影像匹配及其应用(武汉大学-郭丙轩-肖雄武).pptx

《影像匹配及其应用(武汉大学-郭丙轩-肖雄武).pptx》由会员分享，可在线阅读，更多相关《影像匹配及其应用(武汉大学-郭丙轩-肖雄武).pptx（158页珍藏版）》请在冰点文库上搜索。

影像匹配,郭丙轩肖雄武武汉大学测绘遥感信息工程国家重点实验室2015年10月28日,内容,一、概述二、匹配算法介绍三、实践与研究四、总结与思考,概述,影像匹配研究的目的与意义提出问题国内外研究现状,概述,影像匹配研究的目的与意义图像匹配是摄影测量和计算机视觉的一个基本问题，它是数字摄影测量自动化的关键。

图像匹配的核心问题是将不同的分辨率、不同的亮度属性、不同的位置（平移和旋转）、不同的比例尺、不同的非线性变形的图像对应起来。

应用领域广泛：

目标物体运动跟踪，目标识别，三维重建，全景图，目标定位,目标识别,运用图像匹配和拼接技术，可以将我们的手机变成广角相机！

三维重建（贵阳金阳）,正射影像（武测友谊广场）,（以上成果由郭丙轩老师提供）,如何达到精度高、匹配正确率高、速度快、鲁棒性和抗干扰性强，成为追求的目标。

概述,提出问题图像匹配，实质上是一个病态问题。

由于在不同视点拍摄的影像之间，可能存在着遮挡现象，另外影像局部存在着尺度、旋转、位移、错切、光照变化、模糊、噪声等一系列不可逆变换问题。

因此，图像匹配是一个病态问题。

概述,平移Translation欧几里德几何（平移+旋转）相似性变换（平移+旋转+尺度）仿射变换投影变换,国内外研究现状1匹配的特征的选择,灰度值,物理形状特征,内容和句法描述的特征,2匹配的特征的相似性计算方法归一化的相关距离函数字符串匹配,一、概述,二、匹配算法介绍,三、实践与研究四、总结与思考,2.1.基于灰度的匹配算法,2.2.基于特征的匹配算法,二匹配算法介绍,早期的研究中一般使用相关技术解决影像匹配问题。

常见的5种基本匹配算法相关函数协方差函数相关系数差平方和绝对值和,目标窗口,搜索区,搜索窗口,目标窗口灰度矩阵G（gij）搜索区灰度矩阵利用了图象的灰度统计信息,0,（c,r）,1相关函数,R（p,q）g（x,y）g（xp,yq）dxdy（x,y）D,离散灰度数据对相关函数的估计公式为：

gir,jc,mnR（c,r）gi,ji1j1,则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。

若,2协方差函数,C（p,q）g（x,y）Eg（x,y）g（xp,yq）Eg（xp,yq）dxdy（x,y）D,D（x,y）D,g（xp,yq）dxdy,Eg（xp,yq）1,mn,C（c,r）（gi,jg）（gir,jcg）i1j1,n,g,mn,i1j1,ir,jc,m1,n,mn,i1j1,gi,jgc,r,mg1,离散数据对协方差函数的估计为,若C（c0,r0）C（c,r）（cc0，rr0）则c0,r0为搜索区影像相对于目标区影像的位移行、列参数,3相关系数,CC（p,q）,C（p,q）,gggg,（p,q）,（x,y）D,Cggg（x,y）Eg（x,y）dxdy2,gg,g（xp,yq）Eg（xp,yq）2dxdy,C（p,q）,mn,mn,mn,mn,mn,mn,mn,i1j1,ir,jc,i,j,i1j1,i1j1,i1j1,i,jir,jc,i,jir,jc,（g）2,1mn,）2g2ir,jci1j1,（gi1j1,1mn,g2i,ji1j1,）,g）（g,（,1mn,（gg）,（c,r）,若（c0,r0）（c,r）（cc0，rr0），则c0,r0为搜索区影像相对于目标区影像的位移行、列参数。

（x,y）D离散灰度对相关系数的估计，考虑到计算工作量，相关系数实用公式为,4差平方和,S2（p,q）g（x,y）g（xp,yq）2dxdy（x,y）D,）2,mn,i,j,ir,jc,g,S2（c,r）（gi1j1,若S2（c0,r0）S2（c,r）则c0,r0为搜索区影像相对于目标区影像的位移行、列参数,离散灰度数据的计算公式为,5差绝对值和,S（p,q）g（x,y）g（xp,yq）dxdy,若S（c0,r0）S（c,r）（cc0，rr0）则c0,r0为搜索区影像相对于目标区影像的位移行、列参数,（x,y）D离散灰度数据差绝对值和得计算公式为mnS（c,r）gi,jgir,jci1j1,灰度差的平方和最小,最小二乘影像匹配在影像匹配中引入系统变形参数（辐射畸变和几何畸变两大类），按灰度差的平方和最小（vv=min）的原则解求这些变形参数，就是最小二乘影像匹配的基本思想。

单点最小二乘基本算法g1（x1,y1）是模板影像，g2（x2,y2）是待匹配影像，g1和g2之间存在着仿射变形和线性的辐射畸变，则g1（x1,y1）和g2（x2,y2）之间存在的变换关系为：

g1（x1,y1）=h0+h1g2（x2,y2）+n（x,y）x2=a0+a1x1+a2y1y2=b0+b1x1+b2y1其中,h0,h1是辐射变换参数，a0,a1,a2,b0,b1,b2是仿射变换参数，n（x,y）是影像噪声。

线性化后的误差方程：

v=h0+h1g2（a0+a1x1+a2y1,b0+b1x1+b2y1）-g1（x1,y1）+c1*dh0+c2*dh1,+c3*da0+c4*da1+c5*da2+c6*db0+c7*db1+c8*db2,c1=1,c2=g2,71,1,8,.x.y,11,建立误差方程式V=CXL,N*1N*88*1,X=（dh0，dh1，da0，da1，da2，db0，db1，db2）TN*1,由误差方程式建立法方程式（CTC）X=（CTL）上式为差的平方和最小（最小二乘）的充分必要条件，可解求变形参数的改正值。

c3=h1.g2Xc4=h1.g2X.x1c5=h1.g2X.y1c6=h1.g2,2,YY,c=h.g,2,Y,c=h.g,最小二乘匹配流程,（x1,y1）,g,1,g2,x2=a0+a1x1+a2y1y2=b0+b1x1+b2y1几何畸变改正,重采样g2（x2,y2）,辐射畸变改正h+hg,012,相关系数法获取初值,计算最佳匹配点,最小二乘影像匹配计算参数改正值,是,计算变形参数,否,计算相关系数判断是否继续迭代,保存输出圆点圆心坐标,2.1.基于灰度的匹配算法,2.2.基于特征的匹配算法,二匹配算法介绍,2.2基于特征的匹配算法,特征匹配过程,1特征匹配的一般流程,特征提取特征描述特征匹配经典的SIFT/SURF算法介绍倾斜影像匹配算法介绍,1特征匹配的一般流程,基于局部不变特征的图像匹配方法一般流程先从待匹配的图像中提取局部特征（两种思路：

（1）提取特征点，然后利用特征点周围的信息对特征点进行描述；

（2）直接提取局部特征区域），然后在这两个局部特征集间进行元素的匹配（对于点特征的匹配一般是比较两个描述子的相似度；对于区域特征的匹配可通过一定的方式找到特征区域的中心点，作为特征点，按照点特征的匹配方法进行匹配，或，由两个特征区域的重叠误差（KrystianMikolajczyk,2005）来判定）。

2特征提取,特征点检测,

（1）角点检测,

（2）尺度不变特征检测特征区域检测

（1）仿射不变性特征区域检测,

（1）角点检测,常用的角点检测算法有Forstner36-38、Moravec39、Harris22、SUSAN40、FAST41算子，它们具有视点不变性。

其中，Harris方法在重现性测试中表现最好，具有很好的定位性能和鲁棒性42,43。

下面我们将重点介绍Harris算子。

LocalfeaturesDetection:

2x2matrixofimagederivatives（averagedinneighborhoodofapoint）.,Harrisdetector（Harris,1988）,Secondmomentmatrix/autocorrelationmatrix,2,2,2,）,x,D,x,DxD,IDD,I,x,Dx,D,y,D,）,MHarris（x,I,D）,I（x,）I（x,）I（x,）,（x,）G（,I（x,）I（x,）I（x,xD,D,e,22,122,x2y2,I（x,）g（）*I（x）,x,g（）,公式由来说明,影像信号的局部自相关函数,w,w,w,（xw,yw）W,y）2,yw）I（xwx,y,I（x,y）I（xx,yy）2www,I（x,f（x,y）,xwyw,y,x,yww,w,w,）I（x,y）,y）I（x,y）I（x,ywwxww,I（xx,y,给定点（x,y）及位移（x,y），窗口为W，用差平方和（SSD）近似自相关函数，计算窗口W和位移窗口内灰度的差别。

位移后影像函数通过一阶泰勒展开式近似,y,x,y,x,xy,y,x,xwwyww,yww,xyM,I（x,y）,I（x,y）,I（x,y）,Ix（xw,yw）,I（x,y）,I（x,y）xwwyww,重新计算f（x,y）:

f（x,y）,（xw,yw）W,（xw,yw）W,2,secondmomentmatrixM,Autocorrelation（secondmoment）matrix,2,2,2,0,1,yww,xwwyww,xwwyww,xww,（xw,yw）W,（xw,yw）W0,（xw,yw）W,（xw,yw）W,I（x,y）,I（x,y）I（x,y）,I（x,y）I（x,y）,I（x,y）,M,McanbeusedtoderiveameasureofcornernessIndependentofvariousdisplacements（x,y）Corner:

significantgradientsin1directionsrankM=2Edge:

significantgradientin1directionrankM=1HomogeneousregionrankM=0,Harrisdetector流程ImagederivativesSquareofderivatives,3.,Gaussianfilterg（I）,CornernessfunctioncHarrisdetMtraceMNon-maximasuppressioncHarristHarris,Hessiandetector（Beaudet,1978）,Taylor二阶展开式I（xx）I（x）xTI（x）xT（x）x0000得到Hessian矩阵,xyDyyD,（x,）I（x,Ixx（x,D）Ixy（x,D）,HI,）,其中，Ixx是高斯平滑函数的二阶偏导数det（H）III2xxyyxy,I,Ixx,Ixy,Iyy,小总结HarrisdetectorRotationinvariant?

Yes,TheeigenvaluesofMrevealtheamountofintensitychangein,thetwoprincipalorthogonalgradientdirectionsinthewindow.,XT,MX,0,2,10,Scaleinvariant?

NoHessiandetectorRotationinvariant?

YesScaleinvariant?

No,2特征提取,特征点检测

（1）角点检测,

（2）尺度不变特征检测,特征区域检测

（1）仿射不变性特征区域检测,

（2）尺度不变特征检测,常用的圆点检测算法有DoG2、Hessian-Laplace44、Fast-Hessian21算子，这三种算子实质上都与起初的LoG算子45有着十分紧密的关系，它们具有尺度不变性。

其中，DoG算子在匹配和影像恢复等应用领域的使用最为广泛，主要原因如下：

（1）DoG算子能够在空间定位和尺度精确估计上达到很好的平衡，

（2）DoG算子的计算效率较高，（3）DoG特征点的数量较多，并且稳定性非常好。

在后面的SIFT算法详细介绍中将对DoG算子做具体介绍。

尺度选择TheLaplacian-of-Gaussian（LoG）DetectorTheDifference-of-Gaussian（DoG）DetectorTheHarris-LaplaceDetectorTheHessian-LaplaceDetector,

（2）尺度不变特征检测,

（2）尺度不变特征检测,尺度选择,

（2）尺度不变特征检测,尺度选择,（x,）,1m,f（Ii.i,（x,）,1m,f（Ii.i,

（2）尺度不变特征检测,2LoGfilter高斯滤波平滑，然后拉普拉斯滤波。

2（I（x,y）*G（x,y）2G（x,y）*I（x,y）,1*I,0,0,1,1,0101212*I141,TheLaplacian-of-Gaussian（LoG）Detector1Laplacianfilter2I（x,y）I（x,y）I（x,y）xxyy,Smooth,Laplacian,Laplacian算子具有旋转不变性，但对噪声很敏感，因此常需进行平滑操作I（x,y）O（x,y）,y2,2G2G,G（x,y）x2,2,Laplacian-of-Gaussian（LoG）尺度空间的局部极大值点,

（2）尺度不变特征检测,TheDifference-of-Gaussian（DoG）Detector可用高斯差分函数（DoG）近似LoGD（x,y,）（G（x,y,k）G（x,y,）*I（x,y）,Originalimage,1,24,Samplingwithstep=2,ComputationinGaussianscalepyramid,LoGandDoG,ZerocrossingsMexicanhat,SombreroEdgedetector!

LoG:

L（GI）（G）I0DoG:

DG1IG2I0,LowesDoGkeypointsLoweEdgezero-crossingBlobatcorrespondingscale:

localextremum!

Lowcontrastcornersuppression:

thresholdAssesscurvaturedistinguishcornersfromedges,Keypointdetection:

D,xy,HessianmatrixofD,yy,DxxDxy,HDD,DthdetHD,trace2H,

（2）尺度不变特征检测,TheHarris-LaplacianDetector初始化：

多尺度下的Harris角点检测基于Laplacian的尺度选择Harrispoints,Harris-Laplacianpoints,

（2）尺度不变特征检测,TheHessian-LaplaceDetector思想与Harris-LaplacianDetector相同,图：

Hessian-Laplace算子应用于具有尺度改变的影像结果,图：

Harris-Laplace算子在同一场景下不同尺度的两幅影像上特征检测结果，圆的半径代表了特征尺度大小,Detectors总结,（由郭丙轩老师和肖雄武总结）,2特征提取,特征点检测角点检测尺度不变特征检测特征区域检测,

（1）仿射不变性特征区域检测,

（1）仿射不变性特征区域检测,常用的特征区域检测算子有Harris-Affine&Hessian-Affine3,4和MSER5算法，这三种特征区域算子具有仿射不变性。

目前，在仿射不变性特征区域检测算法中，MSER算法表现最好8。

应用：

视角差异导致的几何形变,大视角下的图像特征匹配问题：

同一场景中相同的物体内容，在大视角拍摄条件下，发生明显的几何形变,相同形状的窗口不能代表同样的场景内容！

随视角变化的椭圆区域可以包含相同的图像内容使用区域来代表图像内容,介绍：

仿射不变区域特征,仿射不变区域特征：

可以处理图像之间的仿射形变形状不确定，相同物体的特征区域随视角变化而变化特征区域可以在不同视角和光照下被稳定地检测到前提条件场景中物体局部表面可以近似为平面透视产生的形变可以忽略区域特征之间的几何形变可以近似为“仿射变换”,ellipse,circle,Affine,Transformation,Harris/HessianAffine给定一组由Harris-Laplace算子得到其尺度特征的初始点，用椭圆形区域获得仿射不变性。

具体处理步骤如下：

由Harris-Laplace算子获得兴趣点初始区域

（2）由二阶矩矩阵估计区域仿射形状归一化仿射区域成为圆形区域在归一化的影像上重新检测新的位置和尺度（5）如果二阶矩矩阵的特征值在新的点上不相等，则转

（2）,

（1）仿射不变性特征区域检测,图：

利用二阶矩矩阵的特征值估计兴趣点区域的仿射形状，变换是用该矩阵的平方根进行的，经过归一化的图像XL和XR之间的变换是旋转变换关系，只取决于一个旋转因子，因子大小代表了特征值的比率,

（1）仿射不变性特征区域检测,图：

Harris-Affine算子检测的从不同视角得到的结果图,图：

Hessian-Affine算子得到的不同视图下的影像检测结果,

（1）仿射不变性特征区域检测,

（1）仿射不变性特征区域检测,MSERMSER=MaximallyStableExtremalRegions目前业界认为是性能最好的仿射不变区域。

MSER是当使用不同的灰度阈值对图像进行二值化时得到的最稳定的区域对于图像灰度的仿射变化具有不变性稳定性，区域的支持集相对灰度变化稳定可以检测不同精细程度的区域,MSER提取过程,使用一系列灰度阈值对图像进行二值化处理对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域在比较宽的灰度阈值范围内保持形状稳定的区域就是MSERs评判标准：

dA/dtA:

二值图像区域面积，t:

灰度阈值,MSER,MaximallyStableExtremalRegions提取极值区域提取最稳定极值区域使用椭圆形来近似图像区域,J.Matas.“RobustWideBaselineStereofromMaximallyStableExtremalRegions”,BMVC2002,MSER椭圆表达,使用一个椭圆形代表MSER区域可以将这个椭圆形进行归一化，使用圆形的区域进行表达可以在圆形区域内使用SIFT描述子进行描述,构造仿射不变性区域,待匹配的图像,分别提取仿射不变区域,用椭圆代表区域的形状,将椭圆归一化为单位圆,旋转对齐主方向，灰度归一化,Harris-Laplace（HRL）scale-adaptedHarris（rotationinvariant）Laplacian-of-Gaussianscale-space（scaleinvariant）detectscornerlikestructuresHessian-Laplace（HSL）Hessiandetector（rotationinvariant）Laplacian-of-Gaussianscale-space（scaleinvariant）blob-likestructureshigherlocalizationaccuracythanDoGhigherscaleselectionaccuraythanHRLLaplacekernelfitsbettertoblobsthantocornersDifference-of-Gaussian（DoG）localscale-spacemaximaoftheDoGblob-likestructuresrespondtoedges（unstable）Harris-Affine（HRA）localizationandscaleestimatedbyHRLaffineadaptationprocessbasedonsecondmomentmatrixHessian-Affine（HSA）HSL+affineadaptationprocess,2.2基于特征的匹配算法,特征匹配过程特征匹配的一般流程特征提取,3特征描述,4特征匹配经典的SIFT/SURF算法介绍倾斜影像匹配算法介绍,3特征描述,Extractvectorfeaturedescriptorsurroundingeachinterestpoint.TheidealdescriptorshouldbeRepeatableDistinctiveCompactEfficientChallengesInvariant：

IlluminationScaleRotationAffine,Illumination,Scale,Rotation,Affine,几类特征描述符基于滤波器的描述符基于分布的描述符其他描述符,3特征描述,基于滤波器的描述符,滤波描述子用高斯导数与影像卷积来近似描述像素点邻域的特征33。

基于滤波器的特征描述子的主要思想是利用滤波器对特征区域进行滤波处理，以获得一系列有特殊含义的滤波值，然后利用这些值信息对特征区域进行描述46。

目前最典型的三种基于滤波的描述符分别是steerablefilter47、Gaborfilter48、complexfilter49。

N,i1.in,JI（X,）L,（X,）（X,）IR,n0,.,N,filtersdifferentialinvariantslocaljet（一系列导数向量）影像I在点X处的N阶localjet定义为：

steerablefiltersWhichsteerderivativesinaparticulardirectiongiventhecomponentsofthelocaljetcomplexfiltersKmn（x,y）（xiy）（xiy）G（x,y）mn影像导数由高斯导数的卷积来获得。

（a）高斯导数到4阶,（b）6阶复数滤波（complexfilters）,localjet,L（x,）是由高斯导数和影像卷积而成,旋转不变,image,filter,Filterresponses,更加稳定，但对姿态的改变（旋转+仿射）仍很敏感,基于分布的描述符,常用的基于分布的描述符有SIFT2、PCA-SIFT50、GLOH34、SURF21描述子，其中SIFT描述子是最稳健的描述子之一34,35。

SIFT描述子对特征点周围邻域内像素的梯度信息（包括梯度模值和方向）用三维直方图进行统计。

SIFT描述子对于图像的几何变性具有很好的鲁棒性，具有较强的抗噪声和抗光照变化能力，并且对于含有定位误差的特征匹配也提供了较好的容错性23。

后面我们将对SIFTdescriptor和SURFdescriptor进行详细介绍。

其他描述符,基于不变矩的描述符，不变矩是指具有旋转、平移、尺度等特性的矩特征，表征了图像区域的几何特征，反映了图像在某个区域的形状和强度分布性质46，可根据需要构造出各种复杂的变换不变量。

不变矩理论为图像识别建立了一种统计特征提取方法，得到了广泛应用。

Tuytelaars等51将矩不变量引入到特征描述中，取得了良好的匹配效果。

Mindru52提出利用广义颜色矩来刻画局部区域的形状、亮度和颜色分布情况。

何冰等53设计了一种基于不变矩的数字水印方法，该方法对噪声干扰、JPEG压缩变换具有很强的鲁棒性，且对于平移变换、旋转变换、尺度变换也具有较好的不变性。

基于纹理的描述符，通过描述图像对一组滤波器的响应可以构建图像的纹理描述子。

构建纹理描述子的关键步骤是滤波器组的选择。

根据选择的滤波器不同，所构造的纹理描述子也存在差异46。

Leung等54选择48个滤波器来构建纹理基元。

ManikVarma等55提出的最大响应滤波器组由38个基本滤波器组成。

MomentinvariantsGeneralmomentso