计算机视觉图像配准资料.docx
《计算机视觉图像配准资料.docx》由会员分享，可在线阅读，更多相关《计算机视觉图像配准资料.docx（20页珍藏版）》请在冰点文库上搜索。
计算机视觉图像配准资料
2）立体匹配
立体匹配是指根据对所选特征的计算来建立特征间的对应（correspondence），从而建立同一个空间点在不同图像中的像点之间的关系，并由此得到相应的视差（disparity）图像。
立体匹配是立体视觉中最重要、最困难的步骤。
视差图像代表了左右两幅图像之间的对应关系，然后由二角测量原理就可以求得景物的深度（depth）。
学位论文作者．题名〔D〕．保存地点．保存单位．年份葛亮图像建模中立体匹配问题的研究[D]计算机软件与理论重庆大学,2009
LHUILLIER和QUAN【20]从特征点匹配出发，提出了基于区域增长的类稠密匹配算法，效果良好，但该算法只能用十纹理丰富的图像，在纹理单一的区域，匹配关系的传播就会停止。
图像匹配
图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。
其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。
图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。
1、灰度匹配
灰度匹配的基本思想:
以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。
利用两个信号的相关函数，评价它们的相似性以确定同名点。
灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。
最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。
利用灰度信息匹配方法的主要缺陷是计算量太大，因为使用场合一般都有一定的速度要求，所以这些方法很少被使用。
现在已经提出了一些相关的快速算法，如幅度排序相关算法，FFT相关算法和分层搜索的序列判断算法等。
基于区域的匹配又称窗口相关（windowedcorrelation）算法，其基本思想是是把一幅图像中某一像点的灰度值邻域作为基源，在另一幅图像中搜素具有相同（或相似）灰度值分布的对应点邻域，从而实现两幅图像的匹配。
在搜索过程中，通常是以互相关函数作为两个搜索领域间的相似性测度。
2、特征匹配
特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。
基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。
特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。
特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。
基于特征的配准算法被广泛地应用于各种场合，其中基于边缘、区域和特征点的图像配准算法被研究得最多。
基于图象特征的匹配方法可以克服利用图象灰度信息进行匹配的缺点，由于图象的特征点比较象素点要少很多，大大减少了匹配过程的计算量;同时，特征点的匹配度量值对位置的变化比较敏感，可以大大提高匹配的精确程度;而且，特征点的提取过程可以减少噪声的影响，对灰度变化，图象形变以及遮挡等都有较好的适应能力。
所以基于图象特征的匹配在实际中的应用越来越广泛。
所使用的特征基元有点特征（明显点，角点，边缘点等），边缘线段等。
3、比较
特征匹配与灰度匹配的区别：
灰度匹配是基于像素的，特征匹配则是基于区域的，特征匹配在考虑像素灰度的同时还应考虑诸如空间整体特征、空间关系等因素。
特征是图象内容最抽象的描述，与基于灰度的匹配方法相比，特征相对于几何图象和辐射度影响来说更不易变化，但特征提取方法的计算代价通常较大，并且需要一些自由参数和事先按照经验选取的阀值，因而不便于实时应用。
同时，在纹理较少的图象区域提取的特征的密度通常比较稀少，使局部特征的提取比较困难。
另外，基于特征的匹配方法的相似性度量也比较复杂，往往要以特征属性、启发式方法及阀方法的结合来确定度量方法。
4．1．2区域特征
倘若能够较好地对图像进行区域分割，区域特征也是一种不错的选择。
它的优点是十分明显的，区域包含了丰富的图像信息，如灰度值、矩、空间占有数等，这些信息的区分度较高，最重要的是它们的计算开销很低。
文献【28】应用适当的分割算法，在图像中分割出尽量多的独立闭合区域。
在闭合区域的基础上，将各个闭合区域的重心作为控制点，然后使用聚类的方法对其进行匹配，并在最小均方误差准则下进行变换参数估计，最后得到了子像素级的配准精度。
尽管区域特征有着上述优点，但是它也有其天生的弱点：
对灰度变化敏感，受光照变化影响较大；虽然不需要进行特征提取，但是当图像间存在旋转变化、遮掩等情况时，区域特征表现得极为不适应。
4．1．3点特征
点特征是目前基于特征的配准算法所用到的主要特征。
与边缘或区域特征相
比，点特征指示的数据量明显要少很多；点特征对于噪声的敏感度也比前两种特征低；在灰度变化或遮掩等情况下，点特征也比边缘和区域特征更为可靠；当边缘线断裂或者图像中引入了新内容，边缘和区域特征的有效性将会降低，由于特征选取的优劣将直接影响到后续的特征匹配，故制约了这两种特征的应用范围。
点特征包括角点、中心、质心、重心、直线交叉点等。
其中，角点包含丰富的局部特征和形状信息，成为基于特征的图像配准问题中最常用的特征。
（2）区域生长法
区域生长的基本思想是将具有相似特性的像素集合起来构成区域。
首先为每个需要分割的区域确定一个种子像素作为生长起点，然后按一定的生长准则把它周围与其特性相同或相似的像素合并到种子像素所在的区域中。
把这些新像素作为种子继续生长，直到没有满足条件的像素可被包括，这时生长停止，一个区域就形成了【1】对于较均匀的连通目标有较好的分割效果。
区域生长法的优点是计算简单，它的缺点是需要人为确定种子点，对噪声缠感，可能导致区域内有空洞。
。
区域生长法要解决的主要问题是区域生长准则的设计和算法的高效性。
1
角点处不仅梯度的数值大，而且沿梯度方向上的变化也很剧烈【29】。
目前常用的匹配算法很难在得到致密的、高精度的图像信息的同时又具有很快的速度，稠密匹配算法在这方面显示了其优越性。
该文主要讨论了基于区域增长的匹配算法中存在的问题，并对此算法进行了改进。
利用Harris角点检测完成自动选取种子点的功能，并提出手动方法，以保证匹配精度、提高匹配速度;区域增长过程主要依据像素间的连续性，将匹配关系由种子点传播到周围的区域，达到遍历整幅图像的目的。
最后根据视差原理计算匹配点对的视差，并在VisualC++6.0环境下画出视差图。
从理论分析和实验效果可以看出，自动取点和手动取点过程保证了种子点的精度，区域增长过程利用像素之间的连续性获取了大量的匹配点对，并得到了晰且致密的视差图。
按图像特征匹配方法是指原图像和变换后的图像中进行提取对比例、缩放、旋转、灰度变换具有不变性的特征进行匹配的方法闪。
常使用的特征包括边缘、区域、线的端点、线交叉点、区域中心和曲率不连续点等。
其中边缘和区域边界最常用，它们可以由边缘检测方法和区域分割方法得到。
一般说来，基于特征的方法因为它们不直接依赖于像素值，所以需要较复杂的图像处理以抽取特征，因此不利于硬件实现。
香港大学的MaximeLhuillier博士和龙泉教授，将用于区域分割的区域增长算法应用到图像匹配中，对景物图像与人脸等其他图像进行处理，已经取得了一定的成绩，能够得到数目较多的匹配点对和浓密的视差图[t}}l。
但也存在着一定的缺点，在选取种子点的时进行全局搜索，使得搜索的速度慢，精度也不高，很容易出现误匹配。
（3）改进区域增长的立体匹配算法，在其实现过程的第一步—种子点选取的过程中，采用自动和手动取点两种方法，以得到高精度的匹配点对:
在第二步—区域增长中，将得到的种子点根据相似度降序排列，对精度高的种子点先进行增长，精度低的后进行增长，以达到优化的目的。
另外，在整个过程中使用极线约束，保证匹配的精度。
（4）根据视差原理，计算得到的匹配点对的视差，并画出视差图，检测其匹配的效果。
5.3匹配方法的分类
根据匹配基元和方式的不同，目前的立体匹配算法基本上可分为三类:
即基于区域相关（Area-based）的匹配、基于特征（（Feature-based）的匹配和荃于相位（（Phase-based）的匹配[29]。
这三类算法的匹配基元不同，因此它们判断对应点匹配的理论依据也有所不同，同时匹配基元的稳定性、致密性和歧义性程度直接决定了各个算法的基本特性。
同时，各类匹配算法中不乏一些共有的约束条件，比如M}立体视觉计算理论中提出的唯一性、连续性和外极线约束等。
（1）基于区域相关的匹配算法是把一幅图像中的某一点的灰度邻域作为模板，在另一幅图像中搜索具有相同（或相似）灰度值分布的对应点邻域。
该方法可以得到致密的视差场，但是缺点就是计算量大、速度慢，对畸变、旋转等比较敏感和在深度间断处出现容易出现误匹配，并且易受噪声干扰，鲁棒性差。
（2）基于特征的匹配算法不是直接利用图像灰度，而是通过灰度导出的符号特征来实现匹配，因此，具有较强的抗干扰性，相对于基于区域的匹配计算量小得多，速度快，但是匹配结果受特征检测精度的影响，得到的匹配点的数目较少，不能得到浓密的视差图。
5.3.1基于特征的匹配
基于特征的匹配是充分利用图像中拐角、直线、圆弧、自由曲线、图像的过零点和图像边缘的朝向等特征信息，定义一个匹配准则（比如图像边缘朝向、相关性等），然后在视差范围内寻找匹配特征[31-33一]。
（1）特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场，要获得密集的视差场必须辅助插值过程，而为了保证插值点的精确度，插值过程往往较为复杂，
（2）特征的提取和定位过程直接影响特征匹配结果的精确度;
（3）相对于基于区域的匹配来讲，基于特征的匹配经常出现歧义匹配的干扰。
5.3.2基于区域的匹配
基于区域的匹配又称窗口相关（windowedcorrelation）算法，其基本思想是是把一幅图像中某一像点的灰度值邻域作为基源，在另一幅图像中搜素具有相同（或相似）灰度值分布的对应点邻域，从而实现两幅图像的匹配。
在搜索过程中，通常是以互相关函数作为两个搜索领域间的相似性测度。
（2）区域生长法
区域生长的基本思想是将具有相似特性的像素集合起来构成区域。
首先为每个需要分割的区域确定一个种子像素作为生长起点，然后按一定的生长准则把它周围与其特性相同或相似的像素合并到种子像素所在的区域中。
把这些新像素作为种子继续生长，到没有满足条件的像素可被包括，这时生长停止，一个区域就形成了CZOI。
区域生长法要解决的主要问题是区域生长准则的设计和算法的高效性。
区域生长法的优点是计算简单对于较均匀的连通目标有较好的分割效果。
它的缺点是需要人为确定种子点，对噪声敏感，可能导致区域内有空洞。
4.角点检测
角点是图像中非常重要的信息，角点检测的目的就是获得图像内部的有用信息，主要是针对图像内部水平和竖直方向都有显著变化的部位进行检侧，其目的是在图像内部找到更多的显著的特征点，可以对图像有更好的理解。
本文对常用的方法:
Susan角点检测算法、MIC角点检测算法和Harris角点检测算法进行了简单介绍，并根据Harris角点检测算法进行了验证，得出实际的角点检测图像。
4.1角点检测技术概况
角点被定义为二维图像亮度变化剧烈的点或图像边缘曲线上具有曲率极大值的点。
角点的最直观印象就是在水平、竖直两个方向上变化均较大的点。
边缘是仅在水平、或者仅在竖直方向有较大的变化量。
而平坦地区在水平、竖直方向的变化t均较小。
圆2处表示的是边缘点，而圆3处代表的是平坦区域。
中圆1处是一个最理想的角点，其水平方向、竖直方向的变化量均较大。
形状的角点（即关键点）已被广泛应用到图像检索中。
角点检测已成为计算
机视觉和模式识别研究领域中一项重要的基础性研究课题,准确的角点检测对完成许多计算机视觉任务（如图像匹配、目标识别及运动分析等）起着至关重要的作用,现已经提出了许多角点检测方法[1～5]。
1 Harris多尺度角点检测原理及角点提取
4．2．4Harris角点检测算子
HarrisC．G和StephensM．J于1988年提出了Harris角点检测算法【ll】基于直方图均衡化和Harris角点检测的数字水印算法.科技资讯。
该算子由Moravec算子改进而来，该算子引入了信号处理中自相关函数理论，将角点检测与图像的局部自相关函数紧密结合，通过特征值分析来判断待检测点是否为角点。
111 经典Harris角点检测原理及局限角点,是一种重要的图像特征点,它包含了丰富的二维结构信息,在基于特征的图像配准、形状识别及三维重建等领域中,角点提取具有十分重要的意义。
角点检测算法中较有代表性的是Harris角点检测算法。
Harris算子是Harris和Ste2phens[4]提出的一种基于信号的角点特征提取算子,具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。
角点的信息含量很高，可以对视觉处理提供足够的约束，极大地提高运算速度，在图像之间进行可靠的匹配。
这些特点使得角点检测在机器视觉和图像处理的许多方面都起着十分重要的作用。
衡量角点检测算法性能的准则主要有以下四个:
（1）检测准确性:
不计噪声，即使最细小的角点，角点检测算法也可以检测得到;
（2）定位性:
检测到的角点应尽可能接近它们的真实位置;
（3）稳定性:
相对相同场景拍多幅照片时，每一个角点的位置都不应该移动;
（4）复杂性:
检测算法的复杂性越小，运行速度就越快，自动化程度就越高。
[基于角点匹配的图像拼接技术]李冬梅，王延杰h
Harris检测算子灰度改变量E
对于某像素点（x,y）,定义能量E如下：
其中u、v分别是x、y方向上的平移量，I为灰度函数，w（x,y）是窗口函数，取高
斯函数
从图中可以看出：
①2个曲率都很小的话，说明局部自相关函数很平坦；
②一个曲率大，一个曲率小，说明局部自相关函数呈现山脊状；
③2个曲率都很大，说明局部自相关函数有一个尖峰。
因此，Harris特征点可以定义为下面式子的局部区域最大值：
（1）．Harris角点检测算子的数学表达
在Harris角点检测算子中，定义g（u，v）为一正方形窗口中的灰度变化，即：
I
I
汁算相似度
汁算相似度
利用M计算对应于每个像素的角点量，
②阐值:
只要当计算的角点量大于闽值并且是局部的极大值时，这个点才被看作
是角点，所以当闭值增大时，搜索的角点数目就会变少;当闽值减小时，搜索的角点数会增多
由于参考图像和待配准图像灰度以及对比度的不同，如果直接对两幅图像中的每个点进行Harris计算乏不仅计算量很大，而且不易提取到两幅图像中的对应角点。
为此，本文对Harris算子进行了如下改进：
（1）首先对两幅图像进行直方图均衡化处理，增加两幅图像的对比度，使角点位置更加突出，然后用均衡化后的参考图像直方图对均衡化后的待配准图像进行直方图匹配，得到新的待配准图像，使变换后的两幅图像具有更大的相似性[8]，便于提取两幅图像中更多的对应角点
（2）只对图像中梯度幅度最大的20％像素点进行Harris计算，这些像素点反映了图像的主要结构信息[9]，避免了在整个图像的每个像素点上计算Harris算子，减少了计算量，同时也保证提取绝大部分的角点。
其中gx,gy分别为x,y方向的梯度,G（.s）为高斯模板,det为矩阵的行列式,tr为矩阵直迹,k为常数,R表示图中相应象素点的兴趣值。
若某一象素的兴趣值处于邻域最大,且大于阈值（R0）时,则该象素称为角点,相应的兴趣值称为角点值。
。
角点的匹配通常采用不相似测度SSD（sumofsquaredifferences——误差平方和）和相似测度NCC（normalizedcrosscorrelation—一归一化互相关）来匹配。
c2）窗口大小的选择
与基于特征的匹配算法不同，该方法是以窗口为单位进行匹配计算的，所选择的窗口要求含有足够的亮度变化，因此选择适当的窗口的大小成为生成平滑且准确的视差图的关键。
窗口选择的过小时，由于不能包含足够的亮度变化，使得亮度变化与图像噪声的比率很小，从而只能得到一个含有很大误差的视察估计值;同样，若窗口定义的过大，当所定义的窗口区域中点的深度值发生突变时，采用上述计算准则得到的值将不能表示正确的匹配，此时，窗口定义的越大，匹配效果越差，而且窗口越大运算量越大，运算的时间越长。
为避免窗口过大所出现的问题，可以采用事先检测图像边界的方法来定义窗口的大小，但边界的检测又是一个很棘手的问题。
现有的基于区域的立体匹配算法中很多都是使用固定的窗口大小来进行立体匹配计算的[[35-37]a
基于区域的匹配算法的实质是利用了局部窗口之间灰度信息的相关程度，这种方法在地势平坦而纹理丰富的地方可以达到比较高的精度，并且能取得致密的视差场。
此外，匹配的理论精度还可预先计算出来。
但是，区域匹配选取一定大小窗口内的灰度分布特性作为匹配基元，决定了该算法具有以下缺陷:
①对仿射畸变和辐射畸变较敏感;
②匹配窗的大小很难选择。
窗口选择过大，在高度间断处会出现误匹配，运算时间长;选择过小，区域内的灰度分布特性未得以充分展现;
③计算量大，速度慢。
计算相似度
这里
（x）和
1（x）表示所给窗口中以:
为中心点的灰度值。
将ZNCC的值设定在0.8,
区域增长
区域增长是整个区域增长算法的第二部分也是核心部分。
完成第一步获取种子点
以后，将这种匹配关系通过种子点对传播给其周围的点，最终能遍历整个图像。
所依据就是像素间的连续性，在左图像中种子点附近的像素其匹配点也一定在右
图像中同一种子点的匹配点附近，所以只需采用3x3或4x4窗口进行匹配就足以得
到良好的匹配效果。
在开始区域增长之前，先对种子点进行优化，按相似度的高低排列种子点，从种子库中选出匹配精度最高的点同时完成这一任务，获得的匹配点对如果其精度达到一定的要求，就可以将其存储在种子点库中，再排序，再选取精度最高的点，再增长，以遍历整幅图像，得到整幅图像中的匹配点对。
。
图像匹配的方法主要有两大类：
特征匹配和区域匹配。
区域匹配是利用图像区域之间的像素的相关性进行匹配，特征匹配是利用图像中的纹理、边缘、目标等特征来确定匹配位置】。
本文【基于特征点的图像拼接算法研究】采用特征点来进行图像的配准，这是因为基于区域的拼接方法可能会造成图像的模糊和明显的边界，而基于特征点的拼接方法却有着很多的优点，首先图像的特征点比图像的像素点要少的多，可以大大减少匹配过程中的计算量；其次特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及光照不均等都有较好的适应能力
3 基于区域增长的稠密匹配【基于区域增长的立体像对稠密匹配算法】
3.1 稠密匹配中的区域增长策略
稠密匹配就是要尽可能多地将一个图像对的所有像素进行匹配.区域增长作为本算法的第2步,将匹配关系从种子点传播至图像的其余部分.与传统的逐点独立计算的方法相比,区域增长算法利用连续性约束极大地提高了稠密匹配的效率.其基本思想是:
若已知左图像上一点s与右图像上一点S匹配,则与s相邻的r和b点的匹配点R和B必定在S点附近.这样R和B点的搜索范围就可以限制在S点的一个较小的邻域之内.通常只需要在4×4或3×3（像素）的搜索窗内计算目标函数,求得最大匹配值,即可认为是所求点的正确匹配.采用这种技术,算法的准确性和效率都可以得到极大提高.一旦找到一个准确、可靠的匹配点对,就可以根据它们之间的相对位置关系将匹配迅速传播至整个图像区域.从种子点向图像对右下方的基本区域增长策略如图1所示,其中点R和B的搜索范围如图1（b）中两个粗线方框所示.这里搜索窗口的大小取为4×4像素.
s
r
b
S
R
B
在将匹配关系由种子点向图像的其余部分传播的过程中,若已知一对种子点,可以确定其相邻点的搜索区域;而若已知左图像中有两个种子点与当前点相邻,则其对应点在右图像中的搜索区域由以上两对种子点共同确定,如图2所示.在左图像中与当前点p相邻的有两个种子点s1和s2,而它们在右图像中的对应点S1与S2并不相邻,则p点的搜索区域由图2（b）中所示的两个粗线方框共同组成.以上两点就是区域增长策略.前一策略是匹配传播的基本方式,也是一般的区域增长算法所共同采用的传播策略.后一策略在确定当前点的搜索区域时不完全依赖于某一对种子点,而是由其周围种子点的匹配情况共同确定,这一项新加入的区域增长策略保证了匹配传播的可靠性和准确性.图
种子点在增长过程当中也难免会出现误匹配，为了减少这些误匹配，这一程同样采用极线约束的方法。
与获取种子点时采用的极线约束是相同的，得到的匹配点对必须在对应极线上，否则就不满足匹配条件。
依据这个约束去除误匹配的点对，它是准确的匹配结果的一个可靠保障。
1、灰度相似性约束
采用ZNCC值来度量匹配的相似性，ZNCC值越大，匹配的可靠性越高.只保留ZNCC值大于一定阈值的匹配点。
2、置信度约束
置信度的限制是用来防止匹配扩散到灰度过于一致、纹理信息稀少的区域（如天空），图像I上某点x的置信度被定义为：
3、极线约束
依据这个约束去除误匹配的点对，它是准确的匹配结果的一个可靠保障。
升级会员 