MATLAB应用图像处理)第6章MATLAB图像配准.ppt

MATLAB应用图像处理)第6章MATLAB图像配准.ppt

《MATLAB应用图像处理)第6章MATLAB图像配准.ppt》由会员分享，可在线阅读，更多相关《MATLAB应用图像处理)第6章MATLAB图像配准.ppt（83页珍藏版）》请在冰点文库上搜索。

第6章MATLAB图像配准,6.1图像配准概述6.2图像配准方法6.3MATLAB图像配准工具介绍6.4图像配准示例习题,6.1图像配准概述,6.1.1图像配准定义图像配准是对从不同传感器、不同时间、不同视点所获得的两幅或多幅图像进行最佳匹配，以达到空间匹配和叠加目的的处理过程。

本质上图像配准首先需要分析各分量图像上的几何畸变，然后采用一种几何变换将图像归化到统一的坐标系统中。

在图6.1所示的例子中，待配准图像根据参考图像经过配准方法处理可以得到局部放大且角度校正的配准图像。

在医学领域中，图像配准一般是指有重叠区的相邻两幅图像的对准。

图6.1图像配准演示实例,6.1.2图像配准的分类到目前为止，对配准的分类始终没有一个统一的说法，人们根据其不同的用途和特征对它进行不同的分类。

下面给出目前比较流行的分类方法。

根据空间维数数目，图像配准可分为如下几类：

（1）3D/3D配准。

该类配准应用于两个断层扫描数据的配准。

（2）2D/2D配准。

该类配准应用于相同或不同断层扫描数据的不同片层之间的配准。

（3）2D/3D配准。

该类配准应用于空间数据和投影数据之间的配准，或二维片层扫描数据和三维空间数据的配准。

根据医学图像模态，图像配准可分为如下几类：

（1）单模图像之间的配准。

该类配准一般应用于生长监控、剪影成像等。

（2）多模图像之间的配准。

该类配准是解剖解剖之间的配准、解剖功能之间的配准。

（3）患者和模态之间的配准。

该类配准多应用于放射治疗和计算机辅助手术中的手术定位。

根据变换性质，图像配准可分为如下几类：

（1）刚性变换配准。

该类配准包括平移和旋转。

（2）仿射变换配准。

该类配准是将平行线变换为平行线。

（3）投影变换配准。

该类配准是将直线映射为直线。

（4）曲线变换配准。

该类配准是将直线映射为曲线。

根据用户交互性，图像配准可分为如下几类：

（1）交互配准。

该类配准是用户完成配准过程，而程序提供一个当前变换的直观显示以指导用户。

（2）半自动配准。

该类配准是用户可能需要初始算法的某些参数，可能需要接受或拒绝某些配准假设。

（3）自动配准。

该类配准时用户只需给出算法和图像数据，但完全实用还需要时间。

6.2图像配准方法,6.2.1基于灰度信息的图像配准方法1序贯相似度检测匹配法序贯相似度检测匹配法（SequentialSimilarityDetectionAlgorithms，SSDA）是由Barnea等人提出来的。

该方法先选择一个简单的固定门限T，若在某点上计算两幅图像残差和的过程中，残差和大于该固定门限T，就认为当前点不是匹配点，从而终止当前的残差和计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。

2交互信息法交互信息法最初是Viola等人于1995年引入到图像配准的领域的，它基于信息理论的交互信息相似性准则，初衷是解决多模态医学图像的配准问题。

交互信息用来比较两幅图像的统计依赖性。

首先将图像的灰度视作具有独立样本的空间均匀随机过程，相关的随机场可以采用高斯马尔科夫随机场模型建立，用统计特征及概率密度函数来描述图像的统计性质。

交互信息是两个随机变量A和B之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。

交互信息是用A和B的个体熵的联合熵来表示的，其中，图像A和B的个体熵分别为随机变量A和B的边缘概率密度，联合熵为两个随机变量的联合概率密度分布。

基于交互信息的图像配准是用两幅图像的联合概率分布与完全独立时的概率分布的广义距离来估计交互信息。

交互信息用于图像配准的关键思想是：

如果两幅图像达到匹配，它们的交互信息达到最大值。

在图像配准的应用中，通常联合概率密度和边缘概率密度可以用两幅图像重叠区域的联合概率直方图和边缘概率直方图来估计，或者用Parzen窗概率密度估计法来估计，从而计算交互信息。

当两幅图像达到最佳配准时，它们对应的像素的灰度交互信息应为最大。

由于基于交互信息的配准对噪声比较敏感，所以首先通过滤波和分割等方法对图像进行预处理，然后对图像进行采样、变换、插值、优化，从而达到配准的目的。

交互信息法只依赖于图像本身的信息，不需要对图像进行特征点提取和组织分类等预处理，它是一种自动而有效的配准算法。

该算法可靠，对图像中的几何失真、灰度不均匀和数据的缺失等不敏感，它不依赖于任何成像设备，可应用于多模态医学图像配准。

但它也有缺点，如运算量大、对噪声敏感、要求待配准图像间联合概率分布函数必须是严格正性的。

交互信息图像配准方法在医学图像的配准问题上应用较多。

比如将交互信息和梯度结合起来改善其极值性能的算法、多分辨率图像金字塔法等。

但交互信息是建立在概率密度估计的基础上的，有时需要建立参数化的概率密度模型，它要求的计算量很大，并且要求图像之间有很大的重叠区域，所以函数可能出现病态，且有大量的局部极值。

3互相关法互相关法是最基本的基于灰度统计的图像配准的方法，通常被用于进行模板匹配和模式识别。

互相关法是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待配准图像中的位置。

模板匹配法是在一幅影像中选取一个合适的影像窗口作模板，大小通常为55或77，如图6.2所示。

然后通过相关函数的计算来寻找它在搜索图中的坐标位置。

设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si，j，子图的中心点在S图中的坐标（i，j）叫参考点。

图6.2模板匹配法,用以下测度来衡量T和Si，j的相似程度：

根据施瓦兹不等式，0P1，并且在Si，j（m，n）/T（m，n）值为常数时取极大值1。

但实际上两幅不同图像的P值介于0和1之间，很难达到理想值。

根据经验取某个阈值P0，如果PP0，则匹配成功；如果PP0，则匹配失败。

为了加快搜索速度，很多影像匹配方法使用金字塔影像，如图6.3所示。

图6.3金字塔影像,将原始图像作为金字塔影像的底层。

对图像进行一次采样率为1/n（n=2，3）的重采样，即把图像的每nn个像素变为一个像素，这样就得到一对长、宽都为原来1/n的图像，把它作为金字塔的第二层。

再对第二层用同样方法进行一次采样率为1/n的重采样，又得到第三层（顶层）。

具体过程如下：

第一步：

顶层的匹配，得到一个平移初始值；第二步：

根据平移初始值乘以n得到第二层平移量初始值，在它mm个像元的邻域内进行模板匹配；第三步：

根据第二层匹配值乘以n得到第三层平移量初始值，再进行一次模板匹配。

如果影像尺寸不是特别大，可以只用两层金字塔。

6.2.2基于变换域的图像配准方法最主要的变换域图像配准方法是傅立叶变换方法，它主要有以下一些优点：

图像的平移、旋转、仿射等变换在傅立叶变换域中都有相应的体现；利用变换域的方法还有可能获得一定程度的抵抗噪声的鲁棒性；由于傅立叶变换有成熟的快速算法和易于硬件实现，因而在算法实现上有其独特的优势。

相位相关技术是配准两幅图像平移失配的基本傅立叶变换方法。

相位相关依据的是傅立叶变换的平移性质。

给定两幅图像，它们之间的唯一区别是存在一个位移，根据傅立叶变换的性质可知这两幅图像有相同的傅立叶变换幅度和不同的相位关系，相位关系是由它们之间的平移直接决定的。

两幅图像的相位差就等于它们交叉功率谱的相位，对其进行傅立叶反变换会得到一个脉冲函数，该函数在其他各处几乎为零，只在平移的位置上不为零，这个位置就是要确定的配准位置。

旋转在傅立叶变换中是一个不变量。

根据傅立叶变换的旋转性质，旋转一幅图像，在频域相当于对其傅立叶变换作相同角度的旋转。

两个频谱的幅度是一样的，只是有一个旋转关系。

也就是说，这个旋转关系通过对其中一个频谱幅度进行旋转，用最优化方法寻找最匹配的旋转角度就可以确定。

6.2.3基于特征的图像配准方法基于特征的匹配方法的共同之处是首先对待配准图像进行预处理，也就是先要进行图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。

由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。

常用到的图像特征有特征点（包括角点、高曲率点等）、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征（如矩不变量、重心等）等。

点特征是配准中常用到的图像特征之一，其中主要应用的是图像中的角点，图像中的角点在计算机视觉模式识别以及图像配准领域都有非常广泛的应用。

基于角点的图像配准的主要思路是，首先在两幅图像中分别提取角点，再以不同的方法建立两幅图像中角点的相互关联，从而确立同名角点，最后以同名角点作为控制点，确定图像之间的配准变换。

由于角点的提取已经有了相当多的方法可循，因此基于角点的方法最困难的问题就是怎样建立两幅图像之间同名点的关联。

已被报道的解决点匹配问题的方法包括松弛法、相对距离直方图聚集束检测法、Hausdorff距离及相关方法等等，这些方法都对检测到的角点要求比较苛刻，比如有的要求角点的数目同样多，简单的变换关系等等，因而不能适应普遍的配准应用。

6.3MATLAB图像配准工具介绍,6.3.1cp2tform从给定的控制点推导出变换数据结构TFORM，用于对图像进行变换。

基本调用格式为TFORM=cp2tform（input_points,base_points,Transformtype）其中，input_points为待配准图像上的点，base_points为参考图像上的点。

input_points和base_points都是m2矩阵，表示点的坐标信息，每个矩阵的第一列为x坐标，第二列为y坐标。

Transformtype为变换类型参数，具体的意义如表6.1所示。

表6.1cp2tform变换类型参数,6.3.2cpcorr用相关函数对控制点的位置进行微调，以控制点对、待配准图像、基准图像为输入，调用方法如下：

input_points=cpcorr（input_points_in,base_points_in,input,base）其中，input_points_in为M2矩阵，包含输入图像input上的点对信息；base_points_in为M2矩阵，包含基准图像base上的点对信息。

两矩阵的第一列都为x坐标，第二列都为y坐标。

input_points为调整后的点对矩阵，大小与输入矩阵一致。

如果cpcorr函数不能够对控制点对进行调整，则直接将input_points_in输出。

当发生如下四种情况之一时，cpcorr函数不能够对点的位置进行调整：

（1）点的位置太过于接近图像的边缘。

（2）点周围的数据包含有NaN和Inf。

（3）输入图像的输入点局部区域的标准偏差为零。

（4）输入点与局部区域几乎不相关。

cpcorr函数对点位置调整的最大范围为4个像素，计算精度为1/10个像素。

cpcorr函数对点的调整的基本步骤如下：

（1）从输入图像的控制点周围选取一个1111大小的模板，从基准图像的周围选取一个2121大小的模板。

（2）计算所选取模板之间的归一化相关函数。

（3）寻找相关矩阵的最大值。

（4）利用最大值的位置信息对输入图像上的控制点进行调整。

具体的调用例子如下：

input=imread（onion.png）;base=imread（peppers.png）;input_points=12793;7459;base_points=323195;269161;input_points_adj=cpcorr（input_points,base_points,.input（:

:

1）,base（:

:

1）input_points_adj=127.000093.000071.000059.6000,6.3.3cpselectcpselect为控制点选择工具，基本的调用格式如下：

cpselect（input,base）其中，input为待配准图像，base为基准图像。

调用cpselect函数指定控制点包括四个过程：

（1）开启工具，指定待配准图像和基准图像。

（2）使用浏览工具，确定可以作为控制点的特征点。

（3）在待配准图像和基准图像上选择控制点。

（4）保存控制点到MATLAB的工作空间。

图6.4为调用cpselect时的默认界面。

图6.4cpselect的默认界面,控制点选择工具包含三个主要部分：

（1）主窗口（Detailwindows）。

两个主窗口位于工具的上部，显示待配准图像和基准图像的一部分，其中待配准图像在左边，基准图像在右边。

（2）浏览窗口（Overviewwindows）。

两个浏览窗口在工具的下部，以适当的比例窗口显示图像的全部，其中左边为待配准图像的，右边为基准图像的。

可以通过“View”菜单控制这些窗口的显示和关闭。

（3）细节选取矩形框（Detailrectangles）。

叠加在Overviewwindows窗口图像上显示的两个矩形区域为Detailrectangles。

这些窗口控制显示在Detailwindows窗口内的图像区域。

可以移动这些窗口的位置以控制在Detailwindows窗口内显示的内容。

为了准确地选择两幅图像上的相似特征点为控制点，cpselect工具界面提供了对图像进行缩放、显示区域移动变换等辅助性的操作。

以下对具体的操作手段和方法进行详细说明。

（1）UsingScrollBarstoViewOtherPartsofanImage，将没有显示在Deitail和overview窗口中的图像显示出来，可以用翻滚条控制其显示部分。

当用翻滚条调整Detail内的图像内容时，仔细观察Detailrectangles内的内容，可发现这两个窗口内的内容总是保持一致。

（2）UsingtheDetailRectangletoChangetheView，除了用翻滚条调整显示内容外，还可以通过调整DetailRectangle的位置来调整显示内容。

移动DetailRectangles的方法如下：

将鼠标指针移动到Detailrectangles的内部，此时鼠标指针的形状变为。

按住鼠标右键，拖动Detailrectangles到需要显示的部分即可。

此时，Deitailwindows内的内容与Detailwindows内的一致。

（3）PanningtheImageDisplayedintheDetailwindow，也可以利用pantool移动要在Detailwindows中显示内容，方法如下：

单击工具条内的按键，或者选择Pan菜单。

将鼠标指针移动到Detailwindows内。

此时鼠标指针形状改变为。

按住鼠标左键，鼠标的形状变成，此时可以用鼠标改变显示在Detailwindows内的内容。

（4）缩放图像。

要放大图像以显示图像的更多细节，或者缩小图像以全面观察图像，可以通过对图像进行缩放操作来实现。

对待配准图像和基准图像进行缩放操作的基本方法如下：

选择菜单中的工具。

将指针移动到需要缩放的图像上，此时鼠标指针变成。

按一下鼠标，对相关图像进行一次缩放，缩放的比例由工具条内的相关参数决定。

缩放后图像的中心区域为鼠标按键点。

也可以通过按住鼠标并拉出一个矩形区域来确定放大比例和显示区域。

Detailrectangles与Detailwindows内的内容保持一致。

选择工具条内的Lockratio复选框。

（5）指定缩放系数。

缩放图像还可以通过指定缩放倍数来完成。

具体的方法如下：

将鼠标移动到待缩放图像的缩放比例输入框中，如图6.5所示；在缩放比例输入框中输入缩放因子并按回车键，或者从下拉菜单中选择合适的缩放比例。

图6.5指定缩放系数界面,6.3.4cpstruct2pairscpstruct2pairs函数将CPSTRUCT结构转换成有效的控制点对。

基本的调用格式为input_points,base_points=cpstruct2pairs（CPSTRUCT）其中，CPSTRUCT为cpselect工具返回值。

6.3.5normxcorr2求解模板和矩阵之间的归一化相关系数矩阵，其调用格式为C=normxcorr2（TEMPLATE,A）其中，为了使求解出来的系数有意义，矩阵A的大小必须大于模板TEMPLATE，并且模板矩阵TEMPLATE的元素不能够全相等。

返回的相关系数矩阵的元素值的范围为-1，1。

此函数求解的基本步骤如下：

（1）根据图像A的大小判断求解是在空间域还是在频域进行，然后求解相关系数。

（2）求解局部和。

（3）利用局部和对相关系数矩阵进行归一化处理。

例如，如下代码说明了如何利用normxcorr2函数求解归一化系数矩阵；%构建图像T=.2*ones（11）;T（6,3:

9）=.6;T（3:

9,6）=.6;BW=T0.5;imshow（BW）,title（Binary）figure,imshow（T）,title（Template）%对图像进行偏置处理,T_offset=.2*ones（21）;offset=35;%shiftby3rows,5columnsT_offset（1:

size（T,1）+offset

（1）,（1:

size（T,2）+offset

（2）=T;imshow（T_offset）,title（OffsetTemplate）%调用normxcorr2函数求解归一化系数矩阵cc=normxcorr2（BW,T_offset）;max_cc,imax=max（abs（cc（:

）;ypeak,xpeak=ind2sub（size（cc）,imax

（1）;corr_offset=（ypeak-size（T,1）（xpeak-size（T,2）;isequal（corr_offset,offset）,6.4图像配准示例,6.4.1图像配准一般流程由对图像配准原理的讨论可知，多幅图像配准的目的是综合利用图像中的各种空间和灰度属性的信息，合并成一组在空间位置上和灰度属性上一一对准的图像，以便于对这组图像进行后续处理。

图像配准一般由以下五个步骤构成：

（1）建立原始图像和待配准图像坐标系；

（2）确定图像配准控制点；（3）应用配准控制点建立图像间的畸变模型；（4）根据畸变模型对待校正影像进行重采样；（5）原始图像和待配准图像的平滑拼接。

第一步为图像配准提供一个参考系统。

对于相对配准通常是取一幅图像的图像坐标系作为待校正图像坐标系，而以另一幅图像的坐标系作为参考坐标系或者校正图像坐标系；对于图像相对格网进行的配准，则通常取大地坐标系或者地图坐标系作为校正坐标系，而以分量图像的坐标系作为原始图像坐标系。

第二步是图像配准的关键，即选择控制点。

由于多幅图像反映了相同或部分相同的地图特征，因此图像上的一部分像素点应该在多幅图像的其它分量上有代表同一地面点的同名点，即配准控制点（RCP）。

选择控制点的方式有三种：

手工、半自动化搜寻和计算机自动查找。

有许多特征提取算法可以用于RCP的选取，在6.4.2节中将重点讨论配准控制点的选取算法。

不管采用哪一种匹配算法，最终所选择的RCP的精度、数量以及它们在图像上的分布情况在很大程度上决定了几何校正和配准的精度，所以在选择配准控制点时应注意以下几点：

（1）控制点一般应选择标志较为明确、稳定，并且在参考影像和待校正影像上都容易辨认，目标较小的突出地图特征点，比如道路的交叉点、河流主干交叉处、田地拐角等；

（2）控制点在影像上必须均匀分布，否则在配准控制点较密集的区域内配准的精度较好，而在配准控制点分布比较稀疏的地方，配准的精度就差；（3）控制点的数量应适当，太多了会影响计算机处理的速度，太少了不利于精确配准。

第三步用所得到的配准控制点之间的关系来确定图像的畸变模型参数，它随着所采取的校正方法的不同而不同。

在本书中采用的畸变模型是一次多项式，利用它对两幅图像间的几何畸变进行逼近。

在整体校正时，可以用最小二乘法对分布于整个图像区域上的控制点进行拟合，得到一次多项式系数；在分块校正和局部校正时利用的是完全解。

第四步在基于畸变模型的基础上对待校正影像求取输出图像各像素的灰度值，即进行几何变换和重采样。

6.4.2简单的图像配准简单的图像配准步骤如下：

（1）读取图像。

I=imread（cameraman.tif）;imshow（I）;text（size（I,2）,size（I,1）+15,.ImagecourtesyofMassachusettsInstituteofTechnology,.FontSize,7,HorizontalAlignment,right）;读入的图像如图6.6所示。

图6.6读取图像,

（2）改变图像大小并旋转图像。

scale=0.6;J=imresize（I,scale）;theta=30;K=imrotate（J,theta）;figure,imshow（K）运行结果如图6.7所示。

图6.7旋转图像,（3）选择控制点。

利用控制点选择工具选择至少两对控制点。

input_points=129.87141.25;112.6367.75;base_points=135.26200.15;170.3079.30;选择File菜单中的SavePointstoworkspace选项，以保存控制点。

（4）定义变换。

利用上一步所选择的控制点，创建指定变换类型的TFORM结构体。

t=cp2tform（input_points,base_points,linearconformal）;,（5）求解缩放和旋转参数。

TFROM结构体t在t.tdata.Tinv中包含变换矩阵，据此可以求解缩放和旋转参数，求解代码为ss=t.tdata.Tinv（2,1）;sc=t.tdata.Tinv（1,1）;scale_recovered=sqrt（ss*ss+sc*sc）theta_recovered=atan2（ss,sc）*180/pi求解结果为scale_recovered=0.6000theta_recovered=29.3699,（6）重构配准后的图像。

D=size（I）;recovered=imtransform（K,t,XData,1D

（2）,YData,1D

（1）;结果如图6.8所示。

图6.8配准结果,6.4.3复杂的图像配准本例主要用来说明图像匹配中输出图像和基准图像的空间关系。

本例演示了使用可选输入参数和输出参数xdata、ydata的方法。

（1）读取图像。

基准图像是经过一系列校正后得到的，校正了其中由相机、视角引入的误差。

图像中的每个像素表示地面上1m2的空间区域。

基准图像是灰度图，待配准的图像是RGB彩色图像。

由于相机视角、系统内部变形等原因存在误差。

本例的目的在于应用MATLAB提供的图像配准工具配准这两个图像。

首先将这两个图像读入MATLAB的工作空间，如图6.9所示。

orthophoto=imread（westconcordorthophoto.png）;figure,imshow（orthophoto）unregistered=imread（westconcordaerial.png）;figure,imshow（unregistered）,图6.9待配准图像和基准图像,图像配准的过程不一定需要将图像读入工作空间，这是由于cpselect函数接受文件名作为参数。

但当需要使用相关系数对控制点的位置进行微调的时候，就必须将图像读入工作空间。

（2）在图像上选择控制点并保存。

工具箱提供了交互式的控制点选择工具。

利用此工具，用户可以在两个图像上选取配准的控制点。

控制点可以是两个图像上都存在的路标、路的交点或者其他的自然特征。

以基准图像和待配准图像为参数，调用cpselect函数就可以调用控制点选择工具：

cpselect（unregistered,orthophoto）该工具将同时显示基准和待配准图像，直接在两个图像上按住左键选择控制点，如图6.10所示。

本例选择四对控制点，控制点对的个数由所要进行的空间变换决定，相关内容参见空间变换一章。

图6.10调用cpselect函数,在控制点选择工具上选择File菜单的Exp