基于双目立体视觉的三维重建技术研究与实现.pdf

基于双目立体视觉的三维重建技术研究与实现.pdf

《基于双目立体视觉的三维重建技术研究与实现.pdf》由会员分享，可在线阅读，更多相关《基于双目立体视觉的三维重建技术研究与实现.pdf（52页珍藏版）》请在冰点文库上搜索。

西安理工大学硕士学位论文基于双目立体视觉的三维重建技术研究与实现姓名：

王立敏申请学位级别：

硕士专业：

控制理论与控制工程指导教师：

钱富才;梁炎明20080501论文题目：

基于双目立体视觉的三维重建技术研究与实现学科专业：

控制理论与控制工程指导教师：

钱富才教授梁炎明讲师摘要签名：

三量缝_签名：

氧宴才签名：

絮薹!

嗣三维重建是计算机视觉技术的主要内容之一，研究了由两幅或多幅二维图像恢复出被拍摄物体的深度信息的方法。

其中基于两幅图像的双目视觉技术是一个研究热点。

双目立体视觉模仿人眼与人类视觉的立体感知过程，从两个视点观察同一景物，以获取不同视角下的图像，通过三角测量原理计算图像像素间的位置偏差，以获取景物的深度信息。

双目立体视觉技术在虚拟现实、机器视觉、多媒体教学、数字娱乐、产品外观设计、雕刻与建筑等领域都有着广泛的应用。

本文在分析研究大量相关技术和文献的基础上，对立体视觉领域中的摄像机标定、立体匹配、三维重建这三个关键技术进行了研究。

主要研究如下：

1自制标定模板，用普通数码相机拍摄两幅不同角度的带有标定模板的手机照片。

利用Tsai两步法对照相机进行标定，求出了照相机的内外参数。

2。

对所拍摄的照片进行滤波、锐化等图像处理，采用基于特征的匹配方法，从两幅图像中分别提取特征点，然后利用极线约束等匹配准则对一幅图像中的特征点在另一幅图像中寻找匹配点。

3在已获得照相机的内外参数和完成左右图像的特征点匹配的基础上，根据立体视觉原理实现了对特征点的三维重建，给出了特征点的空间坐标。

最后在计算机上通过OpenGL编程将这些点显示出来，实现了手机的三维重建。

关键词：

立体视觉；摄像机标定；立体匹配；三维重建：

OpenGLTitle：

RESEARCHANDIMPLEMENTATIONON3DRECONSTRUCTIONBASEDONBINOCULARSTEREOVISIONMajor：

ControlTheoryandControlEngineeringName：

LiminWANGSupervisor：

ProfFucaiQIANSignature：

止血边憎signatu阳：

覃5型蛳刎LecturerYanmingLIANGSignature：

AbstractOneofthemaincomponentofthecomputervisioniS3DreconstructionItiStorestorethedepthinformationofallobjectbYtwoormorethantwoimagesoftwo-dimensionalThetechnologyofbinocularstereovisionbasedontwoimagesisahotpointThebinocularstereovisionhasastrongresemblancetothevisualperceptionprocedureofmankindWecallgetdifferentimageswithtwodifferentviewpointsandthencalculatethepositiondeviationofimagespixelsbasedontriangularmeasureFillally，wecanattainthedepthinformationoftheobject1kbinocularstereovisionwidelyusedinmanyfieldssuchasvirtualreality,machinevisio玛multimediaeducation，digitalentertainment,appearancedesignofindustrialproducts，sculptureandarchitectureeteBasedontheanalysisandresearchofmuchtechnologyandliteraturesconcerned,thispaperstudiesthebasicproblemsofstereovisualdomainsuchascameracalibration,stereomatchingandthe3DreconstructionandSOon。

皿1ecorrespondingworkaregivenasfollows：

IDothecalibrationtemplatebyourselfthenshoottwodifferentanglesimagesofthecellphonewithacalibrationtemplateWeusetheTsaiStwo-stepmethodforcalibrationandobtainedtheinternalandexternalparameters2Processthesephotosbyimagesmoothing，inlagesharpeningandotherimagepre-proeessingWeUSetheoperatortoobtainthefeaturepointsofbothimagesWesearchthisimageSmatchingpointinotherimagebasedontheepipolarlinerestrictionandSOonbasedonthematchingmethodoffeature3Basedontheresultsofthecamerascalibrationandfeaturepointsmatching，wereconstructedthecharacterpointsaccordillgtotheprincipleofthestereovision，andgetthe3DcoordinatesofthecharacterpointsAtlastweuseOpenGLprograminthecomputertodisplaythe西安理工大学硕士学位论文dispersepointsandimplementthethreedimensionalreconstructionofthecellphoneKeywords：

stereovision；cameracalibration；stereomatching；3Dreconsturction；OpenGL独创性声明秉承祖国优良道德传统和学校的严谨学风郑重申明：

本人所呈交的学位论文是我令人在导师指导下进行的研究工作及取得的成果t尽我所知，除特别加以标注和致谢的地方外，论文中不包含其他人的研究成果。

与我一同工作的同志对本文所研究的工作和成果的任何贡献均已在论文中作了明确的说明并已致谢。

本论文及其相关资料若有不实之处卜由本人承担一切相关责任论文作者签名：

。

王立囱。

砌&年5月拿目学位论文使用授权声明本人至五趣；在导师的指导下创作完成毕业论文。

本人已通过论立的答辩，并已经在西安理工大学申请博士硕士学位三1本人作为学位论文著作权拥有者，同意授权西安理工大学拥有学位论文的部分使用权j一即；一1）已获学位的研究生按学校规定提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生上交的学位论文广可以将学位论文的全部或部分内容编入有关数据库进行检索；2）为教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、资料室等场所或在校园网上供校内师生阅读、浏览。

本人学位论文全部或部分内容的公布（包括刊登授权西安理工大学研究生部办理。

（保密的学位论文在解密后。

适用本授权说明论文作考签名ij三五敏：

导师签名，细。

塞年j月罗日绪论1绪论11引言现实世界是三维的，但是我们所触及的几乎所有介质，印刷的、照片或影像，都是二维的。

这是因为一般的摄影系统只能做到把三维的物体信息以二维的形式记录下来，这就使得大量的物体的三维信息丢失。

随着计算机技术的发展，人们对信息的获取已经从传统的二维平面图像，转向了三维立体图像。

三维重建正是在此情况下而提出的11。

三维重建是一项多学科的综合技术，它集计算机技术、计算机图形学、图像处理技术、信息合成技术、显示技术等诸多高新技术于一体。

三维重建也是计算机视觉、模式识别、计算机图形学、视景仿真、虚拟现实、科学计算可视化等众多领域最热门的研究方向之一。

近年来，由于计算机的计算能力迅速提高，所配置的内存容址、磁盘空间不断扩大，网络功能增强许多，主要的图形生成及图像处理算法均可用硬件实现，速度大大加快。

因而，三维重建技术的快速发展己经成为可能。

在三维重建算法中，立体视觉是一个重要分支。

立体视觉直接模拟人类视觉处理景物的方式，因此立体视觉成了计算机视觉研究的重点和热点之一，在虚拟现实、多媒体教学、机器人视觉、医学、工业产品的外观设计、三维轮廓测量、艺术雕塑、建筑等领域有着广泛的应用。

12双目立体视觉用双目立体视觉方法进行三维重建，在计算机视觉中是指由两幅二维图像恢复物体三维可见表面几何形状的方法。

对生物视觉系统，人们早就注意到，几乎所有具有视觉的生物都有两个眼睛。

用两个眼睛同时观察物体时，会有深度或远近的感觉。

立体电影之所以有逼真的深度感，也是仿照了立体视觉原理。

在立体电影拍摄中，用两个摄像机同时拍摄，而在放映时，将两个摄像机拍摄的图像同时投影到屏幕上，并利用偏振光的原理，使人的双眼分别看到左右摄像机拍摄的图像，从而使人感到真实三维场景的立体感。

双目立体视觉就是仿照这个原理，由不同位置的两台或一台摄像机经过移动或旋转拍摄同一幅场景，然后利用三维重建原理，由计算机重建景物的三维形状，恢复出物体的空间位置信息。

如图11所示。

西安理工大学硕士学位论文IP、图1一l双目立体视觉原理Fig11TheprincipleofbinocularvisionP为空间任意一点，A、见是它在两幅图像中对应的像点，0l、q是摄像机光心，通过分析像点珐、改的坐标关系，建立三维空间重建算法，恢复点P的三维坐标。

在这个重建过程中，涉及了三个关键部分：

摄像机标定、立体匹配、三维重建您1。

1摄像机标定摄像机标定是为了确定摄像机的位置、属性参数和建立成像模型，以便确定空间坐标系中物理点同它在图像平面上像点之间的对应关系。

摄像机标定方法可分为两大类，第一类是直接估计摄像机位置、光轴方向、焦距等参数；第二类是通过最小二乘拟合，确定三维空间点映射为二维图像点的变换矩阵。

建立一个有效的摄像机模型，除了能够精确地恢复出空间景物的三维信息外，还有利于解决立体匹配问题。

2立体匹配立体匹配是指根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。

立体匹配方法主要分为基于面积的匹配方法、基于特征的匹配方法和基于相位的匹配方法。

3三维重建立体视觉的关键在于图像匹配，一旦精确的对应点建立起来，我们就可以对深度进行计算，恢复场景的三维信息，实现物体的三维重建。

双目立体视觉直接模拟人类双眼处理景物的方式，具有简单、可靠、灵活、使用范围广等特点，可以进行非接触、自动、在线的检测，具有广阔的应用前景，在机器人视觉、车辆自主驾驶、多自由度机械装置控制、非接触自动在线检测等领域均具有很大的应用价值。

13基于双目立体视觉的三维重建131国内外研究现状三维重建涉及计算机视觉、计算机图形学、图像处理、虚拟现实等研究领域，是今年来的研究热点t31。

国外在基于双目立体视觉的计算机三维重建方面，主要是对特征检测、特征匹配、摄像机标定几个部分进行研究。

在特征点检测方面，常用的匹配特征有特征点、特征线、特征区域，其中以点特征研究2绪论较多。

点特征主要有零交叉点、角点。

Dreschler和Nagel等提出了基于Gaussian曲率原则的检测方法。

Smith提出了著名的SUSAN角点检测算子，该方法对像素周围区域最小化用统计特性来决定该像素的属性，即角点、边上的点还是圆上的点。

Kitchen和Rosenfeld提出的角点检测器利用了灰度沿边界轮廓梯度方向变化最大的性质。

Nobel试图用微分几何给出角点检测的理论公式，并归纳出了在Plessey算法下的检测原则。

1988年Harris和Stephens对Plessey角点进行了改进，提出了Harris算子。

DavidGLowe在2004年正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，即SIFT算子。

在特征匹配方面，Beardsley等提取角点作为特征点，运用相关性进行匹配，将匹配的结果用奇异值分解求取了基础矩阵。

Pritchett和Zisserman等提出了用单应矩阵取代传统的灰度相似性和极线约束作为匹配的准则。

另外，他们试图寻找一种整体相似变换，以使两幅图像在相差一个常数因子的情况下具有最大相关性，根据整体变换，估计图像间局部区域的仿射变换，用局部变换来寻找匹配点。

Pritchett等的方法对于某些含有丰富平面信息的图像特别有效。

Lhuillier和LongQuan等提出了一种稠密匹配的新策略，该策略综合了以对极几何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束。

该方法对于纹理稠密的图像特别有效，缺陷是精度不高。

MPilu提出了一种基于奇异值分解的匹配方法，整个计算过程中全部是代数意义下的运算，因此匹配的精度有待进一步提高。

在摄像机标定方面，微软研究院的张正友提出了一种利用平面模板的标定方法，该方法只需从不同角度对模板拍摄几幅图像，通过每幅图像的单应矩阵即可计算出摄像机内参数，并可利用反投影法优化求精。

Faugeras、Luong和Maybank等提出了自标定的概念，从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa方程的二次约束，通过直接求解Kruppa方程组可以解出内参数。

鉴于直接求解Kruppa方程的困难，研究者们又提出了分层逐步标定的思想，即首先对图像序列做射影重建，在此基础上再进行仿射标定和欧氏标定，该类方法以Hartley的QR分解法、Triggs的绝对二次曲面法、Pollefeys的模约束法等为代表。

近年来国外出现了一些较为成功的三维重建系统。

Tomasi和Kallade等在假定摄像机为正交投影模型的前提下，利用仿射分解的方法解出了三维结构和摄像机运动。

该系统使用基于光流的跟踪器技术来解决特征点的匹配问题。

但由于该系统采用的摄像机模型是正交投影模型，这种模型只有在当物体的深度远大于物体的尺寸时才合理，因此有一定的局限性。

Zisserman等完成的视觉导航系统利用了分层重建的思想，即首先对图像序列做射影重建，再将射影重建逐步提升到仿射重建和欧氏重建。

Debevec、Taylor等完成了著名的建筑物重建系统Facade。

该系统要求首先得到建筑物的粗略几何模型和摄像机运动参数，然后将该模型反投影到图像上与实际图像作比较，通过减小反投影误差最终算出建筑物的精确三维结构。

为增强视觉效果，该系统还使用了基于视点的贴纹理技术。

该系统的不足之处在于需要预先得到建筑物的几何模型，而且建筑物的几何结构不能太复杂。

HYShum等提出了一种人3西安理工大学硕士学位论文机交互式重建系统，可以从一组全景图中恢复出三维结构，或者将场景表示成一系列按深度划分的分层的集合。

该系统不需要做图像间的匹配，但要求用户在重建过程中交互式地确定场景中的一些几何约束，如共面、平行、垂直等。

Faugeras等的系统利用分层重建、自标定等方法从图像序列中重建出了建筑物。

在他们的系统中，考虑了建筑物的特殊性，主要利用建筑物上的己知点、已知角度和平行线等物理信息标定摄像机，并将待重建场景用多面体来表示。

该系统主要用于为CAD、CAM等提供原始的几何模型。

Pollcfeys等提出的物体表面自动生成系统运用了可变内参数下的摄像机自标定技术。

该系统仅要求手持摄像机围绕物体拍摄一系列图像，即可自动实现自标定和分层重建。

目前国内在计算机立体视觉方面，也进行了大量的研究，在理论和算法实现方面也取得了一些成就，在算法的具体实现方面，中科院自动化研究所机器人视觉研究组已经取得了很大的成就。

机器人视觉研究组的雷成博士实现了CVSuite软件，该软件主要完成了特征点的提取、特征点的匹配、像机的自标定、模型的三维显示的功能。

该软件比较方便，能对不同来源的二维图像进行处理，但是它的缺点也比较明显，实际匹配过程中明显感觉到效率不高，速度非常慢。

另外，机器人视觉研究组的钟云德博士利用一种称为半稠密匹配的方法进行立体图像对的匹配，这种方法是对稀疏匹配和稠密匹配的一种折衷，所以在匹配过程中增加了大量的新的匹配点，从而更好的实现了模型的三维显示，当然也在一定程度上增加了匹配过程所用的时间。

此外，天津大学的陈明舟实现了基于主动光栅投影的双目立体视觉方法。

清华大学的王磊提出了一种基于平面投影变换和遗传算法的匹配算法。

132存在的问题计算机视觉的问题本质上都是逆问题。

输入图像的灰度受物体的几何特征、材料表面性质、颜色、环境光照及摄像机参数等许多因素的影响，由灰度反推以上各种参数是一个逆过程，往往都是非线性的，问题的解不具有唯一性，而且对噪声或离散量化引起的误差极其敏感，所以计算机视觉本身存在一定的病态性。

如何得到问题的鲁棒解成为三维重建过程的难点所在t4l。

随着计算机视觉理论研究和实践应用的发展，人们将对图像处理的自动化程度提出更高的要求。

而目前在三维重建过程中对图像的特征提取和匹配，多数还是通过人工干预实现的。

这不仅增加了人为的干扰因素和操作时间，同时对操作人员的素质提出了较高要求，影响了处理和识别过程的自动化程度。

我们发现，虽然许多三维重建的实施方案和数学模型在理论上是比较完善的，但往往受到现场条件的许多限制，严重地影响了其在工程中的应用。

例如：

有些需要测量出一些与拍摄有关的现场参数或需要放置复杂标定装置；有些对相机的拍摄过程有相当严格的要求，如相机需要有一定的俯角，有相当的高度或有较大的物距，甚至需要有严格位置关系的双相机拍摄。

另外，有些方案虽然可以得到较为满意的重建结果，但其复杂的处理过程也会影响到其在许多场合的应用。

这些复杂过程有些需要较多的己知参数，有些则是要求一次解出较多绪论的未知参数，大量的运算影响了实时性的要求。

因此，如何既能获得较为满意的处理结果，又能简化操作过程，是目前三维重建工作研究工作的一个主要内容。

14本文的主要研究工作本文以立体视觉为基础，用数码相机拍摄的两幅NOKIA手机图片，通过摄像机标定以及立体匹配恢复出三维数据，然后利用这些数据在计算机中构造出手机的三维造型，实现手机的三维重建，主要工作如下：

1自制标定模板，用普通数码相机拍摄两幅不同角度的带有标定模板的手机照片。

利用Tsai两步法对照相机进行标定，求出了照相机的内外参数。

2对所拍摄的照片进行平滑、锐化等图像处理，采用基于特征的匹配方法，从两幅图像中分别提取特征点，然后利用极线约束等匹配准则对一幅图像中的特征点在另一幅图像中寻找匹配点。

3在已获得照相机的内外参数和完成左右图像的特征点匹配的基础上，根据立体视觉原理实现了对特征点的三维重建，给出了特征点的空间坐标。

最后在计算机上通过OpenGL编程将这些点显示出来，实现了手机的三维重建。

图12给出了本课题研究的主要内容。

图像采集和预处理摄善0吲立体匹配标定r-11OpenGL编程实现恢复图像三维信息图1-2课题的主要内容Fig1-2Themaintopiccontent15论文各章内容安排论文结构安排如下：

1第一章是绪论。

主