摄像机标定方法综述.docx

1、摄像机标定方法综述摘 要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。关键字：摄像机标定，传统标定法，自标定法，主动视觉引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定1。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一

2、，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 3 的旋转矩阵R 和一个平移向量t 来表示。摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二

3、是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等2。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了

4、最初的镜头校正。1、摄像机标定分类1.1 根据是否需要标定物进行分类根据是否需要标定物可分为传统摄像机标定方法、摄像机自标定方法以及基于主动视觉的标定方法3,4，这也是目前最被广为接受的分类方法。1. 1. 1 传统摄像机标定方法传统标定方法需要基于特定的实验条件，如一个形状、尺寸己知的标定物，通过对其图像进行处理，再经过一系列的计算和数学变换，求取摄像机模型的内、外部参数。传统摄像机标定还可分为四类：( 1) 利用最优化算法的定标方法5这一类摄像机定标方法可以将摄像机的光学成像系统的模型假设的很复杂，但这也带来了问题：如果初始值给的不恰当，通过优化程序很难得到正确的定标结果，因为摄像机的定标

5、结果取决于摄像机的初始给定值；优化程序非常费时，无法实时地获得定标结果。根据参数模型，最优化法又可分为：a、摄影测量学中的传统方法，Faig 在文献6中提出的方法最具代表性，利用针孔摄像机模型的共面约束条件，假设成像模型非常复杂，并合理细致的设计成像模型，考虑成像过程中的各种可能因素，采用至少十七个参数来描述每幅图像与3D 空间物体的约束关系，但计算的量比较庞大；b、直接线性变换( Direct Linear Transformation，DLT) 法，此方法由Abdel- Aziz 和Karara于1971年首次提出。只需通过求解线性方程便求得摄像机模型参数，这是DLT 的优势所在。Dain

6、is 和Juberts 在文献7 给出了利用DLT 进行标定的结果。因在成像过程中DLT 方法没有考虑非线性畸变问题，故其通过非线性最优化算法来提高精度。因此DLT 虽然是通过解线性方程求得参数，但求解的过程不排除使用非线性优化算法，可以说它是对摄像测量学中的传统方法的一种简化8。( 2) 利用摄像机透视变换矩阵的定标方法9从摄影测量学中的传统方法可以看出，刻划三维空间坐标系与二维图像坐标系关系的方程一般说来是摄像机内部参数和外部参数的非线性方程。如果忽略摄像机镜头的非 线性畸变并且把透视变换矩阵中的元素作为未知数，给定一组三维控制点和对应的图像点，就可以利用线性方法求解透视变换矩阵中的各个元

7、素。严格来说，基于摄像机针孔模型的透视变换矩阵方法与直接线性变换方法没有本质的区别。这一类定标方法不需通过最优化方法来求解摄像机参数，故可大大提高运算速度，能够实时地获得定标结果，但是同样存在缺点：定标过程中忽略了非线性畸变，从而影响定标的精度。( 3) 考虑畸变补偿的两步法10摄影测量学中的传统方法是利用最优化算法求解未知数，其结果往往受给定初始值的影响，如果给定的初始值不恰当或不合适，就很难得到较为正确的结果。直接线性变换法或透视变换矩阵法忽略非线性畸变而直接用线性方法求未知参数，根据以上两种算法的特点，我们是否可以考虑先用直接线性变换法或透视变换矩阵法求解未知参数，并将其作为初始值，同时

8、考虑畸变因素，再利用最优化算法进一步提高定标精度，这就是两步法。目前最常用的两步定标法是Tsai11在他的论文中提出的一种非常实用的两步定标法，。此方法先用径向准直约束求解模型中的大部分参数，然后再用非线性搜索求解畸变系数、有效焦距等。但是以上摄像机定标方法也是存在问题：a、此方法还是具有一定的局限性，并不是对所有的系统都有效；b、为了提高标定精度，在提出摄像机模型时就要更多的考虑畸变产生的影响，而这导致计算量的增加，计算时间的延长；c、当对两台摄像机标定后，还必须确定两摄像机之间的相对几何位置关系，这也无形中增加了需要计算的参数。( 4) 采用更为合理的摄像机成像模型的双平面标定方法12。

9、研究人员从另一方面对传统摄像机定标方法进行了深入的探索，他们在寻找更合理的摄像机模型，使之能全面而有效地体现整个成像过程。Martin13首先提出了双平面模型，列出了3种插值方法：线性插值、二次插值和线性样条插值。在此基础上，Ma14运用双平面模型对摄像机定标作了大量的研究工作。双平面模型摄像机与针孔模型摄像机的区别在于：双平面模型摄像机不必要求投影到成像平面上的光线通过光心，给定成像平面上任意一个图像点，就能计算出两定标平面上各自的对应点，因此可确定投影到成像平面上产生该图像点的光线。对每一个定标平面而言，可用一组定标点建立彼此独立的插值公式，尽管插值公式是可逆的，但这个可逆过程需要一个搜索

10、算法，因此所建立的模型只能用于从图像到定标平面的映射过程。双平面定标方法的优点是使用线性方法求解有关参数，但其缺点是它必须解大量的参数，有过分参数化的倾向。1.1.2摄像机自标定方法20 世纪90 年代初，Faugeras ，Luong ，Maybank 等15，16 首先提出了自标定概念，使得在场景未知和摄像机任意运动的一般情形下标定成为可能。Faugeras 等15从射影几何的角度出发证明了每两幅图像间存在着两个形如Kruppa 方程的二次非线性约束，通过直接求解Kruppa方程组可以解出内参数。目前自标定方法可以分为三类，即直接求解Kruppa方程的自标定、分层逐步标定和基于绝对二次曲面

11、的自标定。（1）直接求解Kruppa方程的自标定该方法利用绝对二次曲线和极线变换的概念推导出了Kruppa方程。围绕着求解Kruppa 方程，文献中存在着不同的途径。Faugeras ，Maybank 等最早提出的算法完全基于代数几何的概念，该算法对噪声极其敏感，普通计算机的浮点运算已不足以满足其要求。Luong17提出了一套基于连续同伦算法18的较实用的求解策略，降低了对噪声的敏感度，但该策略要求拐点的提取精度达到子像素级(0.2个像素) 。这两种直接求解Kruppa方程的方法存在着共同的弊端：求解困难，而且是针对两两图像之间列方程，当图像数目增加时，可能解的个数呈指数增长，使得直接求解失去

12、意义。另一类求解Kruppa 方程的途径是间接的非线性优化算法，Zeller 等19 利用Kruppa方程计算出多幅图像上的所有点到对应极线距离之和，再利用Levenberg2Marquardt 优化算法20减小该距离，并求出相应的内参数。上述优化算法的缺点在于，待优化参数过多，且容易陷入局部最优值。（2）分层逐步标定由于求解Kruppa方程有一定的困难，有学者通过对图像序列做射影重建，并利用绝对二次曲线(面) 添加约束条件进行摄像机参数的求解，这就是分层逐步标定方法。该方法在实际应用中逐渐取代了直接求解Kruppa方程的方法。分层逐步标定法首先要求对图像序列做射影重建，再通过绝对二次曲线(面

13、) 施加约束，定出仿射参数(即无穷远平面方程)和摄像机内参数。其中最具代表性的方法是由Hartley21 提出的一种对摄像机投影矩阵进行QR 分解的自标定方法。该方法是在射影标定的基础上，以某一幅图像为基准做射影对齐，从而将未知数缩减8个(无穷远平面参数3个和摄像机内参数5个，不包括总体常数因子)，再通过非线性优化算法同时解出所有未知数。缺点在于： a、非线性优化算法的初值只能通过预估得到，不能保证收敛性；b、射影重建时均是以某参考图像为基准，参考图像的选取不同，标定的结果也不同，这不满足一般情形下噪声均匀分布的假设。（3）基于绝对二次曲面的自标定绝对二次曲面最早由Triggs22引入自标定研

14、究中，虽然其本质同Kruppa 方程一样运用了绝对二次曲线在欧式变换下的不变性，但当多幅图像输入并且能得到一致射影重建的情况下，该方法将更具优势。其根源在于绝对二次曲线(面)包含了无穷远平面和绝对二次曲线的所有信息，且基于绝对二次曲线(面)的自标定方法又是在对所有图像做射影重建的基础上计算绝对二次曲线(面)的，从而保证了无穷远平面对所有图像的一致性。与此相比，基于Kruppa方程的方法是在两两图像之间建立方程，在列方程过程中已将支持绝对二次曲线的无穷远平面参数消去，所以当输入更多的图像对时，不能保证该无穷远平面的一致性。1.1.3基于主动视觉的标定方法基于主动视觉的方法是将摄像机精确安装于可控

15、平台，主动控制平台作特殊运动来获得多幅图像，利用图像和摄像机运动参数来确定摄像机内外参数，鲁棒性比较强而且通常可线性求解。但当摄像机运动未知或者运动无法控制的场合不能使用该方法，且该方法所需运动平台精度较高，成本也较高。此方法最经典的是马颂德教授提出的基于两组三正交运动的线性法14，后李华、杨长江等提出了基于四组和五组平面正交运动的方法，利用图像中的极点信息线性标定23。此外，胡占义教授提出的基于平面单应矩阵的正交运动方法和基于外极点的正交运动方法更容易实现23，相比马教授的方法可多求出一个内参数，即5个内参数。目前常用的主动视觉标定方法有：基于摄像机纯旋转的标定方法24 、基于三正交平移运动

16、的标定方法25 、基于平面正交运动的标定方法26 、基于无穷远平面单应性矩阵的标定方法27和基于射影重建的标定方法等。上述方法对摄像机运动提出了不同的限制条件，如至少二次互不平行的绕光心的旋转运动，三正交平移运动以及正交平移运动等，而目前主动视觉标定方法的研究焦点是在尽量减少对摄像机的运动限制的同时仍能线性求解28 。基于主动视觉的标定方法算法简单，可以获得线性解，不足之处在于必须有可以精确控制的摄像机运动平台，无法自由灵活的移动。1.2 根据标定物不同进行分类根据标定物的不同可分为基于3D立体靶标的标定，基于2D平面靶标的标定。（1）基于3D 靶标通过以形状、尺寸已知的3D 物体为标定物进行

17、标定，此方法精度很高，但是成本高、标定物精度要求高且运用不灵活，适用于工业测量，故未被广泛应用，常用的3D物体就是正立方体，如图1。其典型代表为Tsai的方法，利用标定物的三维形状知识与相应图像间的对应关系得到一个标定参数的函数，然后对此函数优化得到标定参数。 图1.正立方体标靶 图2.平面方格2D标靶（2）2D靶标常使用平面方格点、矩形或二次曲线为模板图案，图2就是平面方格点的2D标靶。1.3根据所用模型不同分为：线性方法和非线性方法线性标定方法就是采用线性摄像机模型即小孔成像原理，并用线性方程来求解摄像机的内外参数的方法，目前己有大量研究成果，但由于未考虑镜头畸变，所以准确性不够。非线性方

18、法则考虑了畸变参数，并使用非线性优化方法对标定初值进行优化，提高了标定的精度，但由于计算过程较为繁琐，速度比较慢，且对初值的选择和噪声比较敏感，有时非线性搜索不一定能保证参数收敛到全局最优解。1.4从求解参数的结果来看，分为隐式标定方法和显式标定方法。隐式标定方法是指将三维空间物点与其对应二维像点间的关系用一个转换矩阵来表示，并将转换矩阵的元素作为标定参数。由于这些参数没有具体的物理意义，所以称为隐式(隐参数)标定法。典型的有直接线性变换(Direct Linear Transformation，DLT)方法。该方法不考虑具体的中间成像过程，直接用一个3x4的矩阵来表示三维空间物点与其对应二维

19、像点间的关系。由于该方法只需求解线性方程，所以能获得较高的效率29，适用于实时性强、标定精度不高的场合。显式标定方法精确分析了摄像机成像的中间过程，构造了精密的摄像机成像几何模型，并设置了具有物理意义的标定参数，包括图像中心偏差、有效焦距偏差、帧存扫描水平比例因子、镜头畸变参数等，最后实现对这些未知参数的求解。由于该方法充分考虑了摄像机成像过程的各种因素，能有效地提高标定的精度。1.5按解题方法来分，有解析法、神经网络法和遗传算法由于空间物点与其图像对应点之间是一种复杂的非线性关系，不能用图像的像元位置准确估算三维空间点间的实际距离，试图用线性方法找到这种对应关系几乎是不可能的。解析方法是用足

20、够多的空间点和其对应的图像坐标点，通过解析公式来求解摄像机的内外参数以及畸变参数，再根据求得的内外参数和畸变系数值，将图像中的点通过几何关系得到空间物点的世界坐标。解析方法不能包含上述所有非线性因素，只能选择其中几种主要的畸变，而忽略其它不确定因素。神经网络法跳过了求解各种参数的复杂过程，将空间点及其相应的图像坐标点作为输入输出样本集进行训练，利用网络实现给定的输入输出映射关系，因此，它能以任意精度逼近任何非线性关系，对于非样本集中的图像坐标点也能得到相应的合适空间点坐标。遗传算法实际上是模拟由个体组成的集体学习过程，每个个体给定问题解空间中的一点。遗传算法从任一初始化的群体出发，通过随机选择

21、、交叉和变异等遗传操作，使群体进化到搜索空间越来越好的区域。其实现方法可描述用下列流程图表示：初始化，设置进化代数计数器t=0，设置最大进化代数T是当前群符合某种优化条件吗？否个体评价t=t+1选择计算交叉计算变异计算t=T?是否结 束 图3.遗传算法流程图遗传算法具有其他算法所没有的自适应性、全局优化和隐含并行性，但是局部寻优能力不强。但是可以用神经网络的方法来改造遗传算法，以改善遗传算法的局部寻优能力。2结束语随着CCD摄像机在图像处理方面的应用越来越广泛，以及人们对于图像采样速率和图像处理速度的要求越来要高，快速且精度高的摄像机标定方法也就显得越来越重要，在摄像机标定过程中，需要建立摄像

22、机成像的几何模型，从而实现从二维图像提取空间三维信息. 根据不同的应用需求所建立的摄像机模型是不同的，所采用的摄像机标定方法也不同，摄像机几何模型直接影响了三维信息重建的精度。因此，设计并建立既符合摄像机成像物理模型而又便于分析计算的实用模型是提高摄像机标定技术的一个发展方向。在今后，摄像机标定方法的研究可以从以下三个方面入手：优化现有方法，例如选取结构简单、便于操作的标定物，开发简单快速的标定算法等等；在现有的方法基础之上，根据各种方法的优缺点，可以组合几种方法以达到互补的目的，例如有利用最优化算法的标定方法和利用摄像机透视变换矩阵的定标方法组合而成的两步法，以及基于遗传算法的神经网络法等等

23、。研究新的简单快速的标定方法。摄像机的自标定技术由于不需要已知准确的三维度量信息，只需从图像序列中得到的约束关系就可以计算出摄像机模型的参数，可以在线、实时地校准摄像机模型参数，其标定方法灵活性强，在研究领域和应用领域倍受青睐。因此在自标定技术领域最有可能研究出新的方法。参考文献1马颂德, 张正友.计算机视觉理论与算法基础M.北京:科学出版社, 1998.2Brown DC. Decentering distortion of lensesJ. Photogrammetric Engineering and Remote Sensing,1966,444-462.3 Zhang Z. A fl

24、exible new technique for camera calibrationJ.IEEE Trans. PAMI, 2000, 22( 11) : 1330- 1334.4 中国科学院自动化研究所模式识别国家重点实验室J.摄像机标定课件EB/ OL . 2006. http: / / www. nlpr. ia. english/ rv.5Abdel-Aziz Y I,Karara H M. Direct linear transformation from comparator coordinates into object space coordinates. ASP Sympo

25、sium on Close-Range Photogrammetric，1971:1-18.6 Faig W. Calibration of close- range photogrammetric systems: mathematical formulation. Photogrammetric engJ. Remote sensing, 1975, 41( 12) : 1479-1486.7 Dainis A, Juberts M. Accurate remote measurement of robot trajectory motionC/International Conferen

26、ce on Robotics and Automation.s. I.:s. n. ,1985: 92-99.8 李 鹏,王军宁.摄像机标定方法综述J.山西电子技术,2007(4):77-79.9Zhang Z Y. Camera calibration with one-dimentional objects. IEEE transactions on analysis and machine intelligence,2004,26(7):892-899.10Tsai R Y. An efficient and accurate camera calibration technique f

27、or 3D machine vision. IEEE Transactions on Pattern Analysis and Machine Intelligence,1986:364-373.11 Tsai R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off- the-shelf TV cameras and lensesJ.IEEE Journal of Robotics Automation,1987, 3(4):323-344.12

28、Internet of the things. the first international conference on the Internet of the things EB/ OL . 2008. http: / / www.iot2008. org/ adjunctproceedings. pdf.13 Martins H A, Birk J R, Kelley R B. Camera models based on data from two calibration planesJ. Computer Graphics and Imaging Processing, 1981,1

29、7(2):173-180.14 Ma S, Wei G A self-calibration technique for active vision system J. IEEE Trans on Robotics and Automation, 1996,12 (1):114-120.15 Faugeras O, Luong Q T, Maybank S. Camera self-calibration:Theory and experiments. In: Proceedings of the 2nd European Conference on Computer Vision , Ita

30、ly , 1992. 321-334.16 Maybank S, Faugeras O. A theory of self-calibration of a moving camera. International Journal of Computer Vision,1992,(2) :123-151.17 Luong Q T. Matrix Fundamental Calibration Visuelle Surlen Vironment Ph D thesis . Centre DOrsay : Universite de ParisSud , 1992.18 Wampler C, Mo

31、rgan A , Sommese A. Numerical continuation methods for solving polynomial systems arising in kinematics. Technical Report GMR26372, General Motors Research Labs , 1988.19Zeller C, Faugeras O. Camera self-calibration from video sequences:The Kruppa equations revisited. Research Report 2793, INRIA Sophia-Antipolis , France, 1996.20 Press W H, Flannery B P, Teukolsky S A, Vetterling WT. Numerical Recipes in C: The Art of Scientific Computing. Cambridge :Cambridge University Press , 1988.21 Hartley R. Euclidean rec