机器视觉应用实例第二章PPT文件格式下载.ppt

1、,式中，Tp为44可逆矩阵，它有16个参数，但可以用一个非零的比例因子归一，因此有15个自由度。,仿射变换是射影变换的特例，在射影变换中，当射影中心平面变为无限远处时，射影变换就变成了仿射变换。如图所示：,2.1.3 仿射变换（affine transformation）,同样，以一维仿射变换为例写出上述变换,将以上两式相除得到变化前后点的非齐次坐标关系：,由上式得：,可以看出用非齐次坐标表示的射影变换为非线性变换，而仿射变换为线性变换。,三维仿射空间，仿射变换矩阵可以表示为：,用其次坐标，上式可重新写成y=TAx，其中仿射变换矩阵TA可以表示为：,仿射变换有12个自由度。,2.1.4 比例变

2、换（metric transformation）,比例变换是带有一比例因子的欧氏变换。比例变换不改变物体空间的形状，只是改变大小，所以有时将比例变换称为相似变换。,在三维比例空间中其变换形式可表示为：,是比例因子，称为缩放因子。,用齐次坐标，上式可重新写成y=TMx，其中比例变换矩阵TM可以表示为：,rij组成了一个正交矩阵。它是一旋转矩阵，该旋转矩阵有3个自由度。,比例变换有7个自由度，其中3个旋转，3个平移和1个比例因子。,2.1.5 欧氏变换（Euclidean transformation）,欧氏变换是在欧式空间进行的变换，与比例变换很类似，只是比例因子取为1。欧氏变换代表了在欧式空间

3、中的刚体运动或刚体变换。,在三维欧式空间其变换形式为：,用齐次坐标，上式可重新写成y=TEx，其中欧氏变换矩阵TE可以表示为：,欧氏变换有6个自由度，其中3个旋转，3个平移。,2.1 几何变换的不变量,上节所讲的空间几何变换中，某些几何特性在变换前后具有不变化的特性，这样的特性或特征量称为不变特性或不变量。不变量广泛用于计算机视觉中的特征点的提取及模式识别等，在计算机视觉中起着重要作用。,2.2.1 简比（simple ratio）与交比（cross ratio）,如图，直线L上三个点A、B、C，以A、B为基础点，点C为分点（该点C为内分点或外分点），由分点与基础点所确定的两个有向线段之比称为

4、简比，记为 SR（A,B;C）=,一条直线上四个点中的两个简比的比值称为交比，如图直线L上的四个点A、B、C、D的交比为：,CR（A,B;C,D）=,对于上图中，线束O中任意4条直线的交比称为线束交比CR（l1,l2;l3,l4）,既有：,CR（l1,l2;l3,l4）=,2.2.2 不变量,下面给出各种几何变换的一些基本且重要的不变形和不变量，在此不做证明。,射影变换不变量和不变性如下：,1、同素性（几何元素点、线、面等变换后仍保持原先的种类）和接合性是射影不变换性质；2、保持直线上点列的交比不变；3、保持线束的交比不变；4、如果平面内有一线束的四直线被任一直线所截，则截点列的交比和线束的交

5、比相等；5、点列交比是射影变换的基本不变量，是射影变换的充分必要条件，且共线四点交比具有如下特性：（如前页图所示）,1）CR（A,B;C,D）=CR（C,D;A,B）;2）CR（A,B;C,D）=CR（B,A;D,C）;3）CR（A,B;C,D）=1/CR（A,B;D,C）=1/CR（B,A;C,D）;4）CR（A,B;C,D）=1CR（A,C;B,D）=1CR（D,B;C,A）。,仿射变换除具有以上射影变换不变性外，还具有如下特性：,仿射变换是摄影变换的特例,1、两条直线间的平行性是仿射变换的不变换；2、共线三点的简比是仿射变换的基本不变量；3、两个三角形的面积之比是仿射不变量；4、两条封闭

6、曲线所围成的面积之比是仿射不变量。,比例变换不变性：,比例变换除具有仿射变换的不变性外，还保持两条相交直线的夹角不变，因此，其形状保持不变。,欧氏变换不变性：,欧氏变换不仅保持两条相交直线的夹角不变，而且还保持任意两点的距离不变，因此其形状和大小均保持不变。,不变量在计算机视觉中有着广泛应用，下面我们来看一个交比应用于空间平面多边形识别的例子：,右图示出了空间平面多边形的一种摄影关系，为清晰起见，空间平面多边形ABCDEF及其射影多边形ABCDEF分别重绘如下：,由交比的不变性，有：,CR（P1,P2;P3,P4）=CR（P1,P2;P3,P4）,在空间平面中有：P3,P4）=CR（AB,AE

7、;AC,AD）,类似地，在投影平面中，也可以得到：AC,AD）,于是对于顶点A及其投影点A，有：,CR（AB,AE;AC,AD）=CR（AB,AE;AC,AD）,即由顶点的其他四个相邻顶点连线计算的交比是射影不变的。同理，对其他顶点也可分别计算出其交比值，于是得到一个交比序列。因此，对于平面多边形的顶点A,B,C,D,E,F,得到交比序列：,CR=（CRA,CRB,CRC,CRD,CRE,CRF）,其维数为多边形的顶点数。另外，多边形各顶点的凹凸性在射影变换中是不变的。于是，可以把各顶点凹凸性加入到交比序列中，如以正值表示凸顶点，以负值表示凹顶点，形成该平面多边形的一个特征矢量CR。,特征矢量

8、CR反映了空间平面多边形的结构和形状，可由投影图像精确获得其与视点位置无关，可以作为平面多边形的一个不变形状描述子，能定量地区分两个相似形状的细微差别。,2.3 欧氏空间的刚体变换,计算机视觉中，刚体变换通常用于两个方面：一是计算一个刚体经过旋转和平移后的新坐标，另一是计算同一个刚体在不同坐标系中的坐标。本节介绍刚体变换的过程和旋转矩阵的表示形式。,2.3.1 刚体变换过程,在欧氏空间当物体被看做理想的刚体时，无论该物体的位置和方向发生任意变化，或者是在不同的坐标系观察同一物体，物体的形状和大小均保持不变，并且都可看成是刚体坐标的变换。,如图，在欧氏空间有一点P，P点在两个坐标系中的坐标分别是

9、p=（x,y,z）T和p=（x,y,z）T,则有下列变换公式：,p=Rp+t,t=（tx,ty,tz）T是一个三维向量，称为平移向量，表示第一个坐标系远点在第二个坐标系上的坐标。,R是一个33的正交矩阵且它的行列式值等于一，表示旋转变换。,且有：,该式表明P点在第二个坐标系中的坐标p是由其在第一个坐标系中的坐标p通过旋转和平移变换得到的。,旋转矩R有9个参数，但并不是互相独立的，具有如下特性：,1、RRT=RTR=I,因此R-1=RT;2、|RU|=|U|;3、RURV=UV;4、RURV=R（UV）。,其中，I是33单位矩阵，U和V为两个任意的三维向量，|为向量的模。,因此，R只有3个独立参

10、数，即R的9个元素满足以下六个约束条件：,实际上，式p=Rp+t描述了第一个坐标系到第二个坐标系的转换过程，即旋转第一个坐标系，使其方向与第二个坐标系完全一致，然后再将第一个坐标系平移到第二个坐标系的位置上，则两个坐标系完全重合。,2.3.2 旋转矩阵的表示形式,比较常用的旋转矩阵的表示形式有三种：欧拉角表示法、四元数表示法和旋转轴表示法，本节主要介绍前两种表示法。,1、欧拉角表示法：,如图：被称为欧拉角的三个角度、和能很好描述刚体的旋转变换：绕x轴旋转角（偏转）；绕y轴旋转角（俯仰），绕z轴旋转角（侧倾）。各角度旋转正方向定义为从坐标系原点沿各轴正方向观察时的逆时针旋转方向。且对应上节定义的

11、旋转矩阵R，有如下关系：,用旋转矩阵表示刚体的旋转变换简化了许多运算，但它需要9个元素来完全描述这种旋转变换，比较麻烦。,2、四元数表示法：,四元数是一个四元矢量q=（q1,q2,q3,q4）,可用来描述坐标旋转。,如图所示，对于二维平面上的单位圆，单位圆的任何一个位置对应于一个旋转角，即极角。联想三维空间中的单位球体，任意一个位置对应于绕x轴和绕y轴旋转的两个角、，但是绕z轴的旋转角却无法描述。这时考虑如果再增加一个自由度就可以表示所有三个旋转角，这样就产生了四维空间的单位球，且定义如下：,三维空间中的所有三个旋转角度可以通过四维单位球上的点来表示，四维单位球上点的四元坐标构成了单位四元数。

12、,一个旋转可以用两个单位四元数来表示（q和-q），但是，给定一个四元数只对应唯一一个旋转。针对计算机视觉，旋转角一般不超过，所以可附加条件，保证一个四元数的第一个元素为正。这样，旋转和四元数之间就有了一一对应关系。,用单位四元数表示刚体变换的旋转矩阵（即上节定义矩阵R）如下：,其中：,所以：在计算出单位四元数之后，就可以利用上式计算旋转矩阵。,刚体变换可以很方便的用七个元素（q0,q1,q2,q3,q4,q5,q6）表示，前四个量是单位四元数，后三个量是平移量。若用R（q）表示对应于单位四元数的旋转矩阵，则刚体变换式为：,p=R（q）p+（q4,q5,q6）T,2.4 摄像机透视投影模型,摄像

13、机通过成像透镜将三维场景投影到摄像机二维平面上，这个投影可用成像变换描述，即摄像机成像模型。,2.4.1 图像坐标系、摄像机坐标系与世界坐标系,1、图像坐标系：,摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字图像，并输入计算机。,每幅数字图像在计算机内为MN数组，M行N列的图像中的每一个元素（称为像素，pixel）的数值即是图像点的亮度（或称灰度）。,如图，在图像上定义直角坐标系u,v，每一像素的坐标（u,v）分别是该像素在数组中的列数与行数，所以，（u,v）是以像素为单位的图像坐标系坐标。,由于（u,v）只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像中

14、的位置，因此，需要再建立以物理单位（如mm）表示的图像坐标系。该坐标系以图像内某一点O1为原点，X轴Y轴分别于u,v平行。,原点O1定义在摄像机光轴与图像平面的交点，一般位于图像中心。,其中，（u,v）表示以像素为单位的图像坐标系的坐标，（X,Y）表示以mm为单位的图像坐标系的坐标。如若O1在u,v坐标系中的坐标为（u0,v0），每一个像素在X轴与Y轴方向上的物理尺寸为dX,dY,则图像中任意一个像素在两个坐标系下的坐标有如下关系：,为使用方便，用齐次坐标与矩阵形式将上式表示为：,逆关系为：,2、摄像机坐标系：,摄像机几何关系如右图所示，其中O点称为摄像机光心，x轴和y轴与图像的X轴和Y轴平行

15、，z轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，记为图像坐标系的原点，由点O与x,y,z轴组成的直角坐标系为摄像机坐标系。OO1为摄像机焦距。,由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，它由Xw,Yw,Zw轴组成（如上图）。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述：,3、世界坐标系：,其中Xw=（Xw,Yw,Zw,1）T与x=（x,y,z,1）T分别为空间中某一点P在世界坐标系和摄像机坐标系下得齐次坐标。,R为33正交单位矩阵；t为三维平移向量；0=（0,0,

16、0,）T;M1为44矩阵。,2.4.2 针孔成像模型（线性摄像机模型）,空间任何一点P在图像中的成像位置可以用针孔成像模型近似表示。,即，任何点P在图像中的投影位置p，为光心O与P点的连线OP与图像平面的交点。这种关系也称为中心射影或透视投影。,由比例关系有如下关系式：,（X,Y）为p点的图像坐标;（x,y,z）为空间点P在摄像机坐标系下的坐标。,用齐次坐标和矩阵表示上述透视投影关系为：,s为一比例因子，P为透视投影矩阵。,将前面所得式子整合，得到一世界坐标系表示的P点坐标与其投影点p的坐标（u,v）的关系：,且令：M1M2Xw=MXw,其中，x=f/dX为u轴上尺度因子，或称为u轴上归一化焦

17、距；y=f/dY，为v轴上尺度因子，或称为v轴上归一化焦距；M为33矩阵，称为投影矩阵；M1由x、y、u0、v0决定，由于x、y、u0、v0只与摄像机内部参数有关，称这些参数为摄像机内部参数；M2由摄像机相对与世界坐标系的方位决定，称为摄像机外部参数。确定某一摄像机的内外参数，成为摄像机定标。,有如下结论：,1、如果已知摄像机的内外参数，就知道投影矩阵M；2、这时，对于任何空间点P，如已知它的坐标Xw=（Xw,Yw,Zw,1）T，就可以 求出它的图像点p的位置（u,v）。3、反之，如果已知某空间点P的图像坐标p的位置（u,v），即使知道摄像机的内外参数，Xw也是不能唯一确定的。,2.4.3 非

18、线性模型,实际上，由于实际的镜头并不是理想的透视成像，而是带有不同程度的畸变，使得空间点所成的像并不在线性模型所描述的位置（X,Y），而是在受到镜头失真影响而偏移的实际像平面坐标（X,Y）处，有：,x和y是线性畸变值，他与图像点在图像中的位置有关。,理论上镜头会同时存在径向畸变和切向畸变。但一般来讲切向畸变比较小，径向畸变的修正量距图像中心的径向距离的偶次幂多项式模型来表示，即：,其中,（u0,v0）是主点位置坐标的精确值，而：,上式表明，X方向和Y方向的畸变相对值（x/X,y/Y）与径向半径的平方成正比，即在图像边缘处的畸变较大。对一般计算机视觉，一阶径向畸变已足够描述非线性畸变，这是可写成

19、：,线性模型参数x、y、u0、v0与非线性畸变参数k1和k2一起构成了非线性模型的摄像机内部参数。,2.4 摄像机透视投影近似模型,在某些条件下，透视模型可以很好地用线性模型近似。这种近似可大大简化推导和计算。,例如：摄像机的视场很小，并且物体的尺寸相对于到摄像机的距离也很小。,2.5.1 正投影（orthographic projection）,特点：完全忽略了深度信息。,适用情况：当物体到摄像机的垂直距离（深度信息）和物体到光轴的距离（位置信息）都可以忽略时。,最简单的线性近似称为正投影。,正投影公式为：x=X,y=Y。这里,（x,y,z）是三维点在摄像机坐标系中的坐标，（X,Y）是三维点

20、像点的图像坐标。,2.5.2 弱透视（weak projective）,如果摄像机的视场比较小，而且物体表面深度拜变化相对其到摄像机机的距离很小的话，物体上各点的深度可以用以固定的深度值z0近似，这个值一般取物体质心的深度。这样的透视称为弱透视，其模型近似为：,这种近似可以看作是两次投影的合成。首先，整个物体按平行于光轴的方向正投影到经过物体质心并与图像平面平行的平面上；然后，再按透视模型将上述物平面的图形投影到摄像机的图像平面上，这一步实际是全局的放缩。因此，弱透视也称为放缩正投影。,弱透视模型可写成与透视投影类似的形式：,弱透视模型中，犹豫物体上各点的深度使用一固定值z0来近似，因此二维点

21、像和三维点像具有线性对应关系。,下面来推导这种近似带来的成像误差。设三维物点M的实际深度值为z=z0+z。该点按透视模型投影为mp,而弱透视的结果为mwp,merror为成像误差，运用泰勒公式得到：,merror=mpmwp,1、弱透视模型不仅与物体的深度变化（z）有关，而且还与物体的位置信息（x,y,z）有关系；2、误差对物体的不同部分是不同的；3、在实际中使用弱透视模型一般要求物体到摄像机的距离大于10倍物体表面深度变化。,结论：,2.5.3 平行透视（paraperspective projective）,在平行透视中，投影过程仍分为两个过程：首先仍是把物体平行投影到过质心且与像平面平行

22、的平面上，不过这次的投影线不是平行于光轴，而是平行于质心G和摄像机光心O点的连线OG。这克服了物体离光轴较远，弱透视带来的大误差。另一过程与弱透视相同。平行透视公式为：,（x0,y0,z0）为质心的三维坐标。,将该模型写成与透视投影类似的形式：,上式表明平行透视中二维像点和三维物点也具有线性对应关系。,下面来推导平行透视引入的误差，设三维物点M的实际位置为（x,y,z）T=（x0+x,y0+x,z0+x）T,用与弱透视类似的方法得到：,merror=mpmwp,由误差表达式可知，在弱透视情况下，像点误差是三维点的一阶无穷小；在平行透视情况下，像点误差是三维点的二阶无穷小。这说明平行透视确实是比

23、弱透视更好的近似。,下图是线性近似和透视模型的比较：,由上图也可看出，各模型的近似程度和前面分析是一致的。,motth、mwp、mpp和mp分别是物体上的三维点M在正投影、弱透视、平行透视和透视投影下的投影点，G为物体的质心。,透视投影还有一种误差更小的线性近似，即正透视（orthoperspective）。同样从两个过程来考虑，正透视与平行透视的区别在于第一过程的投影平面不是与图像平面平行，而是经过质心和OG（即摄像机光心和质心的连线）垂直。,正透视也可看作以下三步操作的合成：,1、摄像机绕光心O旋转，直至光轴与OG重合；2、进行弱透视投影；3、将摄像机旋转回原位置，这引起图像平面上的一个仿

24、射变换。,2.5.4 仿射摄像机,观察在正投影、弱透视和平行透视下的投影矩阵，我们发现它们都具有如下的形式：,PA是34矩阵，它决定了一个三维空间到二维平面的线性映射（用齐次坐标表示），所以我们把PA称为仿射摄像机。,仿射摄像机具有下列性质：,1、保平行性：三维空间的平行线投影为二维空间的平行线；2、把三维点集的质心投影为对应二维投影点的质心。,仿射摄像机的缺点是几何意义不明显，它是前几节介绍的各种透视投影线性近似的推广。这种推广可按下面两种方式来理解：,1、允许三维物体作某种非刚性变形。2、无需标定摄相机内参数。,注意：仿射摄像机是实际摄像机的近似，它只在感兴趣目标的深度变化相对其深度而言可忽略不计时才适用。,next chapter!,