第四章 立体视觉
第四章 立体视觉
立体视觉是仿照人类利用双目线索感知距离的方法实现对三维信息的感知, 在实现上采用基于三角测量的方法运用两个或多个摄象机对同一景物从不同位置 成象,并进而从视差中恢复距离。 立体视觉中一般需要解决三方面的问题: 中图象面上的视差计算 中由视差恢复某些点的三维坐标 中由稀疏的三维数据恢复表面。 4.1一般性原理 最简单的情况如图4.1所示 C,C分别为左、右二个相机的光心 C与C之间的距离为b,相机焦距为4 P 物体上的点P在左、右相机图象面上C 的投影点分别为P,P, 令AP=l,AP=b,PB=a,则由 图4.1视差测距原理图 相似三角形有 a+
立体视觉是仿照人类利用双目线索感知距离的方法实现对三维信息的感知， 在实现上采用基于三角测量的方法运用两个或多个摄象机对同一景物从不同位置 成象，并进而从视差中恢复距离。 立体视觉中一般需要解决三方面的问题： b f d C A l l a P A B C P l l a l b r r Pr 图4.1视差测距原理图 V 图象面上的视差计算 V 由视差恢复某些点的三维坐标 V 由稀疏的三维数据恢复表面。 4.1一般性原理 最简单的情况如图4.1所示 Cl Cr , 分别为左、右二个相机的光心 Cl 与Cr 之间的距离为b，相机焦距为 f。 物体上的点P在左、右相机图象面上 的投影点分别为Pl Pr , ， 令 A P l l l = a， A P l r r = b ，PrB = a ，则由 相似三角形有： d f d a a l b - = + (4.1)
d-f b-1+l,+a b+Ib (4.2) 由(41)、(42)有 (43) a+ (4. 由上式可以看出,距离d与b、f和-l有关。l-l称为点P在左、右两个 图象面上形成的视差,它表示了P点在左、右两幅图象中成像点的位置差异。 由于b、∫是已知的,因此,要实现双目立体视差测距,最关键的就是要求得视 差n-b,即要实现空间中同一点P在左、右两幅图象上的投影点之间的对应。 两幅图象间对应点的寻求称为两幅图象的配准
d f d b l l a b l a a b b - = - + + + + (4.2) 由(4.1)、(4.2)有 b a b a l l l bl a - - = (4.3) b a b b l l bf l a l d f - = + = (4.4) 由上式可以看出，距离d与b、f 和l l a b - 有关。l l a b - 称为点P 在左、右两个 图象面上形成的视差，它表示了P 点在左、右两幅图象中成像点的位置差异。 由于b、f 是已知的，因此，要实现双目立体视差测距，最关键的就是要求得视 差l l a - b，即要实现空间中同一点P 在左、右两幅图象上的投影点之间的对应。 两幅图象间对应点的寻求称为两幅图象的配准
42内极点、内极线与内极平面 42.1一般情况 光心线与视平面的交点称为视平P 面P的内极点(Epip0lm),光心线与视平面 P2的交点E2称为视平面2的内极点。 图4.2内极点与内极线 设空间中有一点P,在上的投影,则将由点和光心线所确定的平 面称为内极平面( Epipolar plane),内极平面与视平l的交线称为点的内极线 ( Epipolar,记为D4。对称地,由点和光心线所确定的平面与视平砷2的交线 称为点2的内极线,记为D。。 性质: 视平面P上任何内极线D必然通过内极点,视平函2上任何内极线 D必然通过内极点E2。内极线D的解释是,给觉,它在2上可能的对应点 定在内极线D上:反之亦然。 作用:降低搜索空间
P1 P2 P C1 C2 E1 E2 I 1 I2 DE1 DE2 图4.2 内极点与内极线 4.2 内极点、内极线与内极平面 4.2.1 一般情况 光心线与视平面P1 的交点E1 称为视平 面P1 的内极点(Epipolar)，光心线与视平面 P2 的交点E2称为视平面P2 的内极点。 设空间中有一点 P ，在P1 上的投影为I1 ，则将由点1 I 和光心线所确定的平 面称为内极平面(Epipolar plane)，内极平面与视平面P1 的交线称为点I1 的内极线 (Epipolar)，记为DE1 。对称地，由点I2 和光心线所确定的平面与视平面P2 的交线 称为点 2 I 的内极线，记为DE2 。 性质： 视平面 P1 上任何内极线 E1 D 必然通过内极点E1 ，视平面P2 上任何内极线 E2 D 必然通过内极点E2。内极线 E2 D 的解释是，给定1 I ，它在P2 上可能的对应点 一定在内极线 E2 D 上；反之亦然。 作用：降低搜索空间
内极点和内极线的计算。 考虑一般情况,摄象柷1的坐标系 XYz是从世界坐标系 OXYZ原点经旋 D 砖R=()(,/=2,3)和平移 ( X Y Z)形成的,摄象机;的 E 坐标系O""Y"2”是从世界坐标系OXYz 原点经旋转R=()(j=12,3)和平移 I Y 形成的,如图4.3所 图4.3世界坐标系与摄象机坐标系 设H=h2-h 则CE在Oz坐标下的N矢量为m1=N(H),C2E2在Oz坐标下的N矢量为mn=-m2 于是在视平面P1上,内极点E1的N矢量为 mC=r 类似地,在视平曲2上,内极点E2的N矢量为 rm (46)
P 1 P2 P C1 C 2 E1 E2 I1 I2 DE1 DE2 Y' X' Y X Z O Y" X" Z" O" O' Z' h1 h2 1 图4.3 世界坐标系与摄象机坐标系 内极点和内极线的计算。 考虑一般情况，摄象机C1 的坐标系 O¢X¢Y¢Z¢是从世界坐标系OXYZ 原点经旋 转 ( ) (1) 1 ij R = r (i, j = 1,2,3) 和平移 ( ) t XC YC ZC h1 1 1 1 = 形成的，摄象机C2 的 坐标系O¢¢X ¢¢Y¢¢ Z¢¢ 是从世界坐标系OXYZ 原点经旋转 ( ) (2) 2 ij R = r (i, j =1,2,3) 和平移 ( ) t X C YC ZC h2 2 2 2 = 形成的，如图4.3所 示。 设H = h2 - h1， 则C1E1在OXYZ 坐标下的N矢量为m N(H ) C = 1 ，C2E2在OXYZ 坐标下的N矢量为 C1 C2 m = -m 于是在视平面P1上，内极点E1 的N矢量为 1 1 C1 t mC ¢ = R m (4.5) 类似地，在视平面P2 上，内极点E2的N矢量为 2 2 C2 t mC ¢ = R m (4.6)