第六章 光流分析
第六章 光流分析
61运动场( Velocity)与光流 Optical Flow) 运动场 物体与摄象机之间的任何相对运动都将导致视平面上与空间物体对应点发生变化。严格地说空 间运动在视平面上引起的对应运动称为运动场,如图6.1所示。假定空间点P与摄象机之间相 对运动的速度为V,在视平面上对应点P的运动速度为v,则 dR (6.1) 且由投影关系有 AV8 t R (R,Z) (6.2) st R 从而在投影关系下有 Z v(R,Z)-(V,Z)R(R×V)×z (R,Z) (63) (R,Z) 图61空间运动及其运动场
6.1 运动场(Velocity)与光流(Optical Flow) 一.运动场 物体与摄象机之间的任何相对运动都将导致视平面上与空间物体对应点发生变化。严格地说空 间运动在视平面上引起的对应运动称为运动场，如图 6.1 所示。假定空间点 P 与摄象机之间相 对运动的速度为 V，在视平面上对应点 p 的运动速度为 v，则 dt dr v dt dR V = = (6.1) 且由投影关系有 (R, Z) R r f = r (6.2) 从而在投影关系下有 2 2 ( , ) ( ) ( , ) ( , ) ( , ) R Z R V Z R Z R Z V V Z R f v r r r r r ´ ´ = - = (6.3) O o X,Y x,y Z P p R r v t d V t d 图6.1 空间运动及其运动场
二光流 在图象中可测的是图象辐照度的变化,这种变化并不总是与物体和摄象机间的 相对运动对应的。可以从下面的例子中看出这一点。典型的具有均匀反射特性的球 绕其一轴旋转,从摄得的图象上看不出任何变化;反过来光照条件的变化却会引起 图象的变化,如图62所示。 因此这种从图象上测得的变化并不完全反映实际的运动情况,称之为表观运动 arent motion)。所谓光流是指亮度模式引起的表观运动,理想的情况是这种表观 动反映了实际的运 图62表观运动
二.光流 在图象中可测的是图象辐照度的变化，这种变化并不总是与物体和摄象机间的 相对运动对应的。可以从下面的例子中看出这一点。典型的具有均匀反射特性的球 绕其一轴旋转，从摄得的图象上看不出任何变化；反过来光照条件的变化却会引起 图象的变化，如图 6.2 所示。 因此这种从图象上测得的变化并不完全反映实际的运动情况，称之为表观运动 (Apparent motion)。所谓光流是指亮度模式引起的表观运动，理想的情况是这种表观 运动反映了实际的运动。 图6.2 表观运动
62基于梯度的光流计算 在基于梯度的方法中,时空梯度之间的关系是极其重要的,这个关系被称之为基本 等式,它构成了对光流计算的一个重要约束。 6.2.1基本等式的引入 设图象上的点(x,y)在时刻t的辐照度为f(x,y,1),经过间隔后对应点为 f(x+Ax,y+Ay,+),当4→0时可以认为辐照度不变,于是有 (x,y,t)=∫(x+△x,y+△y,t+△t) (64) 由 Taylor展开 f(x+Ax,y+Δy,t+△t)=f(x,y,t)+x+y+△t+E (6.5) 忽略二阶无穷小,由于M→0,于是 af dx af dy, of Ox dt ay dt ot fu+J,+f1=0 (66)
6.2 基于梯度的光流计算 在基于梯度的方法中，时空梯度之间的关系是极其重要的，这个关系被称之为基本 等式，它构成了对光流计算的一个重要约束。 6.2.1 基本等式的引入 设图象上的点 ( x , y ) 在时刻 t 的辐照度为 f ( x , y , t) ，经过间隔Dt 后对应点为 f ( x + Dx , y + Dy ,t + Dt) ，当Dt ® 0时可以认为辐照度不变，于是有 f ( x, y ,t) = f ( x + Dx, y + Dy ,t + Dt) (6.4) 由 Taylor 展开 f x x y y t t f x y t f x x f y y f t ( + D , + D , + D ) = ( , , ) + D + D + Dt + ¶ ¶ ¶ ¶ ¶ ¶ e (6.5) 忽略二阶无穷小，由于Dt ® 0，于是 ¶ ¶ ¶ ¶ ¶ ¶ f x dx dt f y dy dt f t + + = 0 f u f v f x + y + t = 0 (6.6)
其中 分别是在x和y方向上的光流的分量 dt 对基本等式的理解 约束线 理解之 df 式66)可理解为= 理解之二: 不J )(n)=-f,于是沿(1f,)方 上光流的大小为2+f2 理解之三: 将(66)式看成是平面上的一条直线,一个方程 图63基本等式所确定的约束线 两个未知数,无法定解。为了定解必须附加上其 他约束。 6.2.2光流计算与附加约束 基本等式给出了光流计算的一个约束,但仅有这一个方程,是无法确定两个未 知量u和ν的,必须引入其它附加的约束才有可能唯一确定光流场。研究者们从不 同的角度出发引入不同的约束从而导致产生不同的光流分析方法,下面讨论几种典 型的方法
其中u dx dt v dy dt = = ，分别是在 x 和 y 方向上的光流的分量 对基本等式的理解 理解之一: 式(6.6)可理解为 df dt = 0。 理解之二: ( ) ( ) x y t f f × u v = - f ，于是沿 ( ) x y f f 方向 上光流的大小为 f f f t x y 2 2 + ； 理解之三: 将(6.6)式看成是 uv 平面上的一条直线，一个方程 两个未知数，无法定解。为了定解必须附加上其 他约束。 v u f , f x y 约束线 图6.3 基本等式所确定的约束线 6.2.2 光流计算与附加约束 基本等式给出了光流计算的一个约束，但仅有这一个方程，是无法确定两个未 知量 u 和 v 的，必须引入其它附加的约束才有可能唯一确定光流场。研究者们从不 同的角度出发引入不同的约束从而导致产生不同的光流分析方法，下面讨论几种典 型的方法