#OpticalFlowPyrLK

OpticalFlowPyrLK算子用于计算连续多帧图像特定像素点的变化，常用于目标特征点跟踪、提升BOX稳定性等场景。

#算子效果

输入连续帧图像	参数	输出图像
	-

#原理

稀疏光流算法即Lucas-Kanade算法，是一种计算机视觉中常用的运动估计方法，用于估计图像序列中像素的运动方向和速度。Lucas-Kanade算法基于两个假设：

1. 亮度恒定假设：在短时间内，同一个物体的像素亮度保持不变。

假设 $t$ 时刻，位于 $(x,y)$ 像素位置的物体，在 $t+Δt$ 时刻位于 $(x+u,y+v)$ 位置，基于亮度不变假设有:

$I(x,y,t)=I(x+u,y+v,t+\Delta t)$

将等式右边进行一阶泰勒展开得：

$I(x+u,y+v,t+\Delta t)=I(x,y,t) + I'_xu + I'_yv+I'_t\Delta t$

由上面两个公式可以得到：

$I'_xu + I'_yv+I'_t\Delta t=0$

整理后可表示成：

$\begin{aligned}\begin{bmatrix} I'_x , I'_y \end{bmatrix}\begin{bmatrix} u \\v \end{bmatrix}=-\Delta I_t \end{aligned}$

其中，$I'_x$ ， $I'_y$ 分别为 $(x,y)$ 像素点处图像亮度在 $x$ 方向和 $y$ 方向的偏导数，即图像$x$和$y$方向的梯度。$ΔI_t$ 即为两图之间的 $(x,y)$ 坐标位置的亮度差。

2. 邻域光流相似假设：一个小的图像区域里像素移动方向和大小是基本一致的。

借助该假设，像素点 $(x,y)$ 领域内的所有像素都有下面的公式:

$\begin{aligned}\begin{bmatrix} I'_{\text{x1}} , I'_{\text{y1}} \\I'_{\text{x2}} , I'_{\text{y2}} \end{bmatrix}\begin{bmatrix} u \\v \end{bmatrix}= \begin{bmatrix} -\Delta I_{\text{t1}} \\-\Delta I_{\text{t2}} \end{bmatrix}\end{aligned}$

上式即为 $Ax=b$ 的形式，可求得光流向量的最小二乘解：

$x=(A^TA)^{\text{-1}}A^Tb$

其中要求 $A^TA$ 可逆，为了满足这个要求，Lucas-Kanade方法选取角点作为特征点。除了基于亮度不变假设和邻域光流相似假设，Lucas-Kanade算法还借助了图像金字塔的方式解决图像偏移较大的情况，在高层低分辨率图像上，大的偏移将变为小的偏移，从而求解出光流。

因此，OpticalFlowPyrLK算子需要前后两帧的金字塔图层，和前一帧的特征点作为输入，其中特征点通常选用角点。 连续帧计算会放大误差，此时还需要引入当前帧的先验特征点，用来修正误差。

#API接口

详细接口信息请查看 hbVPOpticalFlowPyrLK。

#使用方法