资讯专栏INFORMATION COLUMN

opencv python 光流法

muddyway / 2083人阅读

摘要:提供了另一种算法来查找密集的光流。它计算帧中所有点的光流。它基于的算法,该算法在于年的中进行了解释

Optical Flow

光流法

光流是由对象或相机的移动引起的两个连续帧之间的图像对象的明显运动的模式.它是2D矢量场,其中每个矢量是位移矢量,表示从第一帧到第二帧的点的移动.

上图表示的是一个球在连续的5帧图像中的运动,箭头显示其位移矢量.

光流法原理的基础:

目标像素强度在连续帧之间不变

相邻像素具有相似的运动

第一帧的像素I(x,y,t),在dt时间之后的下一帧中移动距离(dx,dy),因为这些像素是相同的,而且亮度不变,所以:

$$ I(x,y,t) = I(x+dx, y+dy, t+dt) $$

然后采用右侧的泰勒级数展开,删除常用项并除以dt得到:

$$ I(x,y,t) = I(x+dx, y+dy, t+dt) $$

在这里:

$$ f_x = frac{partial f}{partial x} ; ; ; f_y = frac{partial f}{partial y} $$

$$ u = frac{dx}{dt} ; ; ; v = frac{dy}{dt} $$

上述方程称为光流方程.在其中,我们可以找到fx和fy,它们是图像渐变. 类似地,ft是沿时间的梯度,(u,v) 未知,我们无法用两个未知变量来解决这个方程.因此提供了几种方法来解决这个问题,其中一种方法是Lucas-Kanade.

Lucas-Kanade

我们之前已经看到一个假设,即所有相邻像素将具有相似的运动.Lucas-Kanade方法需要窗口大小,所有9个点都有相同的动作,我们可以找到这9个点的(f x,f y,f t). 所以现在我们的问题变成解决了9个方程式,其中两个未知变量是过度确定的.解的个数大于未知数的个数,这是个超定方程,使用最小二乘的方法来求解最优值.

$$ egin{bmatrix} u v end{bmatrix} = egin{bmatrix} sum_{i}{f_{x_i}}^2 & sum_{i}{f_{x_i} f_{y_i} } sum_{i}{f_{x_i} f_{y_i}} & sum_{i}{f_{y_i}}^2 end{bmatrix}^{-1} egin{bmatrix} - sum_{i}{f_{x_i} f_{t_i}} - sum_{i}{f_{y_i} f_{t_i}} end{bmatrix} $$

所以从用户的角度来看,想法很简单,给出一些跟踪点,从而那些点的光流向量,但是到现在为止,我们只处理了小动议,所以当有大的运动时它会失败.
使用的解决办法是利用图像金字塔,在金字塔顶端的小尺寸图片当中,大幅度的运动就变成了小幅度的运动, 因此,在那里应用Lucas-Kanade,可以得到尺度空间上的光流.

Lucas-Kanade Optical Flow in OpenCV
import numpy as np
import cv2
import matplotlib.pyplot as plt

cap = cv2.VideoCapture("test.mp4")
# params for ShiTomasi corner detection
feature_params = dict( maxCorners = 100,
                       qualityLevel = 0.3,
                       minDistance = 7,
                       blockSize = 7 )

# Parameters for lucas kanade optical flow
lk_params = dict( winSize  = (15,15),
                  maxLevel = 2,
                  criteria = (cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

# Create some random colors
color = np.random.randint(0,255,(100,3))

# Take first frame and find corners in it
ret, old_frame = cap.read()
old_gray = cv2.cvtColor(old_frame, cv2.COLOR_BGR2GRAY)
p0 = cv2.goodFeaturesToTrack(old_gray, mask = None, **feature_params)

# Create a mask image for drawing purposes
mask = np.zeros_like(old_frame)

while(1):
    ret,frame = cap.read()
    frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # calculate optical flow
    p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, **lk_params)

    # Select good points
    good_new = p1[st==1]
    good_old = p0[st==1]

    # draw the tracks
    for i,(new,old) in enumerate(zip(good_new,good_old)):
        a,b = new.ravel()
        c,d = old.ravel()
        mask = cv2.line(mask, (a,b),(c,d), color[i].tolist(), 2)
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
    img = cv2.add(frame,mask)

    cv2.imshow("frame",img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

    # Now update the previous frame and previous points
    old_gray = frame_gray.copy()
    p0 = good_new.reshape(-1,1,2)

cv2.destroyAllWindows()
cap.release()

Dense Optical Flow in OpenCV

Lucas-Kanade方法计算稀疏特征集的光流(在我们的例子中,使用Shi-Tomasi算法检测到的角)。 OpenCV提供了另一种算法来查找密集的光流。 它计算帧中所有点的光流。 它基于Gunner Farneback的算法,该算法在Gunner Farneback于2003年的“Two-Frame Motion Estimation Based on Polynomial Expansion”中进行了解释.

import numpy as np
import cv2
import matplotlib.pyplot as plt

cap = cv2.VideoCapture("test.mp4")
ret, frame1 = cap.read()
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255

while(1):
    ret, frame2 = cap.read()
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)

    flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    bgr = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)

    cv2.imshow("frame2",bgr)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord("s"):
        cv2.imwrite("opticalfb.png",frame2)
        cv2.imwrite("opticalhsv.png",bgr)
    prvs = next

cap.release()
cv2.destroyAllWindows()

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/42092.html

相关文章

  • 千呼万唤始出来,OpenCV 4.0正式发布!

    摘要:目前,支持尚未完成仅支持加载编码的和,还未支持编码。部分支持对象检测网络的版本缺少一些提供矩形列表的最终图层。而且,此更改也已添加到分支。请注意,仅在英特尔上进行测试,因此仍需要额外的。为了使实时采集处理有高效,在模块中更新了支持。 OpenCV 4.0 正式版来啦!虽然官网还没更新,但Github已经放出来了!重回英特尔的OpenCV终于迎来一次大版本更新,增加了诸多新特性,快来一起看看吧...

    nifhlheimr 评论0 收藏0
  • 机器视觉、模式识别库汇总

    摘要:十开放模式识别项目开放模式识别项目,致力于开发出一套包含图像处理计算机视觉自然语言处理模式识别机器学习和相关领域算法的函数库。 一、开源生物特征识别库 OpenBROpenBR 是一个用来从照片中识别人脸的工具。还支持推算性别与年龄。使用方法:$ br -algorithm FaceRecognition -compare me.jpg you.jpg二、计算机视觉库 OpenCVOpenC...

    habren 评论0 收藏0
  • opencv python 图像二值化/简单阈值化/大津阈值

    摘要:对于非双峰图像,二值化不准确。如果未使用阈值法,则与之前使用的阈值相同在第一种情况下,将全局阈值应用为值在第二种情况下,直接应用了的阈值在第三种情况下,使用高斯内核过滤图像以消除噪声,然后应用阈值处理代码 Image Thresholding 1简单的阈值化 cv2.threshold第一个参数是源图像,它应该是灰度图像. 第二个参数是用于对像素值进行分类的阈值, 第三个参数是max...

    luoyibu 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<