利用opencv进行移动物体检测

进行运动物体检测就是将动态的前景从静态的背景中分离出来。将当前画面与假设是静态背景进行比较发现有明显的变化的区域，就可以认为该区域出现移动的物体。在实际情况中由于光照阴影等因素干扰比较大，通过像素直接进行比较往往很容易造成误检。因此有不少算法被开发出来在进行前后景分离的时候对运动和其他因素造成的变动进行区分。opencv中提供了多种背景减除的算法，其中基于高斯混合模型（GMM）的cv2.BackgroundSubtractorMOG()和cv2.BackgroundSubtractorMOG2()已经基于贝叶斯模型的cv2.bgsegm.createBackgroundSubtractorGMG()最为常用。

1) GMM法

GMM进行前后景分离最早是在2001年的文章An improved adaptive background mixture model for real-time tracking with shadow detection中提出的。其设计思路为：

在不知道图像历史的时候，假设每个像素点的值都是可以分解为一组adaptive Gaussian。adaptive是由于需要跟随光照条件的变化而变化。
像素值的历史由一组高斯分布进行建模，包括每个分布的权重。
每次新图像输入的时候都会用这一组高斯分布进行评估，如果像素匹配上其中一个分布就会认为这个像素属于背景，而高斯分布的均值和方差等参数会用当前像素的值进行更新。
标记为前景的像素通过connected component analysis进行分组。

opencv的cv2.BackgroundSubtractorMOG()的函数就是对次方法的实现。

基于2004年提出的Improved adaptive Gausian mixture model for background subtractio和2006年提出的Efficient Adaptive Density Estimation per Image Pixel for the Task of Background Subtraction算法对上述GMM算法进行改良的就是opencv的cv2.BackgroundSubtractorMOG2()的函数。主要的提升是对每个像素都选择合适数量的高斯分布而非原来的全部相同的个数。此外，这个函数还允许是否检测阴影。

使用方法(以MOG2为例)

import cv2

cam = cv2.VideoCapture(0)

fgbg = cv2.createBackgroundSubtractorMOG()

while cam.isOpened():

    ret, frame = cam.read()

    if ret:

        fgmask = fgbg.apply(frame)

        # 通过腐蚀和膨胀过滤一些噪声

        erode = cv2.erode(fgmask, (21, 21), iterations=1)

        dilate = cv2.dilate(fgmask, (21, 21), iterations=1)

        (_, cnts, _) = cv2.findContours(dilate.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

        for c in cnts:

            c_area = cv2.contourArea(c)

            if c_area < 1600 or c_area > 16000:  # 过滤太小或太大的运动物体，这类误检概率比较高

                continue

            (x, y, w, h) = cv2.boundingRect(c)

            cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 2)

        cv2.imshow("origin", frame)

        if cv2.waitKey(1) == ord('q'):

            break

cv2.destroyAllWindows()

2）GMG法

根据2012年的文章Visual Tracking of Human Visitors under Variable-Lighting Conditions for a Responsive Audio Art Installation， opencv开发了相应的函数cv2.bgsegm.createBackgroundSubtractorGMG() (好像在3.2中被放到了contrib中，在之前可以直接用cv2.createBackgroundSubtractorGMG()进行调用)。这个方法默认使用前120张图片进行背景的建模，并使用概率前景分割算法找到可能的前景（基于贝叶斯推测）。为了更好适应不同光照变化的影响，新的图片的权重比旧图片要高。

使用方法

cam = cv2.VideoCapture(0)

kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (8, 8))

fgbg = cv2.bgsegm.createBackgroundSubtractorGMG(initializationFrames=10)

while cam.isOpened():

    ret, frame = cam.read()

    if ret:

        fgmask = fgbg.apply(frame)

        fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)   # 过滤噪声

        (_, cnts, _) = cv2.findContours(dilate.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

        for c in cnts:

            c_area = cv2.contourArea(c)

            if c_area < 1600 or c_area > 16000:  # 过滤太小或太大的运动物体，这类误检概率比较高

                continue

            (x, y, w, h) = cv2.boundingRect(c)

            cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 2)

        cv2.imshow("origin", frame)

        if cv2.waitKey(1) == ord('q'):

            break

cv2.destroyAllWindows()

参考：