使用opencv进行简单的手势检测[by Python]

代码参考于：https://github.com/rainyear/lolita/issues/8

简单的手势识别，基本思路是基于皮肤检测，皮肤的颜色在HSV颜色空间下与周围环境的区分度更高，从RGB转换到HSV颜色空间下针对皮肤颜色进行二值化，得到mask：

def HSVBin(img):
    hsv = cv2.cvtColor(img,cv2.COLOR_RGB2HSV)

    lower_skin = np.array([100,50,0])
    upper_skin = np.array([125,255,255])

    mask = cv2.inRange(hsv,lower_skin,upper_skin)
    return mask

其中：

cvtColor用于颜色空间转换。

inRange中，lower指图像中低于这个值，图像值会变成0；upper指图像中高于这个值，图像值会变成0，而在这之间的值变为255。

然后通过腐蚀与膨胀等形态学变化去除一些噪点，得到更完整的白色（皮肤）色块，最后找出色块的轮廓，并通过色块大小排除一些面积较小的噪点：

def getContours(img):
    kernel = np.ones((5,5),np.uint8)
    closed = cv2.morphologyEx(img,cv2.MORPH_OPEN,kernel)
    closed = cv2.morphologyEx(closed,cv2.MORPH_CLOSE,kernel)
    _,contours,h = cv2.findContours(closed,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
    vaildContours = []
    for cont in contours:
        if cv2.contourArea(cont)>9000:
            vaildContours.append(cv2.convexHull(cont))
    return  vaildContours

膨胀：dilate，进行膨胀操作时，将内核 B划过图像，将内核B覆盖区域的最大像素值提取，并代替锚点位置的像素，这一最大化操作会导致图像中的亮区开始“扩展”。

腐蚀：erode，将最小像素值提取原始图片里的一个像素（1或者0）只有在核下的所有像素都是1的时候才被认为是1.否则它就被腐蚀掉了（变成0）。根据核的大小来决定在边界附近的多少像素会被丢弃掉，所以前景物体的厚度或大小会缩小，或者说白色区域会减小。这个在移除小的白色噪点时很有用。

ones(shape[,dtype,order]) 依据一个给定的形状和类型返回一个新的元素全部为1的数组。

data type ：uint8 －－>range：0～255，一张图片的数据类型默认为unit8

开：腐蚀之后再膨胀的另一个名字。我们使用函数cv2.morphologyEx()。

闭：膨胀之后再腐蚀，在用来关闭前景对象里的小洞或小黑点很有用。

轮廓检测 cv2.findContours，接收参数为二值图。

def main():
    cap = cv2.VideoCapture(0)
    while(cap.isOpened()):
        ret,img = cap.read()
        skinMask = HSVBin(img)
        contours = getContours(skinMask)
        cv2.drawContours(img,contours,-1,(0,255,0),2)
        cv2.imshow('capture',img)
        k = cv2.waitKey(10)
        if k == 27:
            break

cv2.waitKey()--waitKey()函数的功能是不断刷新图像，频率时间为delay，单位为ms。返回值为当前键盘按键值。

完整代码如下：

import cv2
import numpy as np

def main():
    cap = cv2.VideoCapture(0)
    while(cap.isOpened()):
        ret,img = cap.read()
        skinMask = HSVBin(img)
        contours = getContours(skinMask)
        cv2.drawContours(img,contours,-1,(0,255,0),2)
        cv2.imshow('capture',img)
        k = cv2.waitKey(10)
        if k == 27:
            break

def getContours(img):
    kernel = np.ones((5,5),np.uint8)
    closed = cv2.morphologyEx(img,cv2.MORPH_OPEN,kernel)
    closed = cv2.morphologyEx(closed,cv2.MORPH_CLOSE,kernel)
    _,contours,h = cv2.findContours(closed,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
    vaildContours = []
    for cont in contours:
        if cv2.contourArea(cont)>9000:
            #x,y,w,h = cv2.boundingRect(cont)
            #if h/w >0.75:
            #filter face failed
            vaildContours.append(cv2.convexHull(cont))
            #rect = cv2.minAreaRect(cont)
            #box = cv2.cv.BoxPoint(rect)
            #vaildContours.append(np.int0(box))
    return  vaildContours

def HSVBin(img):
    hsv = cv2.cvtColor(img,cv2.COLOR_RGB2HSV)

    lower_skin = np.array([100,50,0])
    upper_skin = np.array([125,255,255])

    mask = cv2.inRange(hsv,lower_skin,upper_skin)
    #res = cv2.bitwise_and(img,img,mask=mask)
    return mask

if __name__ =='__main__':
    main()
    

效果：