OpenCV中的KNN

一、K近邻

有两个类，红色、蓝色。我将红色点标记为0，蓝色点标记为1。还要创建25个训练数据，把它们分别标记为0或者1。Numpy中随机数产生器可以帮助我们完成这个任务

import cv2
import numpy as np
import matplotlib.pyplot as plt

# 包含25个已知/训练数据的(x,y)值的特征集
trainData = np.random.randint(, , (, )).astype(np.float32)

# 用数字0和1分别标记红色和蓝色
responses = np.random.randint(, , (, )).astype(np.float32)

# 画出红色的点
red = trainData[responses.ravel() == ]
plt.scatter(red[:, ], red[:, ], , 'r', '^')

# 画出蓝色的点
blue = trainData[responses.ravel() == ]
plt.scatter(blue[:, ], blue[:, ], , 'b', 's')

plt.show()

很有可能你运行的图和我的不一样，因为使用了随机数产生器，每次运行代码都会得到不同的结果。

下面就是KNN算法分类器的初始化，我们要传入一个训练数据集，以及对应的label。我们给它一个测试数据，让它来进行分类。OpenCV中使用knn.findNearest()函数

　　参数1：测试数据

　　参数2：k的值

　　返回值1：由kNN算法计算得到的测试数据的类别标志（0 或 1）。如果你想使用最近邻算法，只需要将k设置1，k就是最近邻的数目

　　返回值2：k的最近邻居的类别标志

　　返回值3：每个最近邻居到测试数据的距离

测试数据被标记为绿色。

# newcomer为测试数据
newcomer = np.random.randint(, , (, )).astype(np.float32)
plt.scatter(newcomer[:,],newcomer[:,],,'g','o')

knn = cv2.ml.KNearest_create()
knn.train(trainData, cv2.ml.ROW_SAMPLE, responses)
ret, results, neighbours, dist = knn.findNearest(newcomer, )

print("result: ", results, "\n")
print("neighbours: ", neighbours,"\n")
print("distance: ", dist)

plt.scatter(red[:, ], red[:, ], , 'r', '^')
plt.scatter(blue[:, ], blue[:, ], , 'b', 's')

plt.show()

下面是我得到的结果：

result:  [[.]] 

neighbours:  [[. . .]] 

distance:  [[. . .]]

测试数据有三个邻居，有两个是红色，一个是蓝色。因此测试数据被分为红色。

二、使用kNN对手写数字OCR

OCR（Optical Character Recognition，光学字符识别）

目标

　　1. 要根据我们掌握的kNN知识创建一个基本的OCR程序

　　2. 使用OpenCV自带的手写数字和字母数据测试我们的程序

手写数字的OCR

我们的目的是创建一个可以对手写数字进行识别的程序。需要训练数据和测试数据。OpenCV 安装包中有一副图片（/samples/python2/data/digits.png），其中有一幅有5000个手写数字（每个数字重复500遍）。每个数字是一个20x20的小图。所以第一步就是将这个图像分割成5000个不同的数字，将拆分后的每一个数字图像展成400个像素点的图像（1x400的一维向量）。这个就是我们的特征集，所有像素的灰度值。我们使用每个数字的前250个样本做训练数据，剩余的250个做测试数据。

import numpy as np
import cv2
import matplotlib.pyplot as plt

img = cv2.imread('digits.png')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 我们把图片分成5000张，每张20 x
cells = [np.hsplit(row, ) for row in np.vsplit(gray, )]

# 使cells变成一个numpy数组，它的维度为（， ， ， ）
x = np.array(cells)

# 训练数据和测试数据
train = x[:, :].reshape(-, ).astype(np.float32) # size = (, )
test = x[:, :].reshape(-, ).astype(np.float32) # size = (, )

# 为训练集和测试集创建一个label
k = np.arange()
train_labels = np.repeat(k, )[:, np.newaxis]
test_labels = train_labels.copy()

# 初始化KNN，训练数据、测试KNN，k=
knn = cv2.ml.KNearest_create()
knn.train(train, cv2.ml.ROW_SAMPLE, train_labels)
ret, result, neighbours, dist = knn.findNearest(test, k=)

# 分类的准确率
# 比较结果和test_labels
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct * 100.0 / result.size
print(accuracy)

结果为：

91.76

为了避免每次运行程序都要准备和训练分类器，我们最好把它保留，这样在下次运行时，只需要从文件中读取这些数据开始进行分类就可以了。

# 保留数据
np.savez('knn_data.npz', train=train, train_labels=train_labels)

# 加载数据
with np.load('knn_data.npz') as data:
    print(data.files)
    train = data['train']
    train_labels = data['train_labels']

结果为：

['train', 'train_labels']

英文字母的OCR

接下来我们来做英文字母的OCR。和上面做法一样，但是数据和特征集有一些不同。OpenCV自带的数据文件（/samples/cpp/letter-recognition.data）。有20000行，每一行的第一列是我们的一个字母标记，接下来的16个数字是它的不同特征。取前10000个作为训练样本，剩下的10000个作为测试样本。我们先把字母表换成ascII，因为我们不直接处理字母。

data = np.loadtxt('letter-recognition.data', dtype='float32', delimiter=',', converters={:lambda ch:ord(ch) - ord('A')})

# 将数据分成2份，10000个训练，10000个测试
train, test = np.vsplit(data, )

# 将训练集和测试集分解为数据、label
# 实际上每一行的第一列是我们的一个字母标记。接下来的  个数字是它的不同特征。
responses, trainData = np.hsplit(train, [])  # 数据从第二列开始
labels, testData = np.hsplit(test, [])  

# 初始化KNN，训练数据、测试KNN，k=
knn = cv2.ml.KNearest_create()
knn.train(trainData, cv2.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=)

# 分类的准确率
# 比较结果和test_labels
correct = np.count_nonzero(result==labels)
accuracy = correct * 100.0 / result.size
print(accuracy)

结果为：

93.06