关于KNN,有幸看到这篇文章,写的很好,这里就不在赘述.直接贴上代码了,有小的改动.(原来是python2版本的,这里改为python3的,主要就是print) 环境:win7 32bit + spyder + anaconda3.5 一.初阶 # -*- coding: utf-8 -*- """ Created on Sun Nov 6 16:09:00 2016 @author: Administrator """ #Input: # ne…

一.KNN概述 K-(最)近邻算法KNN(k-Nearest Neighbor)是数据挖掘分类技术中最简单的方法之一.它具有精度高.对异常值不敏感的优点,适合用来处理离散的数值型数据,但是它具有 非常高的计算复杂度和空间复杂度,需要大量的计算(距离计算). 它的工作原理是:如果已经给定一个带有标签(分类)的数据集(训练集),对于每一个给定的没有标签(分类)的新向量,通过计算该向量与训练集中的每一个向量的距离, 选择前k个最小的距离,在k个距离中出现次数最多的标签(分类)则是新向量的标签(分类).…

# -*- coding: utf-8 -*- """ Created on Fri Dec 29 13:13:44 2017 @author: markli """ import numpy as np; #两点之间的距离采用欧式几何距离 ''' 采用欧式距离进行K最小临近分类 x 未知分类点 m*1 向量 y n个测试样本点 m*n 维向量 ''' def ComputeDistance(x,y): m = len(x); #获取维度数量 #…

台大机器技法跟基石都看完了,但是没有编程一直,现在打算结合周志华的<机器学习>,撸一遍机器学习实战, 原书是python2 的,但是本人感觉python3更好用一些,所以打算用python3 写一遍.python3 与python2 不同的地方会在程序中标出. 代码及数据:https://github.com/zle1992/MachineLearningInAction k-近邻算法 优点:精度高.对异常值不敏感.无数据输入假定. 缺点:计算复杂度高.空间复杂度高.对K的取值敏感!!! 适用…

一.前言 1.ocr概述 OCR (Optical Character Recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗.亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程:即,针对印刷体字符,采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件,并通过识别软件将图像中的文字转换成文本格式,供文字处理软件进一步编辑加工的技术(摘自百度百科:光学字符识别). KNN在OCR的识别过程中能发挥作用的地方在于将图像中的文字转…

import numpy as npimport operatorfrom os import listdirdef CerateDataSet():        group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])    labels = ['A','A','B','B']    return group,labels def classify0(inX,dataSet,labels,k):                        …

领导让我每天手工录入BI系统中的数据并判断数据是否存在异常,若有异常点,则检测是系统问题还是业务问题.为了解放双手,我决定写个程序完成每天录入管理驾驶舱数据的任务.首先用按键精灵录了一套脚本把系统中的数据都截图保存下来,然后就是图像识别的事了. 图像文本识别的步骤一般为图像预处理,图片切割,特征提取.文本分类和图像文本输出几个步骤,我们也可以按这个步骤来识别图像中的数字. 一.图像预处理 在图像预处理中,验证码识别还要对图像进行去燥,文字还原等比较复杂的处理,由于我的图像没什么干扰因素,所以直接…

--------------------------------------------------------------------------------------- 本系列文章为<机器学习实战>学习笔记,内容整理自书本,网络以及自己的理解,如有错误欢迎指正. 源码在Python3.5上测试均通过,代码及数据 --> https://github.com/Wellat/MLaction -----------------------------------------------…

<机器学习实战>知识点笔记目录 K-近邻算法(KNN)思想: 1,计算未知样本与所有已知样本的距离 2,按照距离递增排序,选前K个样本(K<20) 3,针对K个样本统计各个分类的出现次数,取最大次数的分类为未知样本的分类 函数classify0虽然只有短短的几行代码,涉及的知识点却非常多,具体的知识点整理如下: 一.程序清单2-1笔记1,shape函数shape函数是numpy.core.fromnumeric中的函数,它的功能是查看矩阵或者数组的维数.比如:group = array(…

本文主要是用kNN算法对字母图片进行特征提取,分类识别.内容如下: kNN算法及相关Python模块介绍 对字母图片进行特征提取 kNN算法实现 kNN算法分析 一.kNN算法介绍 K近邻(kNN,k-NearestNeighbor)分类算法是机器学习算法中最简单的方法之一.所谓K近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表.我们将样本分为训练样本和测试样本.对一个测试样本 t  进行分类,kNN的做法是先计算样本 t  到所有训练样本的欧氏距离,然后从中找出k…