一、写在前面

本系列是对之前机器学习笔记的一个总结,这里只针对最基础的经典机器学习算法,对其本身的要点进行笔记总结,具体到算法的详细过程可以参见其他参考资料和书籍,这里顺便推荐一下Machine Learning in Action一书和Ng的公开课,当然仅有这些是远远不够的,更深入的研究分析可以参见其他国外的论文及站点,此处不再一一列举。机器学习更多的是建模应用,这里仅是一个概要总结,并归纳分析各种算法优缺点,这些都是要了如指掌并且非常熟悉的。

关于机器学习:

基本上目前互联网公司的机器学习/数据挖掘的算法岗位都会涉及到这些东西,而对于计算机方向的研究生都会接触这些。对于机器学习,仅仅懂得这些算法的基本思想和大致流程远远不够,尤其对于工业界的应用层面,关系到应用业务课题,更多要求的是非常熟悉如何去使用它,什么场合使用,算法优缺点,调参经验等等。

机器学习算法总体分类:

1.监督学习:分类、回归

2.无监督学习:聚类、密度估计、降维

3.其他

列举一下机器学习经典算法:

k近邻算法(kNN)

决策树C4.5、ID3、CART树回归(9章)

迭代决策树GBRT(渐进梯度回归树):决策树的变体,boosting,残差训练,串行算法,每棵树用前一棵树的残差来训练

RF随机森林:主要思想是bagging并行算法,用很多弱模型组合出一种强模型

朴素贝叶斯

logistic回归(实质是分类算法)

线性回归:1.线性回归LR、2.缩减系数:岭回归、lasso、前向逐步回归(这才是真正回归)

支持向量机SVM: SMO、核函数处理高维数据

Boosting:Adaboosting

非均衡分类问题

1.训练时正例数据与反例数据不相等、相差很大

2.衡量分类器成功程度的指标:错误率、正确率、召回率、ROC曲线

3.处理非均衡问题的方法:数据抽样可以对分类器训练数据进行改造:欠抽样(删除样例)过抽样(复制样例)

聚类算法——K均值算法(K-means)

********************************************************************

聚类:1.基于划分的聚类:k-means、k-medoids(每个类别找一个样本来代表)、Clarans

2.基于层次的聚类:(1)自底向上的凝聚方法,比如Agnes

(2)自上而下的分裂方法,比如Diana

3.基于密度的聚类:Obsacn、Optics、Birch(CF-Tree)、Cure

4.基于网格的方法:Sting、WaveCluster

5.基于模型的聚类:EM、SOM、Cobweb

********************************************************************

k-means:优点:.容易实现,……

缺点:.容易局部收敛……

关联规则分析(一):Apriori

关联规则挖掘(二):频繁模式树FP-growth

推荐系统

1.基于内容的实现:KNN等

2.基于协同滤波(CF)实现:SVD → pLSA(从LSA发展而来,由SVD实现)、LDA、GDBT

pLSA

LDA主题模型

Regularization(正则化)

异常检测

EM算法、HMM(隐马尔科夫模型)



二、kNN算法

1.算法流程

(1)计算抑制类别数据集中的点与当前点的距离(欧氏距离、马氏距离等)

(2) 按照距离递增依次排序

(3) 选取当前点距离最小的k个点

(4) 确定前k个点所在类别出现频率

(5) 返回前k个点出现频率最高的类别作为当前点的预测分类

注意:

l  关于k值个数的选择,其取决于数据。一般地,在分类时,较大k值可以减小噪声的影响,但会使类别界限变得模糊。

Ø  好的k值可以通过各种启发式技术来获取(eg.交叉验证)

Ø 
噪声和非相关性特征向量的存在会使k近邻算法的准确性减小

l  近邻算法具有较强的一致性结果,随着数据趋于无线,算法的错误率不会超过贝叶斯算法错误率的2倍。对于一些好的k值,k近邻保证错误率不会超过贝叶斯理论误差率。

l  关于流程中距离计算:欧式距离和马氏距离

2.优缺点、数据类型

优点:精度高,对异常值不敏感,无数据输入假定。

1.可以用作分类回归

2.可以用作线性分类非线性分类

3.训练时间复杂度O(n)

4.准确度高,对数据没有假设,对离群点outliner不敏感

缺点:计算复杂度高,空间复杂度高

1.计算量大

2.样本不均衡问题(即:有时类样本很多,有时类样本很少)

3.需要大量内存

数据类型:数值型、标称型

3.应用场景

分类、回归。

线性分类、非线性分类

【机器学习】k近邻算法(kNN)的更多相关文章

  1. k近邻算法(KNN)

    k近邻算法(KNN) 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别. from sklearn.model_selection ...

  2. 机器学习(四) 分类算法--K近邻算法 KNN (上)

    一.K近邻算法基础 KNN------- K近邻算法--------K-Nearest Neighbors 思想极度简单 应用数学知识少 (近乎为零) 效果好(缺点?) 可以解释机器学习算法使用过程中 ...

  3. 机器学习(四) 机器学习(四) 分类算法--K近邻算法 KNN (下)

    六.网格搜索与 K 邻近算法中更多的超参数 七.数据归一化 Feature Scaling 解决方案:将所有的数据映射到同一尺度 八.scikit-learn 中的 Scaler preprocess ...

  4. 一看就懂的K近邻算法(KNN),K-D树,并实现手写数字识别!

    1. 什么是KNN 1.1 KNN的通俗解释 何谓K近邻算法,即K-Nearest Neighbor algorithm,简称KNN算法,单从名字来猜想,可以简单粗暴的认为是:K个最近的邻居,当K=1 ...

  5. [机器学习] k近邻算法

    算是机器学习中最简单的算法了,顾名思义是看k个近邻的类别,测试点的类别判断为k近邻里某一类点最多的,少数服从多数,要点摘录: 1. 关键参数:k值 && 距离计算方式 &&am ...

  6. Python3入门机器学习 - k近邻算法

    邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一.所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代 ...

  7. 机器学习--K近邻 (KNN)算法的原理及优缺点

    一.KNN算法原理 K近邻法(k-nearst neighbors,KNN)是一种很基本的机器学习方法. 它的基本思想是: 在训练集中数据和标签已知的情况下,输入测试数据,将测试数据的特征与训练集中对 ...

  8. 《机器学习实战》---第二章 k近邻算法 kNN

    下面的代码是在python3中运行, # -*- coding: utf-8 -*- """ Created on Tue Jul 3 17:29:27 2018 @au ...

  9. k近邻算法(knn)的c语言实现

    最近在看knn算法,顺便敲敲代码. knn属于数据挖掘的分类算法.基本思想是在距离空间里,如果一个样本的最接近的k个邻居里,绝大多数属于某个类别,则该样本也属于这个类别.俗话叫,"随大流&q ...

  10. 最基础的分类算法-k近邻算法 kNN简介及Jupyter基础实现及Python实现

    k-Nearest Neighbors简介 对于该图来说,x轴对应的是肿瘤的大小,y轴对应的是时间,蓝色样本表示恶性肿瘤,红色样本表示良性肿瘤,我们先假设k=3,这个k先不考虑怎么得到,先假设这个k是 ...

随机推荐

  1. Redis相关

    Redis 持久化 1 why 数据需要持久化,当内存数据库使用的情况 防止缓存失效时候的雪崩效应 2 how 两种方式,快照和日志(aof)方式,各有优缺点. Redis的缓存失效策略 1 what ...

  2. lua OOP实现对象的链式调用

    数学中的链式法则 http://sx.zxxk.com/ArticleInfo.aspx?InfoID=164649 链式微分法则:实数运算的链式法则:对数运算的链式法则:平行公理的链式法则:向量运算 ...

  3. BootstrapValidator验证表单用法

    引入文件 <link rel="stylesheet" href="css/bootstrap.css"/> <link rel=" ...

  4. CocoStudio教程三:认识并利用CocoStudio的果实 运行2.2.1版本

    原文:CocoStudio教程三:认识并利用CocoStudio的果实 原文用的老版,用2.21搞起来好像有些问题,然后自己摸索了下,有的都是乱找的方法,只求能运行... 1,原文的CCJsonRea ...

  5. oracle 查询最近执行过的 SQL语句

    oracle 查询最近执行过的 SQL语句 select sql_text,last_load_time from v$sql order by last_load_time desc;   SELE ...

  6. PRMonitor,学习SSDT HOOK的好例子,学习的内核HOOK的好例子(注意右边有一堆类似的例子)

    http://download.csdn.net/detail/bolong5240/1060645

  7. python制作安装包(setup.py)

    1.制作setup.py from distutils.core import setup setup(name='Myblog', version='1.0', description='My Bl ...

  8. c#wiform中KeyDown事件

    当首次按下键盘上某个键时发生事件. 例如 private void Form1_KeyDown(object sender, KeyEventArgs e) { if (e.KeyCode == Ke ...

  9. jquery向列表添加新元素

    $(function () { $('#btn').click(function () { $('ol').append('<li>'+$('#text').val()+'</li& ...

  10. .NET 使用 Azure Blob 存储图片或文件

    使用的是VS2017 一.先使用 NuGet 获取这两个包. 执行以下步骤: 在“解决方案资源管理器”中,右键单击你的项目并选择“管理 NuGet 包”. 1.在线搜索“WindowsAzure.St ...