机器学习实战1-K均值
本例来源于github项目:https://github.com/jakevdp/sklearn_pycon2015/blob/master/notebooks/04.2-Clustering-KMeans.ipynb
算法说明:
K-means算法是一种无监督聚类算法,即在没有标签的数据集中找出同类。k-means算法是一种简单的迭代型聚类算法,采用距离作为相似性指标,从而发现给定数据集中的K个类,且每个类的中心是根据类中所有值的均值得到,每个类用聚类中心来描述。对于给定的一个包含n个d维数据点的数据集X以及要分得的类别K,选取欧式距离作为相似度指标,聚类目标是使得各类的聚类平方和最小,即最小化:
结合最小二乘法和拉格朗日原理,聚类中心为对应类别中各数据点的平均值,同时为了使得算法收敛,在迭代过程中,应使最终的聚类中心尽可能的不变。
算法步骤:
选取数据空间中的K个对象作为初始中心,每个对象代表一个聚类中心;
对于样本中的数据对象,根据它们与这些聚类中心的欧氏距离,按距离最近的准则将它们分到距离它们最近的聚类中心(最相似)所对应的类;
更新聚类中心:将每个类别中所有对象所对应的均值作为该类别的聚类中心,计算目标函数的值;
判断聚类中心和目标函数的值是否发生改变,若不变,则输出结果,若改变,则返回。
1. 初体验
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
import seaborn as sns
from sklearn.datasets.samples_generator import make_blobs
from sklearn.cluster import KMeans # 1. 利用本身自带库进行数据准备
sns.set()
x,y=make_blobs(n_samples=300,centers=4,random_state=0,cluster_std=0.6)
# plt.scatter(x[:,0],x[:,1],s=50)
# plt.show() # 2. 利用sklearn中的kmeans进行聚类
est=KMeans(4)
est.fit(x)
y_kmeans=est.predict(x)
plt.scatter(x[:,0],x[:,1],c=y_kmeans,s=50,cmap='rainbow')
plt.show()
输出结果:

注意:
该算法的收敛性不保证,因此,scikit-learn默认使用大量随机初始化并找到最佳结果。
必须先设置簇的数量,还有其他算法能解决这个问题。
2. K-means在数字中的应用
中心思想:给定一张满是手写数字的图片,sklearn中已经给出各种类型数据、标签等,利用K-means对其进行聚类,并检查准确率。
2.1 数据集导入
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
import seaborn as sns
from sklearn.cluster import KMeans
from sklearn.datasets import load_digits digits=load_digits()
# 1.查看数据集属性
print(digits.keys())
print(digits.images[0])
print(digits.data[0].reshape(8,8))
for i in range(20):
ax = plt.subplot(5, 4, 1 + i, xticks=[], yticks=[])
ax.imshow(digits.data[i].reshape(8,8),cmap=plt.cm.binary)
plt.show()
查看前20(总1797个样本)个手写图片如下:

2.2 聚类
解析:本例程序使用digits.data数据,其为1797*64数组,其中每个一维数组(64)保存的是灰度值,将其转换为8*8的二维数组,显示出的则是手写数字。本例对1797个数据簇进行聚类,最后得到十个中心簇,显示为0~9不同数字,程序如下。
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
import seaborn as sns
from sklearn.cluster import KMeans
from sklearn.datasets import load_digits digits=load_digits()
# 2. 聚类
est=KMeans(n_clusters=10)
clusters=est.fit_predict(digits.data)
print(est.cluster_centers_.shape)
fig=plt.figure(figsize=(8,3))
for i in range(10):
ax=fig.add_subplot(2,5,1+i,xticks=[],yticks=[])
ax.imshow(est.cluster_centers_[i].reshape((8,8)),cmap=plt.cm.binary)
plt.show()
输出结果:

我们可以看见即使没有标签,K-means也能识别出
2.3 修订标签
from scipy.stats import mode
# 3.修订每个簇中标签与实际情况不同的数
labels=np.zeros_like(clusters)
print(len(labels))
for i in range(10):
mask=(clusters==i)
labels[mask]=mode(digits.target[mask])[0]#mode 取众数
2.4 PCA可视化
PCA:主成分分析法
from sklearn.decomposition import PCA
from sklearn.metrics import accuracy_score # 4.PCA可视化
X=PCA(2).fit_transform(digits.data)#将多维数据降成二维可视化
kwargs=dict(cmap=plt.cm.get_cmap('rainbow',10),
edgecolor='none',alpha=0.6)
fig, ax = plt.subplots(1, 2, figsize=(8, 4))
ax[0].scatter(X[:, 0], X[:, 1], c=labels, **kwargs)
ax[0].set_title('learned cluster labels')
ax[1].scatter(X[:, 0], X[:, 1], c=digits.target, **kwargs)
ax[1].set_title('true labels')
plt.show()
print(accuracy_score(digits.target, labels))
输出结果:

正确率:0.7952142459654981
2.5 混淆矩阵
利用混淆矩阵,对预测进行分析,观察一下哪个值最容易出错。
from sklearn.metrics import confusion_matrix # 5.混淆矩阵分析
print(confusion_matrix(digits.target,labels))
plt.imshow(confusion_matrix(digits.target,labels),cmap='Blues',interpolation='nearest')
plt.colorbar()
plt.grid(False)
plt.ylabel('true')
plt.xlabel('predicted')
plt.show()
输出结果:

图中可明显看出1和8的正确率最低,最易混淆。
3. K-means色彩压缩的应用
聚类的一个有趣应用是彩色图像压缩。例如,假设您有一个包含数百万种颜色的图像。在大多数图像中,大量的颜色将被使用,相反,大量的像素将具有相似或相同的颜色。
本例中心思想:将很多种的RGB值缩减为64种,相近的RGB值聚合成簇,进而达到压缩目的。
3.1 导入图像
import matplotlib.pyplot as plt
from sklearn.datasets import load_sample_image # 1.导入图片
china=load_sample_image("china.jpg")
plt.imshow(china)
plt.show()
print(china.shape)
输出结果:(427, 640, 3)

我们可以将此图像设想为三维色彩(RGB)空间中的点云。我们将重新缩放颜色,使它们介于0和1之间,然后将数组重新整形为典型的scikit-learn输入。
3.2 压缩图像
from sklearn.cluster import KMeans
import seaborn as sns
import numpy as np # 2.压缩图像
image=china[::3,::3] # 这里的3指步长,每个三个数取一次,减少运算量,同时也是压缩图片的一个操作
# print(image.shape)
x=(image/255.0).reshape(-1,3) # 3列,未知行数
n_colors=64 # 图片的颜色种类为64种 model = KMeans(n_colors) # k-means算法
labels = model.fit_predict(x) # 将图片数据分为64簇,用labels存放(0-63 64个标签号)
colors = model.cluster_centers_ # colors存放64簇的64个中心值(颜色值)
new_image = colors[labels].reshape(image.shape) # 将每个打上标签的重新赋予与标签对应的中心值,并还原成原数组形态
new_image = (255 * new_image).astype(np.uint8) # 恢复0-255的rgb表示方式 with sns.axes_style('white'): # 对比两张图片显示
plt.figure()
plt.imshow(image)
plt.title('input')
plt.figure()
plt.imshow(new_image)
plt.title('{0} colors'.format(n_colors))
plt.show()


机器学习实战1-K均值的更多相关文章
- 机器学习实战python3 K近邻(KNN)算法实现
台大机器技法跟基石都看完了,但是没有编程一直,现在打算结合周志华的<机器学习>,撸一遍机器学习实战, 原书是python2 的,但是本人感觉python3更好用一些,所以打算用python ...
- 机器学习实战笔记-10-K均值聚类
K-均值聚类 优点:易实现.缺点:可能收敛到局部最小值,大规模数据集上收敛较慢:适用于数值型数据. K-均值聚类(找到给定数据集的k个簇) 算法流程 伪代码: 创建k个点作为起始质心(经常是随机选择) ...
- 《机器学习实战》-k近邻算法
目录 K-近邻算法 k-近邻算法概述 解析和导入数据 使用 Python 导入数据 实施 kNN 分类算法 测试分类器 使用 k-近邻算法改进约会网站的配对效果 收集数据 准备数据:使用 Python ...
- 02机器学习实战之K近邻算法
第2章 k-近邻算法 KNN 概述 k-近邻(kNN, k-NearestNeighbor)算法是一种基本分类与回归方法,我们这里只讨论分类问题中的 k-近邻算法. 一句话总结:近朱者赤近墨者黑! k ...
- 机器学习实战笔记--k近邻算法
#encoding:utf-8 from numpy import * import operator import matplotlib import matplotlib.pyplot as pl ...
- 《机器学习实战》——K近邻算法
三要素:距离度量.k值选择.分类决策 原理: (1) 输入点A,输入已知分类的数据集data (2) 求A与数据集中每个点的距离,归一化,并排序,选择距离最近的前K个点 (3) K个点进行投票,票数最 ...
- 机器学习实战5:k-means聚类:二分k均值聚类+地理位置聚簇实例
k-均值聚类是非监督学习的一种,输入必须指定聚簇中心个数k.k均值是基于相似度的聚类,为没有标签的一簇实例分为一类. 一 经典的k-均值聚类 思路: 1 随机创建k个质心(k必须指定,二维的很容易确定 ...
- 机器学习实战---K均值聚类算法
一:一般K均值聚类算法实现 (一)导入数据 import numpy as np import matplotlib.pyplot as plt def loadDataSet(filename): ...
- 机器学习算法与Python实践之(五)k均值聚类(k-means)
机器学习算法与Python实践这个系列主要是参考<机器学习实战>这本书.因为自己想学习Python,然后也想对一些机器学习算法加深下了解,所以就想通过Python来实现几个比较常用的机器学 ...
- 机器学习算法与Python实践之(六)二分k均值聚类
http://blog.csdn.net/zouxy09/article/details/17590137 机器学习算法与Python实践之(六)二分k均值聚类 zouxy09@qq.com http ...
随机推荐
- mysql-笔记-默认值
1 指定列的默认值 columnName int default '-1' 2 integer 列-设置自增列 也是指定默认值的方式 3 默认值必须是常量 不能使用函数.表达式---特例:timest ...
- Event-Loop In JS
原文:最后一次搞懂 Event Loop 自打 ES 6 推出 Promise 改善了 js 的异步编程之后,eventloop 也越来越多地出现在视野当中.借用大佬们的话:“Event Loop 是 ...
- linux 系统工具图
- [洛谷P1842] 奶牛玩杂技
题目类型:贪心+证明,经典题 传送门:>Here< 题意:有\(N\)头奶牛,每个奶牛有一个重量\(W[i]\),力量\(S[i]\).定义每个奶牛的压扁程度为排在它前面的所有奶牛的总量之 ...
- ubuntu配置ssh连接方式
pgadmin4 配置界面的password指的是数据库用户的密码, 不是服务器的密码. pg数据库 1.确保远程服务器开放相应端口.这个是在防火墙设置. 2.pg数据库服务器允许外部ip访问, 默认 ...
- 记录一次有意思的XSS过滤绕过2
前几天在漏洞挖掘中遇到个xss,感觉绕过过程蛮有意思的,写篇文章记录下. 接下里是我对这个xss详细的分析和绕过 存在问题站点http://******/index/appInfo?appId=784 ...
- linux下编译visp库
#下载源码git clone "https://github.com/lagadic/visp.git"#work目录mkdir work#build目录mkdir build#c ...
- 浅析Spring
一:什么是Spring Spring是一个开源的框架,是为了解决企业应用程序开发复杂性由RodJohnson创建的.虽然Spring是为企业级应用推出的,但是所有的Java系统开发都可以使用Sprin ...
- js实现一个长页面中的图片懒加载即滚动到其位置才加载
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...
- 安卓上用Termux终端模拟器安装MC Forge 1.12.2服务器!
本教程重度新手向,大神勿喷(因为楼主本人就是Linux小白)! 为了让教程合乎简约至上的原则,将不在基本操作上赘述 测试环境:酷派大神Note3 Android5.0 2GBRAM 未root 截图是 ...