K均值算法
为了便于可视化,样本数据为随机生成的二维样本点。
from matplotlib import pyplot as plt
import numpy as np
import random
def kmeans(a, k):
def randomChoose(a, k):
# 从数组a中随机选取k个元素,返回一个list
args = np.arange(len(a)) # 元素下标
for i in range(k):
x = np.random.randint(i, len(a))
args[x], args[i] = args[i], args[x] # 交换两个数
return a[args[:k]] # 返回前k个元素
def tag(a, center):
dis = np.empty((len(a), len(center)),dtype=np.float)
for i in range(len(a)):
for j in range(len(center)):
dis[i][j] = np.linalg.norm(a[i] - center[j])
label = np.argmin(dis, axis=1)
return label
def get_center(a, label,k):
centers = np.empty((k,a.shape[1]),dtype=np.float)
for i in range(len(centers)):
centers[i] = np.mean(a[label == i],axis=0)
return centers
centers = randomChoose(a, k)
last_label = None
label = tag(a, centers)
while last_label is None or np.any(last_label != label):
# print(centers)
# input()
last_label = label
centers = get_center(a, label,k)
label=tag(a,centers)
return label,centers
a = np.random.random((100, 2))
print(a)
c=['b', 'g', 'r', 'c', 'm', 'y', 'k', 'w']
k=len(c)
label,centers=kmeans(a,k)
a=a.T
fig,ax=plt.subplots(3,3)
ax=ax.reshape(-1)
#需要注意,如果不把全局画出来,看上去聚类效果很差,因为matplot自动缩放坐标轴
for i in range(k):
x,y=a[:,label==i]
ax[i].scatter(x,y,c=c[i])
ax[i].scatter(centers[:,0],centers[:,1],c='r')
ax[-1].set_title("Centers")
ax[-1].scatter(centers[:,0],centers[:,1])
plt.show()
K均值算法有很多可以变化的地方:
- 在求新的聚类中心时,可以直接修改旧的聚类中心
这样类似于迭代法求解线性方程组时的“高斯-赛德尔”迭代法。
这样也可以节省一点点空间,不过没必要。 - 点之间距离的计算
可以用差向量的范数,也可以用余弦距离。
K均值算法可以用于分类。
首先指定聚类个数K,执行聚类算法得到K个聚类,给这K个聚类进行打标签(也就是进行投票,这相当于K近邻算法的投票阶段),预测时计算测试样本离哪个聚类最近,就表示该测试样本的类别。
这样做的好处是,吸收了K近邻的优点,并且降低了时间复杂度(K近邻需要计算测试样本与N个训练样本之间的距离,K均值分类只需要计算测试样本与K个聚类中心之间的距离)。
特别地,当聚类个数K=N的时候,K均值分类就变成了K近邻分类。
下面分析一下KMeans的时空复杂度。
N个样本,每个样本M个属性,聚类个数为K
空间复杂度为O(K*M),只需要存储下来中心点即可
时间复杂度为
- 更新各点的label,复杂度为O(NKM),需要计算N*K次长度为M的向量模长
- 重新求中心距离,复杂度为O(N*M),需要计算N次长度为M的向量之和
所以,总的时间复杂度为O(NKM)
K均值算法的更多相关文章
- 聚类算法:K-means 算法(k均值算法)
k-means算法: 第一步:选$K$个初始聚类中心,$z_1(1),z_2(1),\cdots,z_k(1)$,其中括号内的序号为寻找聚类中心的迭代运算的次序号. 聚类中心的向量值可任意设 ...
- 一句话总结K均值算法
一句话总结K均值算法 核心:把样本分配到离它最近的类中心所属的类,类中心由属于这个类的所有样本确定. k均值算法是一种无监督的聚类算法.算法将每个样本分配到离它最近的那个类中心所代表的类,而类中心的确 ...
- 聚类--K均值算法:自主实现与sklearn.cluster.KMeans调用
1.用python实现K均值算法 import numpy as np x = np.random.randint(1,100,20)#产生的20个一到一百的随机整数 y = np.zeros(20) ...
- 【机器学习】K均值算法(I)
K均值算法是一类非监督学习类,其可以通过观察样本的离散性来对样本进行分类. 例如,在对如下图所示的样本中进行聚类,则执行如下步骤 1:随机选取3个点作为聚类中心. 2:簇分配:遍历所有样本然后依据每个 ...
- Bisecting KMeans (二分K均值)算法讲解及实现
算法原理 由于传统的KMeans算法的聚类结果易受到初始聚类中心点选择的影响,因此在传统的KMeans算法的基础上进行算法改进,对初始中心点选取比较严格,各中心点的距离较远,这就避免了初始聚类中心会选 ...
- KMeans (K均值)算法讲解及实现
算法原理 KMeans算法是典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大.该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标 ...
- 聚类分析K均值算法讲解
聚类分析及K均值算法讲解 吴裕雄 当今信息大爆炸时代,公司企业.教育科学.医疗卫生.社会民生等领域每天都在产生大量的结构多样的数据.产生数据的方式更是多种多样,如各类的:摄像头.传感器.报表.海量网络 ...
- K均值算法-python实现
测试数据展示: #coding:utf-8__author__ = 'similarface''''实现K均值算法 算法摘要:-----------------------------输入:所有数据点 ...
- spark Bisecting k-means(二分K均值算法)
Bisecting k-means(二分K均值算法) 二分k均值(bisecting k-means)是一种层次聚类方法,算法的主要思想是:首先将所有点作为一个簇,然后将该簇一分为二.之后选择能最大程 ...
随机推荐
- LynxFly科研小四轴横空出世,开源,F4,WIFI --(转)
首先是一大堆的感谢,太多人的帮助,感谢不完了----首先要说明,这个PCB工程的出现要感谢论坛上的台湾大哥 john800422 开源了自己的飞控板的工程文件,我这样的没啥基础的小弟们才能学会如何制板 ...
- HTTPS证书撤销
如果浏览器信息被拦截,可以选择清洗掉之前的证书 关闭浏览器,在CMD中输入命令 certutil -urlcache * certutil -urlcache * delete certutil -u ...
- Oracle整形转字符串to_char()
使用to_char()将NUMBER转换为字符串: select to_char(AW_PROCESSSTATUS ) as PROCESSSTATUS from A
- OpenGL ES 3.0顶点着色器(二)
#version es uniform mat4 u_mvpMatrix; in vec4 a_position; in vec4 a_color;out vec4 v_color;void main ...
- GitHub万星项目:黑客成长技术清单
最近有个GitHub项目很火,叫"Awesome Hacking",这个项目是由Twitter账号@HackwithGithub 维护,喜欢逛Twitter的安全爱好者应该了解,在 ...
- ThinkPHP3.2多域名 Virtual .htaccess 匹配 RewriteCond %{HTTP_HOST}
<Files *> Options -Indexes </Files> <IfModule mod_headers.c> <FilesMatch " ...
- PAT《数据结构学习与实验指导》实验项目集 2-09 2-10 2-11 2-12 2-13
pat 2-09 装箱问题模拟 #include<cstdio> #include<set> #include<vector> using namespace st ...
- Android 如何预置APK M
前言 欢迎大家我分享和推荐好用的代码段~~ 声明 欢迎转载,但请保留文章原始出处: CSDN:http://www.csdn.net ...
- Lanczos Algorithm and it's Parallelization Stragegy
由于写了降维的一个系列算法分析,本来以为对这个Lanczos算法会理解一点,但是还是不知道讲了什么,最多的就是会如何调用,然后出结果,所以就翻译官网的相关内容.本篇翻译来自Dimensional Re ...
- Centos下安装gcc
虚拟机安装了一个CentOS7,发现没有gcc,通过以下命令安装: yum install gcc yum install gcc-c++