Python机器学习算法 — K-Means聚类

K-Means简介

     K-Means（K-均值聚类）算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。

       K-Means算法属于非监督学习(Unsupervised Learning)。

该算法认为：

      簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。

距离公式

      该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

K-Means的原理

K-Means的原理：

1）从D中随机取k个元素，作为k个簇的各自的中心；

2）分别计算剩下的元素到k个簇中心的相异度，将这些元素分别划归到相异度最低的簇；

3）根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数

4）将D中全部元素按照新的中心重新聚类；

5）重复第4步，直到每个簇的中心基本不再变化；

6）将结果输出。

K-Means的说明

如图所示，数据样本用圆点表示，每个簇的中心点用叉叉表示：

      (a)刚开始时是原始数据，杂乱无章，没有label，看起来都一样，都是绿色的。

      (b)假设数据集可以分为两类，令K=2，随机在坐标上选两个点，作为两个类的中心点。

      (c-f)演示了聚类的两种迭代：

          先划分，把每个数据样本划分到最近的中心点那一簇；

          划分完后，更新每个簇的中心，即把该簇的所有数据点的坐标加起来去平均值。

      这样不断进行”划分—更新—划分—更新”，直到每个簇的中心不在移动为止。

K-Means代码实现

#使用K-Means算法聚类消费行为特征数据

import pandas as pd

#参数初始化
inputfile = 'C:/Users/Lsqin/Desktop/consumption_data.xls' #销量及其他属性数据
outputfile = 'C:/Users/Lsqin/Desktop/data_type.xls' #保存结果的文件名
k = 3 #聚类的类别
iteration = 500 #聚类最大循环次数
data = pd.read_excel(inputfile, index_col = 'Id') #读取数据
data_zs = 1.0*(data - data.mean())/data.std() #数据标准化

from sklearn.cluster import KMeans
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4
model.fit(data_zs) #开始聚类

#简单打印结果
r1 = pd.Series(model.labels_).value_counts() #统计各个类别的数目
r2 = pd.DataFrame(model.cluster_centers_) #找出聚类中心
r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns = list(data.columns) + [u'类别数目'] #重命名表头
print(r)

#详细输出原始数据及其类别
r = pd.concat([data, pd.Series(model.labels_, index = data.index)], axis = 1)  #详细输出每个样本对应的类别
r.columns = list(data.columns) + [u'聚类类别'] #重命名表头
r.to_excel(outputfile) #保存结果

def density_plot(data): #自定义作图函数
  import matplotlib.pyplot as plt
  plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
  plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
  p = data.plot(kind='kde', linewidth = 2, subplots = True, sharex = False)
  [p[i].set_ylabel(u'密度') for i in range(k)]
  plt.legend()
  return plt

pic_output = '../tmp/pd_' #概率密度图文件名前缀
for i in range(k):
  density_plot(data[r[u'聚类类别']==i]).savefig(u'%s%s.png' %(pic_output, i))