K-means算法的实现

K-MEANS算法是一种经典的聚类算法，在模式识别得到了广泛的应用。算法中有两个关键问题需要考虑：一是如何评价对象的相似性，通常用距离来度量，距离越近越相似；另外一个是如何评价聚类的效果，通常采用误差平方和函数来作为评价准则。

算法过程：

输入：簇的数目K和包含n个对象的数据库。

输出：K个簇，使平方误差和最小

算法步骤：

（1):为每个聚类确定一个初始聚类中心，这样就有K个初始聚类中心

（2:将样本集中的样本按照最小距离原则分配到最邻近聚类

（3);使用每个聚类中的样本均值作为新的聚类中心

(4):重复步骤(2)和(3),直到聚类中心不在变化

(5):结束，得到K个聚类

流程图

代码实现

 import numpy
 import random
 import codecs
 import copy
 import re
 import matplotlib.pyplot as plt
 #其次计算向量vecl和向量vec2之间的欧式距离
 def calcuDistance(vec1,vec2):
     return numpy.sqrt(numpy.sum(numpy.square(vec1-vec2)))
 #载入数据测试数据集，数据由文本保存，为二维坐标
 def loadDataSet():
     inFile = "F:/testSet.txt"  #数据集文件
     inDate = codecs.open(inFile,'r','utf-8').readlines()
     dataSet = list()
     for line in inDate:
         line = line.strip()
         strList = re.split('[ ]+',line) #删除多余的空格
                                         #print strList[0] ,strList[1]
         numList = list()
         for item in strList:
             num = float(item)
             numList.append(num)

         dataSet.append(numList)
     return dataSet

 #初始化K个聚类中心，随机获取
 def initCentroids(dataSet,k):
     return random.sample(dataSet,k)#从dataSe中随机获取K个数据项返回
 #对每个属于dataSet的item，计算item与centrodList中K个聚类中心的欧式距离，找出
 #距离最小的，并将item加入相应的簇中
 def minDistance(dataSet,centroidList):
     clusterDict = dict()  #用dict来保存聚类的结果
     for item in dataSet:
         vec1 = numpy.array(item) #转换成array形式
         flag = 0     #簇分类标记，记录与相应的簇距离最近的那个簇
         minDis = float("inf") #初始化为最大值
         for i in range(len(centroidList)):
             vec2 = numpy.array(centroidList[i])
             distance = calcuDistance(vec1,vec2) #计算相应的欧拉距离
             if distance < minDis:
                 minDis = distance
                 flag = i  #循环结束时，flag保存的是与当前item距离最近的那个簇标记
         if flag not in clusterDict.keys():#簇标记不存在，进行初始化
             clusterDict[flag] = list()
             clusterDict[flag].append(item) #加入相应的类别中
         return clusterDict

 #计算每列的均值，即找到聚类中心
 def getCentroids(clusterDict):
     #得到K个质心
     centroidList = list()
     for key in clusterDict.keys():
         centroid = numpy.mean(numpy.array(clusterDict[key]),axis=0)
         centroidList.append(centroid)
     return numpy.array(centroidList).tolist()
 #计算簇集合间的均方误差，将簇类中各个向量与质心的距离进行累加求和
 def getVar(clusterDict,centroidList):
     sum = 0.0
     for key in clusterDict.keys():
         vec1 = numpy.array(centroidList[key])
         distance = 0.0
         for item in clusterDict[key]:
             vec2 = numpy.array(item)
             distance += calcuDistance(vec1,vec2)
         sum += distance
     return sum

 #展示聚类结果
 def showCluster(centroidList,clusterDict):
     colorMark = ['or','ob','og','ok','oy','ow']
     #不同簇类的标记，'or'-->'o'代表圆形，’r'代表red，‘b’：blue
     centroidMark = ['dr','db','dg','dk','dy','dw'] #簇类中心标记同上‘d’代表菱形
     for key in clusterDict.keys():#画簇类中心点
         plt.plot(centroidList[key][0],centroidList[key][1],centroidMark[key],markersize=12)
         for item in clusterDict[key]:
             plt.plot(item[0],item[1],colorMark[key])#画簇类下的点
     plt.show()

 if __name__=='__main__':
 #    inFile = "F:/testSet.txt"  #数据集文件
     dataSet = loadDataSet() #载入数据集
     centroidList = initCentroids(dataSet,4) #初始化质心，设置K=4
     clusterDict = minDistance(dataSet,centroidList) #第一次聚类迭代
     newVar = getVar(clusterDict,centroidList) #获得均方误差值，通过新旧均方误差来获得迭代终止条件
     oldVar = -0.0001 #旧均方误差值初始化为-1
     print("------第一次迭代------")
     print( )
     print("簇类")
     for key in clusterDict.keys():
         print(key,'---->',clusterDict[key])
     print("K个均值向量：",centroidList)
     print("平方均方误差：",newVar)
     print( )
     showCluster(centroidList,clusterDict) #展示聚类结果
     k = 2
     while abs(newVar-oldVar) >= 0.0001: #当两次聚类结果小于0.0001时，迭代结束
         centroidList = getCentroids(clusterDict) #获得新的质心
         clusterDict = minDistance(dataSet,centroidList) #新的聚类结果
         oldVar = newVar
         newVar = getVar(clusterDict,centroidList)
         print("----第%d次迭代结果--------" %k)
         print( )
         print("簇类")
         for key in clusterDict.keys():
             print(key, '---->', clusterDict[key])
         print("K个均值向量：", centroidList)
         print("平方均方误差：", newVar)
         print()
         showCluster(centroidList, clusterDict)  # 展示聚类结果
         k += 1

目前，对于聚类算法的理解还不是很深刻。正在慢慢探索中。