k-means算法初识

基础知识：

K-means聚类算法

聚类，简单地说就是把相似的东西分到一组。同 Classification (分类)不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”。 理想情况下，一个 classifier 会从它得到的训练集中进行“学习”， 从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。

而在聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起，因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在 Machine Learning 中被称作 unsupervised learning (无监督学习)。

经常接触到的聚类分析，一般都是数值聚类，一种常见的做法是同时提取 N 种特征，将它们放在一起组成一个 N 维向量，从而得到一个从原始数据集合到 N 维向量空间的映射——你总是需要显式地或者隐式地完成这样一个过程，然后基于某种规则进行分类，在该规则下，同组分类具有最大的相似性。

http://blog.sina.com.cn/s/blog_62186b46010145ne.html

K-means聚类算法的基本思想是初识随机给定K个簇中心，按照最邻近原则把分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。

简单来说：也就是先给定一个簇心，然后把所有数据进行一个大概的划分，属于哪一类就分到那里去；之后呢，通过不断地计算，确定新的簇心，直到簇心的移动距离小于某个给定的值。

K-means聚类算法主要分为三个步骤：
1、第一步是为待聚类的点寻找聚类中心

2、第二步是计算每个点到聚类中心的距离，将每个点聚类到离该点最近的聚类中去

3、第三步是计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心

反复执行2、3，直到聚类中心不再进行大范围移动或者聚类次数达到要求为止。

下图展示了对n个样本点进行K-means聚类的效果，这里k取2：

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html
(a)未聚类的初始点集
(b)随机选取两个点作为聚类中心
(c)计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去
(d)计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心
(e)重复(c),计算每个点到聚类中心的距离，并聚类到离该点最近的聚类中去
(f)重复(d),计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心

Matlab实现：

详见：http://www.oschina.net/code/snippet_176897_10239

执行结果：

>> Kmeans
6 iterations, total sum of distances = 204.821
10 iterations, total sum of distances = 205.886
16 iterations, total sum of distances = 204.821
9 iterations, total sum of distances = 205.886
........
9 iterations, total sum of distances = 205.886
8 iterations, total sum of distances = 204.821
8 iterations, total sum of distances = 204.821
14 iterations, total sum of distances = 205.886
14 iterations, total sum of distances = 205.886
6 iterations, total sum of distances = 204.821

Ctrs =
    1.0754   -1.0632
    1.0482    1.3902
   -1.1442   -1.1121

SumD =
   64.2944
   63.5939
   76.9329

聚类效果：

Matlab R2012a Documentation：

http://www.mathworks.com.sixxs.org/help/toolbox/stats/kmeans.html?nocookie=true
stackoverflow：kmeans example in matlab does not run：

http://stackoverflow.com/questions/8411117/kmeans-example-in-matlab-does-not-run

资料来自：http://blog.sina.com.cn/s/blog_62186b46010145ne.html