机器学习（一） K-means聚类

聚类算法K-means是硬聚类算法，是目标函数聚类算法的代表。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。其核心思想是：随机选定K(聚类数)个初始中心，然后根据这K个初始中心，将N个数据点根据欧氏距离进行聚类，每个数据点离哪个初始中心更近就归于此初始中心一类，直至聚类完成，再计算每个聚类的均值作为新的中心，然后再根据欧氏距离进行聚类，如此迭代下去，直至收敛（即重新计算的中心与前一次计算的中心位置一致）。

其算法过程如下：

1. 从数据集N个数据中选择K个初始聚类中心；
2. 对剩余的（N-K）个数据计算到K个初始聚类中心的欧氏距离，并将其归类于最小距离的中心的类；
3. 对K个类重新进行计算，得到迭代后的聚类中心；
4. 迭代步骤2~3直到聚类中心不再变化或者变化小于设置的阈值为止。

算法优缺点：

优点：

1. 算法快速、简单;
2. 对大数据集有较高的效率并且是可伸缩性的;
3. 时间复杂度近于线性，而且适合挖掘大规模数据集。K-Means聚类算法的时间复杂度是O(nkt) ,其中n代表数据集中对象的数量，t代表着算法迭代的次数，k代表着簇的数目。

缺点：

1. 聚类数K是事先给定的，然而有时候我们并不知道k,只能凭经验给出。
2. k-means需要初始聚类中心，然而传统k-means的初始中心是随机指定的。随机指定初始中心会导致聚类的迭代次数增加，聚类错误（局部最优而非全局最优）等等后果。
3. 易受异常点干扰，也会导致迭代次数增加。