机器学习： K-means 聚类

今天介绍机器学习里常见的一种无监督聚类算法，K-means。我们先来考虑在一个高维空间的一组数据集，S={x1,x2,...,xN}" role="presentation" style="position: relative;">S={x1,x2,...,xN}S={x1,x2,...,xN}， x∈RD" role="presentation" style="position: relative;">x∈RDx∈RD，假设我们需要把这组数据聚集长 K" role="presentation" style="position: relative;">KK 类，不失一般性，我们可以假设每个聚好的类都有一个中心 μk" role="presentation" style="position: relative;">μkμk，如果聚类完成的话，那么数据集中的每一个点 x" role="presentation" style="position: relative;">xx 会有一个中心 μk" role="presentation" style="position: relative;">μkμk 离这个点的距离最近。可以构造一个变量 rnk={0,1}" role="presentation" style="position: relative;">rnk={0,1}rnk={0,1} 表示变量 x" role="presentation" style="position: relative;">xx 离第 k" role="presentation" style="position: relative;">kk 类最近 rnk=1" role="presentation" style="position: relative;">rnk=1rnk=1，离其他的类更远 rnj=0,j≠k" role="presentation" style="position: relative;">rnj=0,j≠krnj=0,j≠k，那么我们可以定义如下的目标函数：

J=∑n=1N∑k=1Krnk||xn−μk||2" role="presentation">J=∑n=1N∑k=1Krnk||xn−μk||2J=∑n=1N∑k=1Krnk||xn−μk||2

这个目标函数就是要求 rnk,μk" role="presentation" style="position: relative;">rnk,μkrnk,μk，使得目标函数 J" role="presentation" style="position: relative;">JJ 的值最小。

为了解决上面这个问题，因为要同时求 rnk,μk" role="presentation" style="position: relative;">rnk,μkrnk,μk 两个变量，所以我们会采取分步迭代的方法，当我们求 rnk" role="presentation" style="position: relative;">rnkrnk 可以让 μk" role="presentation" style="position: relative;">μkμk 固定不动，当我们求 μk" role="presentation" style="position: relative;">μkμk 的时候，可以让 rnk" role="presentation" style="position: relative;">rnkrnk 固定不动。

很显然，当我们求 rnk" role="presentation" style="position: relative;">rnkrnk，只有比较每一个 xn" role="presentation" style="position: relative;">xnxn 与 μk" role="presentation" style="position: relative;">μkμk 的距离，选择距离最近的一个类即可:

rnk=1if=arg⁡minj||xn−μj||2" role="presentation">rnk=1if=argminj||xn−μj||2rnk=1if=arg⁡minj||xn−μj||2

而求 μk" role="presentation" style="position: relative;">μkμk 的时候，我们可以 让 rnk" role="presentation" style="position: relative;">rnkrnk 固定不动， 对目标函数 J" role="presentation" style="position: relative;">JJ 求导，

2∑n=1Nrnk(xn−μk)=0" role="presentation">2∑n=1Nrnk(xn−μk)=02∑n=1Nrnk(xn−μk)=0

从而我们可以求得 μk" role="presentation" style="position: relative;">μkμk :

μk=∑nrnkxn∑nrnk" role="presentation">μk=∑nrnkxn∑nrnkμk=∑nrnkxn∑nrnk

通过这样的反复迭代，直到所有的 rnk,μk" role="presentation" style="position: relative;">rnk,μkrnk,μk 都不再变化。