【机器学习与R语言】11- Kmeans聚类

目录

• 1.理解Kmeans聚类
  • 1）基本概念
  • 2）kmeans运作的基本原理
• 2.Kmeans聚类应用示例
  • 1）收集数据
  • 2）探索和准备数据
  • 3）训练模型
  • 4）评估性能
  • 5）提高模型性能

1.理解Kmeans聚类

1）基本概念

• 聚类：无监督分类，对无标签案例进行分类。
• 半监督学习：从无标签的数据入手，是哦那个聚类来创建分类标签，然后用一个有监督的学习算法（如决策树）来寻找这些类中最重要的预测指标。
• kmeans聚类算法特点：

• kmeans算法涉及将n个案例中的每一个案例分配到指定k个类中的一个（指定k是为了最小化每个类内部差异，最大化类之间的差异）。
• 为避免遍历案例所有可能的组合来计算最优聚类，kemans使用了局部最优解的启发式过程，即对初始的类分配进行修正来判断是否提升了类内部的同质性。
• kmeans聚类的两个阶段：一是将案例分配到初始的k个类中；二是根据落入当前类的案例调整类的边界来更新分配。重复更新和分配多次，直到改变不会提升类的优度为止。
• 可通过尝试多次不同k的聚类分析来测试研究结果的稳健性。

2）kmeans运作的基本原理

①使用距离来分配和更新类

• 初始类中心的选择：从训练集中选择的k个随机案例来确定；或者选择发生再特征空间任意地方的随机值（而不是只在数据的观测值之间进行选择）；或者完全跳过这一步，通过将每个案例随机分配到一个类中，直接进入更新阶段。
• 选择初始类中心之后，其他的案例将分配到与其最相似，或者根据距离函数最相近的类中心。距离函数如欧氏距离、曼哈顿距离、闵可夫斯基距离等。
• 距离计算的数据必须是数值型，且需要标准化，计算的是每一个案例与每一个类中心之间的距离。
• 更新类：将初始的类中心转移到一个新的位置（“质心”，通过计算分配到当前类的各点的均值来获得）。类中心改变之后，类的边界发生变化，案例重新分配，如此反复更新，直到没有额外的案例被重新分配为止，聚类最终完成。
• 聚类结果的表达：一是可以报告每个案例的分配情况；二是可以报告最后一次更新之后的质心的坐标。

运算过程如下：

指定k=3，选择初始类中心



计算距离，归类



更新类中心，重新分配



第二轮更新阶段，重新分配



最终聚类结果

②选择适当的聚类数

• kmeans算法对于随机选择的聚类中心很敏感。选择类的数目需要一种微妙的平衡：大k会提升类的同质性，但有过拟合的风险。
• 理想情况下，最好有一些关于真实分组的先验知识。有时k也由业务需求或分析动机所决定。
• 若没有任何先验知识，经验规则就是k设为n/2的平方根（n是全部案例总数），对于大的数据集一般偏大。
• “肘部法”度量不同k值：找到一个k（肘部点），使得高于该值之后的收益会发生递减。

• 但在实际中，反复测试大量的k值是不可行的。不要要求最严格的性能，获得类最优解集。大部分应用中，选择一个k就够了。

2.Kmeans聚类应用示例

探寻青少年市场细分

1）收集数据

30000名美国高中生的随机案例数据集，在知名社交网络服务中保存了他们的个人资料。将网站页面内容划分单词，36个单词被选来代表5大兴趣类。每个案例包括4个个人特征（毕业年份，性别，年龄，交友数）和36种兴趣。

数据下载：

链接: https://pan.baidu.com/s/1CGkaRPc3glCjI-hWWg1Kug 提取码: 74bm

2）探索和准备数据

包括缺失值的查看，缺失值的虚拟编码和缺失值插补等。

## Step 2: Exploring and preparing the data ----
teens <- read.csv("snsdata.csv")
str(teens)

# look at missing data for female variable
table(teens$gender)
table(teens$gender, useNA = "ifany") #计数缺失值

# look at missing data for age variable
summary(teens$age) #包含缺失值统计

# eliminate age outliers
teens$age <- ifelse(teens$age >= 13 & teens$age < 20,
                     teens$age, NA)

summary(teens$age)

# reassign missing gender values to "unknown"
teens$female <- ifelse(teens$gender == "F" &
                         !is.na(teens$gender), 1, 0)
teens$no_gender <- ifelse(is.na(teens$gender), 1, 0)

# check our recoding work
table(teens$gender, useNA = "ifany")
table(teens$female, useNA = "ifany")
table(teens$no_gender, useNA = "ifany")

# finding the mean age by cohort
mean(teens$age) # doesn't work
mean(teens$age, na.rm = TRUE) # works

# age by cohort
aggregate(data = teens, age ~ gradyear, mean, na.rm = TRUE)

# create a vector with the average age for each gradyear, repeated by person
# ave函数返回一个具有重复的组均值的向量，使得结果在长度上等于原始向量的长度
ave_age <- ave(teens$age, teens$gradyear,
                 FUN = function(x) mean(x, na.rm = TRUE))

teens$age <- ifelse(is.na(teens$age), ave_age, teens$age)

# check the summary results to ensure missing values are eliminated
summary(teens$age)

3）训练模型

使用基础包的kmeans函数。注意将特征标准化，这里用z-score标准化。

另一个就是k值的指定，比如对人口分析很熟悉，或者对关于自然分组的真是数量有一些预感，也可参考一些资料等，我们将符合年龄的高中生特征确定为5个典型类型（聪明人，运动员，公主，罪犯，无特征）。

## Step 3: Training a model on the data ----
interests <- teens[5:40]
interests_z <- as.data.frame(lapply(interests, scale))

set.seed(2345)
teen_clusters <- kmeans(interests_z, 5)

4）评估性能

模型的成功与否在于类对于预期目的是否有用。评估一个类是否有用的最基本方法之一就是检查落在每一组中的案例数，数目过多或过少（如1个或几个），则这些类不太有用。

为深入了解类，可查看聚类质心的坐标。因为已经做了z-score标准化，所以负值表示低于总体均值，正值表示高于总体均值。

## Step 4: Evaluating model performance ----
# look at the size of the clusters
teen_clusters$size

# look at the cluster centers
teen_clusters$centers

通过研究类在特征（兴趣）中的表现，可以构建有一个表来列出每组中的主要兴趣项：

5）提高模型性能

根据聚类结果，可以确定每个案例被分配到了哪一类中，再探究不同的类在原始数据中各特征的差异。

## Step 5: Improving model performance ----
# apply the cluster IDs to the original data frame
teens$cluster <- teen_clusters$cluster

# look at the first five records
teens[1:5, c("cluster", "gender", "age", "friends")]

# mean age by cluster
aggregate(data = teens, age ~ cluster, mean)

# proportion of females by cluster
aggregate(data = teens, female ~ cluster, mean)

# mean number of friends by cluster
aggregate(data = teens, friends ~ cluster, mean)

年龄、性别、朋友数量之间的关系表明，这些类是有用的预测因子，以这种方式来验证这些类的预测能力。

---

机器学习与R语言系列推文汇总：

【机器学习与R语言】1-机器学习简介

【机器学习与R语言】2-K近邻（kNN）

【机器学习与R语言】3-朴素贝叶斯（NB）

【机器学习与R语言】4-决策树

【机器学习与R语言】5-规则学习

【机器学习与R语言】6-线性回归

【机器学习与R语言】7-回归树和模型树

【机器学习与R语言】8-神经网络

【机器学习与R语言】9-支持向量机

【机器学习与R语言】10-关联规则

【机器学习与R语言】11-Kmeans聚类

【机器学习与R语言】12-如何评估模型的性能？

【机器学习与R语言】13-如何提高模型的性能？