131.005 Unsupervised Learning - Cluster | 非监督学习

@(131 - Machine Learning | 机器学习)

零、 Goal

How Unsupervised Learning fills in that model gap from the original Machine Learning work flow

2.How to compare different models developed using Unsupervised Learning for their relative strengths and relative disadvantages

3.Understand the different kinds of conclusions that Unsupervised Learning can generate ,the different kinds of problems that is addresses(解决) and how it differs from Supervised Learning

一、K-Means Clustering

key notion —— Center

1.1 Step

Step1 Assign
Step2 Optimize
minimize the total quadratic distance of the cluster center to the points

1.2 Play a game

Visualizing K-Means Clustering

1.3 Clustering in Sklearn

http://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html

1.4 K-Means 的局限

Will output for any fixed training set always be the same ?——NO

二、Single Linkage Clustering | 単连锁聚类（SLC）

key notion —— Link

HAC —— Hierarchical agglomorative cluster 层次聚类算法
iterate 迭代
Farther —— physical distance （实际距离）
Further —— metaphysical or metaphorical distans (抽象/比喻距离)

2.1 SLC 时间复杂度

\[ O(n^3)\]

2.2 SLC 问题

三、Soft Clustering | 软聚类

the data point can be shared

聚类之——“软硬”之别

参考链接

聚类分析如果按照隶属度的取值范围可以分为两类，一类叫硬聚类算法，另一类就是模糊聚类算法。隶属度的概念是从模糊集理论里引申出来的。

传统硬聚类算法隶属度只有两个值 0 和 1。也就是说一个样本只能完全属于某一个类或者完全不属于某一个类。举个例子，把温度分为两类，大于10度为热，小于或者等于10度为冷，这就是典型的“硬隶属度”概念。那么不论是5度还是负100度都属于冷这个类，而不属于热这个类的。

模糊集里的隶属度是一个取值在[0 1]区间内的数。一个样本同时属于所有的类，但是通过隶属度的大小来区分其差异。比如5度，可能属于冷这类的隶属度值为0.7,而属于热这个类的值为0.3。这样做就比较合理，硬聚类也可以看做模糊聚类的一个特例。

一些仅为个人倾向的分析（不严谨或不尽规范）：所谓的动态模糊分析法我在文献里很少见到好像并不主流，似乎没有专门的这样一种典型聚类算法，可能是个别人根据自己需要设计并命名的一种针对模糊聚类的改进方法。有把每个不同样本加权的，权值自己确定，这样就冠以“动态"二字，这都是作者自己起的。也有别的也叫”动态“的，可能也不一样，似乎都是个别人自己提出的。

四、Expectation Maximization | 期望最大化

p.s. 因为对于每一项集群上的概率分布，我们都很想了解。所以左侧的总和应与变量 j 相关，而不是 i 。抱歉！- Michael。

参考链接：EM（期望最大化）算法初步认识

五、聚类属性

Richness丰富性
Scale invariance 比例不变性
consistency 一致性

###不可能定理
But 没有一个算法可以同时满足三个属性——Kleinberg has proved it
在某种意义相互矛盾
科学素养——承认极限，不在完全不可能的事情上浪费时间

概念：聚类与分类（Classification）有别

聚类（Clustering，属无监督学习）

['klʌstərɪŋ]，聚集，收集；分类归并。
聚类是指根据“物以类聚”的原理，将本身没有类别的样本聚集成不同的组，这样的一组数据对象的集合叫做簇，并且对每一个这样的簇进行描述的过程。
它的目的是使得属于同一个簇的样本之间应该彼此相似，而不同簇的样本应该足够不相似。
与分类规则不同，进行聚类前并不知道将要划分成几个组和什么样的组，也不知道根据哪些空间区分规则来定义组。
其目的旨在发现空间实体的属性间的函数关系，挖掘的知识用以属性名为变量的数学方程来表示。
当前，聚类技术正在蓬勃发展，涉及范围包括数据挖掘、统计学、机器学习、空间数据库技术、生物学以及市场营销等领域，聚类分析已经成为数据挖掘研究领域中一个非常活跃的研究课题。
常见的聚类算法包括：K-均值（K-Means）聚类算法、K-中心点聚类算法、CLARANS、BIRCH、CLIQUE、DBSCAN

就是把相似的东西分到一组。我们并不关心某一类是什么，实现的目标只是把相似的东西聚到一起。
因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在 Machine Learning 中被称作 unsupervised learning (无监督学习)。

分类(Classification )，监督学习

，则不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做 supervised learning (监督学习)。
例：拿来一个新水果，我们按着他的特征，把他分到橘子或者香蕉那类中，叫做分类。