机器学习方法、距离度量、K_Means

特征向量

1.特征向量：以人为例，每个元素可能就对应这人的某些方面，这就是特征，例如：身高、年龄、性别、国际....
2.特征工程：目的就是将现有数据中可作为信号的特征与那些仅是噪声的特征区分开来；当数据的维度（即特征的数量）相对于样本量来说比较大时，特征工程就具有较高的失败风险。

机器学习方法

1.机器学习方法一般都具有以下几部分：
    1》模型的表示；
    2》用于评估模型优度的目标函数；    
    3》一种优化方法，可以通过学习找出一个模型，使目标函数值最小化或最大化。
2.机器学习一般分为监督式学习和无监督学习
    1》监督式学习，我们先从一组成对的特征向量和值开始；目标是从这些特征向量和值中推导出某种规则，以预测与未知的特征向量所对应的值。回归模型为每个特征向量关联一个实数，分类模型为每个特征向量关联一组数量有限的标签。
    2》非监督式学习，我们被给定一个没有任何标注的特征向量集合；非监督式学习目标就是发现特征向量集合中隐含模式。举例来说，给定总统的向量集合，非监督式学习会将总统分为高个和矮个，也可能分为美国人和法国人。一般来说，非监督式机器学习方法可以分为两种，一种是聚类方法（将实例集合划分为多个自己，使得同一子集中的实例之间的相似度大于其他子集中的实例的相似度），另一种是隐变量模型学习方法（隐变量得值不能直接观测到，但可以通过其他可观测的变量的值推测出来）。

距离度量

1.  欧式距离：空间中的距离

2.曼哈顿距离：在曼哈顿街区要从一个十字路口开车到另一个十字路口，驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”，也称为“城市街区距离”。

3.切比雪夫距离：国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个，国王从（x1,y1）走到格子（x2,y2）最少需要多少步？这个距离就叫切比雪夫距离。

4.闵可夫斯基距离：闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。

因此，根据参数的不同，闵氏距离可以表示某一类/种距离.闵氏距离，包括曼哈顿距离、欧式距离、切比雪夫距离都存在明显的缺点；eg：二维样本（身高：CM，体重：KG ），a(180,50),b(190,50),c(180,60)，那么a与b的闵氏距离（无论死曼哈顿距离、欧式距离或切比雪夫距离）等于a与c的闵氏距离，但实际上身高10CM和体重10kg不能划等号。闵氏距离的缺点：将各个分量的量纲也就是单位相同看待了未考虑各个分量的分布（期望、方差...）可能是不同的，

5.标准化欧氏距离：标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。标准欧氏距离的思路：既然数据各维分量的分布不一样，那先将各个分量都“标准化”到均值、方差相等。假设样本集X的均值为m，标准差为s，X的“标准化变量“表示为

6.马氏距离：是基于样本分布的一种距离，物理意义就是规范化的主成分空间中的欧式距离，所谓规范化得主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。

马氏距离的特点：量纲无关，排除变量之间的相关性的干扰；马氏距离的计算是建立在总体样本的基础上，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；计算马氏距离过程中，要求总体样本大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。

7.余弦距离：几何中，夹角余弦可用来衡量两个向量方向的差异；机器学习中借用这一概念来衡量样本向量之间的差异。

夹角余弦取值范围[-1,1]，余弦越大表示两个向量夹角越小，余弦越小表示两向量夹角越大。当两个向量的方向重合时余弦最大值1，当两个向量的方向完全相反余弦取最小值-1。

8.汉明距离

定义：两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。例如:The Hamming distance between "1011101" and "1001001" is 2.The Hamming distance between "2143896" and "2233796" is 3.The Hamming distance between "toned" and "roses" is 3.汉明重量：是字符串相对于同样长度的零字符串的汉明距离，也就是说，它是字符串中非零的元素个数：对于二进制字符串来说，就是 1 的个数，所以 11101 的汉明重量是 4。因此，如果向量空间中的元素a和b之间的汉明距离等于它们汉明重量的差a-b。应用：汉明重量分析在包括信息论、编码理论、密码学等领域都有应用。比如在信息编码过程中，为了增强容错性，应使得编码间的最小汉明距离尽可能大。但是，如果要比较两个不同长度的字符串，不仅要进行替换，而且要进行插入与删除的运算，在这种场合下，通常使用更加复杂的编辑距离等算法。

9.杰卡德距离：杰卡德相似系数，两个集合A和B的交集元素在A、B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)

杰卡德距离：与杰卡德系数相反，用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度：

10.相关距离相关系数：是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]，相关系数的绝对值越大，则表明X与Y相关度越高。当X与Y线性相关时，相关系数取值为1(正线性相关)或-1(负线性相关)：

相关距离：

11.信息熵：以上的距离度量方法度量的都是两个样本（向量）之间的距离，而信息熵描述的是整个系统内部样本之间的一个距离，或者称为系统内样本分布的集中程度（一致程度）、分散程度、混乱程度（不一致程度）。系统内样本分布越分散（或者说分布越平均），信息熵就越大。分布越有序（或者说分布越集中），信息熵就越小。

计算给定样本集X的信息熵的公式：

其中n:样本集X的分类数，pi：X中第i类元素出现的概率信息熵越大表明样本集X的分布越分散（分布均匀），信息熵越小则表明样本集X的分布越集中（分布不均匀）。当X中n个分类出现的概率一样大时（都是1/n），信息熵取最大值log2(n)，当X中只有一个分类时，信息熵取最小值0。

K_Means聚类

1.K_Means聚类可能是使用最广泛的聚类方法，它的目标是将一个实列集合划分为K个簇，使得：
    对于簇中的每个实列，这个簇的质心都离这个实列最近；
    由这K个簇组成的簇集合的相异度最小。

方法：随机选择k个实例作为初始的簇质心一直重复以下步骤：(1) 将每个实例都分配给距离最近的质心，建立k个簇；(2) 对每个簇中的所有实例取均值，计算出k个新质心；(3) 如果所有质心都与上一次迭代时相同，则返回当前的簇集合。