一.熵.联合熵(相当于并集).条件熵.互信息 1.熵是什么? (0)信息量:信息的度量p(xi).信息量和概率成反比,熵是信息量的期望. X是一个随机变量,可能取值有很多个.熵是信息量的期望.熵反应的是不确定性,如果不确定性越高,熵越高,概率越低.熵是可以大于1的,但是概率是不可以大于1的 (1)物理学中的熵 (2)信息论中的熵 (3)熵相关概念Venn图 (4)联合熵:并集. 2. 3. 二.相对熵(KL散度) 三.交叉熵(cross-entropy) 四.信息增益(有些小疑惑) 五.最大熵模…

一.极大似然已经发生的事件是独立重复事件,符合同一分布已经发生的时间是可能性(似然)的事件利用这两个假设,已经发生时间的联合密度值就最大,所以就可以求出总体分布f中参数θ 用极大似然进行机器学习有监督学习:最大熵模型无监督学习:GMM 二.熵和信息自信息i(x) = -log(p(x)) 信息是对不确定性的度量.概率是对确定性的度量,概率越大,越确定,可能性越大.信息越大,越不确定. 熵是对平均不确定性的度量.熵是随机变量不确定性的度量,不确定性越大,熵值越大.H(x) = -∑p(x)log⁡…

EM算法简介 EM算法其实是一类算法的总称.EM算法分为E-Step和M-Step两步.EM算法的应用范围很广,基本机器学习需要迭代优化参数的模型在优化时都可以使用EM算法. EM算法的思想和过程 E-Step:E的全称是Expectation,即期望的意思.E-step也是获取期望的过程.即根据现有的模型,计算各个观测数据输入到模型中的计算结果.这个过程称为期望值计算过程,即E过程. M-Step:M的全称是Maximization,即最大化的意思.M-step也是期望最大化的过程.得到一轮期…

EM算法是一种迭代算法,用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计.EM算法的每次迭代由两步组成:E步,求期望(expectation):M步,求极大(Maximization). EM算法的引入 给一些观察数据,可以使用极大似然估计法,或贝叶斯估计法估计模型参数.但是当模型含有隐变量时,就不能简单地使用这些方法.有些时候,参数的极大似然估计问题没有解析解,只能通过迭代的方法求解,EM算法就是可以用于求解这个问题的一种迭代算法. EM算法 输…

摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 内容: 1.算法概述 k-means算法是一种得到最广泛使用的聚类算法. 它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点. 2.算法推导 2.1 k-means 计算过程: 深入:如何验证收敛: 我们定义畸变函数(distortion function)如下: J函数表示每个样本点到其质心的距离平方和.K-means是要将J调整到最小.假设当前J没有达到最小值,那么首先可以固定每…

EM算法总结 - The EM Algorithm EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法.在之后的MT中的词对齐中也用到了.在Mitchell的书中也提到EM可以用于贝叶斯网络中. 下面主要介绍EM的整个推导过程. 1. Jensen不等式 回顾优化理论中的一些概念.设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数.当x是向量时,如果其hessian矩阵H是半正定的(),那么f是凸函数.如果或者,那…

转自:http://blog.csdn.net/abcjennifer/article/details/8198352 在聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证明进行了详细说明.本文主要针对如何用EM算法在混合高斯模型下进行聚类进行代码上的分析说明. 1. GMM模型: 每个 GMM 由 K 个 Gaussian 分布组成,每个 Gauss…

目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(4):EM算法证明 1. 概述 上一篇博客我们已经讲过了EM算法,EM算法由于其普适性收到广泛关注,高频率地被运用在各种优化问题中.但是EM算法为什么用简单两步就能保证使得问题最优化呢?下面我们就给出证明. 2. 证明 现在我们已经对EM算法有所了解,知道其以两步(E-step和M-step)为周期,迭代进行,直到收敛为止.那问题就是,在一个周期内,目…

目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(3):EM算法运用 1. 内容 EM算法全称为 Expectation-Maximization 算法,其具体内容为:给定数据集$\mathbf{X}=\{\mathbf{x}_1,\mathbf{x}_2,...,\mathbf{x}_n\}$,假定这个数据集是不完整的,其还缺失了一些信息Y,一个完整的样本Z = {X,Y}.而且假定如果我们能得到完…

目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(2):GMM训练算法 1. 简介 GMM模型全称为Gaussian Mixture Model,即高斯混合模型.其主要是针对普通的单个高斯模型提出来的.我们知道,普通高斯模型对实际数据拟合效果还不错,但是其有一个致命的缺陷,就是其为单峰函数,如果数据的真实分布为复杂的多峰分布,那么单峰高斯的拟合效果就不够好了. 与单峰高斯模型不同,GMM模型是多个高斯…