华盛顿大学 机器学习 笔记. k-means的局限性 k-means 是一种硬分类(hard assignment)方法,例如对于文档分类问题,k-means会精确地指定某一文档归类到某一个主题,但很多时候硬分类并不能完全描述这个文档的性质,这个文档的主题是混合的,这时候需要软分类(soft assignment)模型. k-means 缺陷:(1)只关注聚类中心的表现.(2)聚类区域形状必须为对称圆形/球形,轴平行. 对于聚类区域大小不一.轴不平行.聚类空间重叠等情况,k-means 缺陷显著…

华盛顿大学 <机器学习> 笔记. knn k-nearest-neighbors : k近邻法 给定一个 数据集,对于查询的实例,在数据集中找到与这个实例最邻近的k个实例,然后再根据k个最邻近点预测查询实例的类别. <统计学习方法>中这样描述的: K近邻模型是基于训练数据集 对 特征空间的一个划分. 当k =1 ,为一种特殊情况,称为最邻近法. Knn算法实现的三个重要问题: 距离度量选择.k值选择,分类决策方法. 1. 距离度量选择 常用的距离度量有欧式距离.曼哈顿距离等. &l…

GMM即高斯混合模型,下面根据EM模型从理论公式推导GMM: 随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为φ1,φ2,... ,φK,第i个高斯分布的均值为μi,方差为Σi.若观测到随机变量X的一系列样本x1,x2,...,xn,试估计参数φ,μ,Σ. E-step M-step 将多项分布和高斯分布的参数带入EM模型: 对均值求偏导:   令上式等于0,解的均值: 高斯分布的方差:求偏导,等于0: 多项分布的参数: 得到 拉格朗日乘子法: 由于多项分布的概率和为1,建立拉格朗日方…

华盛顿大学 machine learning 笔记. K-means algorithm 算法步骤: 0. 初始化几个聚类中心 (cluster centers)μ1,μ2, … , μk 1. 将所有数据点分配给最近的聚类中心; 2. 将每个聚类中心的值改成分配到该点所有数据点的均值; 3. 重复1-2步骤,直到收敛到局部最优(local optimium). #输入: #数据集 data #集群数 k #初始集群中心组 initial_centroids #最多循环次数 maxiter #输…

原理请观良心视频:机器学习课程 Expectation Maximisation Expectation-maximization is a well-founded statistical algorithm to get around this problem by an iterative process. First one assumes random components (randomly centered on data points, learned from k-means,…

高斯混合模型 混合模型,顾名思义就是几个概率分布密度混合在一起,而高斯混合模型是最常见的混合模型: GMM,全称 Gaussian Mixture Model,中文名高斯混合模型,也就是由多个高斯分布混合起来的模型: 概率密度函数为 K 表示高斯分布的个数,αk 表示每个高斯分布的系数,αk>0,并且 Σαk=1, Ø(y|θk) 表示每个高斯分布,θk 表示每个高斯分布的参数,θk=(uk,σk2): 举个例子 男人和女人的身高都服从各自的高斯分布,把男人女人混在一起,那他们的身高就服从高斯混…

"机器学习/深度学习方法"系列,我本着开放与共享(open and share)的精神撰写,目的是让很多其它的人了解机器学习的概念,理解其原理,学会应用.如今网上各种技术类文章非常多,不乏大牛的精辟见解,但也有非常多滥竽充数.误导读者的.这个系列对教课书籍和网络资源进行汇总.理解与整理,力求一击中的,通俗易懂.机器学习非常难,是由于她有非常扎实的理论基础,复杂的公式推导:机器学习也非常easy,是由于对她不甚了解的人也能够轻易使用.我希望好好地梳理一些基础方法模型,输出一些真正有长期參…

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 开一个机器学习方法科普系列:做基础回顾之用,学而时习之:也拿出来与大家分享.数学水平有限,只求易懂,学习与工作够用.周期会比较长,因为我还想写一些其他的,呵呵. content: linear regression, Ridge, Lasso Logistic Regression, Softmax Kmeans, GMM, EM, Spectral Clustering Dimensionality R…

期望最大化算法EM. 简介 EM算法即期望最大化算法,由Dempster等人在1976年提出[1].这是一种迭代法,用于求解含有隐变量的最大似然估计.最大后验概率估计问题.至于什么是隐变量,在后面会详细解释.EM算法在机器学习中有大量成功的应用,典型是求解高斯混合模型,隐马尔可夫模型.如果你要求解的机器学习模型中有隐变量存在,并且要估计模型的参数,EM算法很多时候是首选算法. EM算法的推导.收敛性证明依赖于Jensen不等式,我们先对它做一简单介绍.Jensen不等式的表述是,如果f(x)是凸…

涉及的领域可能有些生僻,骗不了大家点赞.但毕竟是人工智能的主流技术,在园子却成了非主流. 不可否认的是:乃值钱的技术,提高身价的技术,改变世界观的技术. 关于变分,通常的课本思路是: GMM --> EM --> VI --> Variational Bayesian Gaussian Mixture GMM是个好东西,实用的模型,也是讲解收敛算法的一个好载体. 关于这部分内容,如果你懂中文,推荐一个人,徐亦达老师.中文教学,亲手推算公式给读者的视频,是需要珍惜和珍藏的. 因为提供了pp…