目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(2):GMM训练算法 1. 简介 GMM模型全称为Gaussian Mixture Model,即高斯混合模型.其主要是针对普通的单个高斯模型提出来的.我们知道,普通高斯模型对实际数据拟合效果还不错,但是其有一个致命的缺陷,就是其为单峰函数,如果数据的真实分布为复杂的多峰分布,那么单峰高斯的拟合效果就不够好了. 与单峰高斯模型不同,GMM模型是多个高斯…

传统神经网络ANN训练算法总结 学习/训练算法分类 神经网络类型的不同,对应了不同类型的训练/学习算法.因而根据神经网络的分类,总结起来,传统神经网络的学习算法也可以主要分为以下三类: 1)前馈型神经网络学习算法-----(前馈型神经网络) 2)反馈型神经网络学习算法------(反馈型神经网络) 3)自组织神经网络学习算法------(自组织神经网络) 以下我们将通过三类典型的神经网络模型分别阐述这三类不同的学习算法其区别与相似点. 虽然针对不同的网络模型,这里产生了三类不同类型的训练算法,但…

MATLAB中“fitgmdist”的用法及其GMM聚类算法 作者:凯鲁嘎吉 - 博客园http://www.cnblogs.com/kailugaji/ 高斯混合模型的基本原理:聚类——GMM,MATLAB官方文档中有关于fitgmdist的介绍:fitgmdist.我之前写过有关GMM聚类的算法:GMM算法的matlab程序.这篇文章主要应用MATLAB自带的函数来进行聚类. 1. fitgmdist函数介绍 fitgmdist的使用形式:gmm = fitgmdist(X,k,Name,V…

不多说,直接上干货! 机器学习十大算法之一:EM算法(即期望最大化算法).能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题.神为什么是神,因为神能做很多人做不了的事.那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光. 我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明白,因为它很简单,又很复杂.简单在于它的思想,简单在于其仅包含了两个步骤就能完…

  去年 6 月份写的博文<Yusuke Sugomori 的 C 语言 Deep Learning 程序解读>是囫囵吞枣地读完一个关于 DBN 算法的开源代码后的笔记,当时对其中涉及的算法原理基本不懂.近日再次学习 RBM,觉得有必要将其整理成笔记,算是对那个代码的一个补充.  目录链接 (一)预备知识 (二)网络结构 (三)能量函数和概率分布 (四)对数似然函数 (五)梯度计算公式 (六)对比散度算法 (七)RBM 训练算法 (八)RBM 的评估 作者: peghoty 出处: http:…

机器学习中梯度下降(Gradient Descent, GD)算法只需要计算损失函数的一阶导数,计算代价小,非常适合训练数据非常大的应用. 梯度下降法的物理意义很好理解,就是沿着当前点的梯度方向进行线搜索,找到下一个迭代点.但是,为什么有会派生出 batch.mini-batch.online这些GD算法呢? 原来,batch.mini-batch.SGD.online的区别在于训练数据的选择上:   batch mini-batch Stochastic Online 训练集 固定 固定 固定…

目标检测算法SSD之训练自己的数据集 prerequesties 预备知识/前提条件 下载和配置了最新SSD代码 git clone https://github.com/weiliu89/caffe ~/work/ssd cd $_ git checkout ssd 编译caffe 下载必要的模型(包括prototxt和caffemodel): 运行了evaluation和webcam的例子,会提示caffe的import报错.添加pycaffe路径到PYTHONPATH环境变量,或者写一个_…

物体检测算法 SSD 的训练和测试 GitHub:https://github.com/stoneyang/caffe_ssd Paper: https://arxiv.org/abs/1512.02325 1. 安装 caffe_SSD: git clone https://github.com/weiliu89/caffe.git cd caffe git checkout ssd 2. 编译该 caffe 文件,在主目录下: # Modify Makefile.config accordi…

转自http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html k-mean算法与EM K-means也是聚类算法中最简单的一种了,但是里面包含的思想却是不一般.最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中,那本书比较注重应用.看了Andrew Ng的这个讲义后才有些明白K-means后…

EM(Expectation Maximization)算法  参考资料: [1]. 从最大似然到EM算法浅解 [2]. 简单的EM算法例子 [3]. EM算法)The EM Algorithm(详尽的理论推导过程,源自斯坦福大学的教程) [4]. 混合高斯模型(Mixtures of Gaussians)和EM算法…