EM是我一直想深入学习的算法之一,第一次听说是在NLP课中的HMM那一节,为了解决HMM的参数估计问题,使用了EM算法.在之后的MT中的词对齐中也用到了.在Mitchell的书中也提到EM可以用于贝叶斯网络中. 下面主要介绍EM的整个推导过程. 1. Jensen不等式 回顾优化理论中的一些概念.设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数.当x是向量时,如果其hessian矩阵H是半正定的(),那么f是凸函数.如果或者,那么称f是严格凸函数. Jensen不等式表述如下:…

由css reset想到的深入理解margin及em的含义 原文地址:http://www.ymblog.net/content_189.html 经常看到这样语句,*{ margin:0px;padding:0px; },用起来很方便吧?由于学习前端的门槛低,我一直找不到区别于那些用DW的前端的所在点,我总觉得我是用记事本写代码的,我的水平及理解绝对比那些用DW的人呀更胜一筹.但区别在哪里呢?最近,我似乎明白了,拿css来说,前面的很长一段时间,我都是在横向学习css,不断的学习新的东西,制作…

概述 古语有云,没有规矩则不成方圆.秦灭六国之后为了促进国内生产力的发展,也是大力推进全国度量衡的统一.车同轨,书同文.与"尺寸"相关的问题(手动滑稽),从古至今一直为人们所关注.所以在我的处女文章中,也决定大体讲讲在前端领域里面的"尺寸"问题. 目前的国内的前端开发圈子中,最常使用到的关于"尺寸"的单位,应该是 px , rem , em 这三位.本文主要介绍这三种尺寸单位是怎么来的,能做什么,要怎么用. px(逻辑像素) 在一般的计算机应用中…

一.前言 我们h5项目终端适配采用的是淘宝那套<Flexible实现手淘H5页面的终端适配>方案.主要原理是rem布局.最近和别人谈弹性布局原理,发现虽然已经使用了那套方案很久,但是自己对rem的理解很含糊, 包括vw.vh等.所以打算写博客总结一下,以加深理解. 二.几个概念 这里就不讲那些,物理像素.设备像素比了,可以自己查阅.要去理解rem/em/vm/vh等,首先要直观的去理解他们到底是什么?理解好了,后面就好办了.其实这几个都是css单位,就像我们常用的px一样,只不过他们都是相对单…

一.概述 概率模型有时既含有观测变量,又含有隐变量,如果概率模型的变量都是观测变量,那么给定数据,可以直接利用极大似然估计法或者贝叶斯估计法估计模型参数.但是,当模型同时又含有隐变量时,就不能简单地使用这些方法.EM算法适用于带有隐变量的概率模型的参数估计,利用极大似然估计法逐步迭代求解. 二.jensen不等式   是区间 上的凸函数,则对任意的 ,有不等式:   即: E[f(X)] ≥ f(E(X))  ,因为(x1+x2+...+xn)/n=E(X),同理可得E(f(X)).当x1=x2…

https://www.jianshu.com/p/1121509ac1dc 如果使用基于最大似然估计的模型,模型中存在隐变量,就要用EM算法做参数估计.个人认为,理解EM算法背后的idea,远比看懂它的数学推导重要.idea会让你有一个直观的感受,从而明白算法的合理性,数学推导只是将这种合理性用更加严谨的语言表达出来而已.打个比方,一个梨很甜,用数学的语言可以表述为糖分含量90%,但只有亲自咬一口,你才能真正感觉到这个梨有多甜,也才能真正理解数学上的90%的糖分究竟是怎么样的.如果EM是个梨,…

http://blog.csdn.net/xmu_jupiter/article/details/50936177 最近在写毕业论文,由于EM算法在我的研究方向中经常用到,所以把相关的资料又拿出来看了一下,有了一些新的理解与感悟.在此总结一下. EM算法即“期望极大算法”.学过机器学习的朋友都知道EM算法分两步:E步求期望,M步求极大.但是期望是求谁的期望,极大是求谁的极大呢?这里面其实有两种解读角度. “通俗”角度 通俗角度的话,求极大肯定是求似然函数的极大了,而且一般都是对数似然.我们一般解…

Rem与em的简单理解 Em单位与像素px的转换 所得的像素值 = 当前元素的font-size * em的值 比如:div的font-size:12px 10em等同于120px 12*10 =120 Rem单位如何转换为像素值 所得像素值 = 根元素html font-size(默认是16px)*rem值 例如:根元素字体大小16px,10rem等同于160px,16*10 = 160 使用场景 使用em单位适用于在非默认字体大小的元素上的padding,margin,width,heigh…

em 版本:CSS1 说明: 自己的理解: 注意地方: 浏览器默认大小为16px. 谷歌浏览器最小字体为12px. font-size;有继承性. 判断步骤: []看该元素本身有没有设置字体大小: 有:那么,boder.width.height.padding.margin.line-height”等值,都是相对字体大小的. font-size*em值=等于实际需要值.        (魔芋例子: <h1>天空</h1> h1 {font-size:10px;margin:2em;…

EM算法之不同的推导方法和自己的理解 一.前言 EM算法主要针对概率生成模型解决具有隐变量的混合模型的参数估计问题. 对于简单的模型,根据极大似然估计的方法可以直接得到解析解:可以在具有隐变量的复杂模型中,用MLE很难直接得到解析解,此时EM算法就发挥作用了. E步解决隐变量的问题,M步求解模型的参数值,也就是极大似然的方法求取模型的参数值. 自己的理解:走一步看一步,走了看,看了再走,迭代过程. 首先使用估计的方式直接设置一组模型的参数值,这组模型的参数值是先验的,甚至可以说是我们瞎设的,这么…