最大熵模型The Maximum Entropy

http://blog.csdn.net/pipisorry/article/details/52789149

最大熵模型相关的基础知识

[概率论：基本概念CDF、PDF]

[信息论：熵与互信息]

[最优化方法：拉格朗日乘数法]

[参数估计：贝叶斯思想和贝叶斯参数估计]

[参数估计：最大似然估计MLE]

皮皮blog

最大熵模型The Maximum Entropy

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时侯，说明随机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法做出。

[北大常宝宝 《自然语言处理的最大熵模型》]

最大熵模型的直觉解释示例

最大熵模型的问题和任务

特征函数

特征示例

经验分布

约束条件（n个）

约束的几何解释

[几何解释 Adam Berger. A Brief Maxent Tutorial. 1996.]

最大熵模型(Maximum Entropy Modeling)

　i. 给定一个训练样本集，我们希望寻找一个分布符合如下两个条件(Given a set of training examples, we wish to find a distribution which)：
　　1. 满足已知的约束条件（satisfies the input constraints）
　　2. 最大化其不确定性（maximizes the uncertainty）

详解：

最大熵模型是适定的well-defined, 即其解存在且唯一。可以利用相对熵和毕达哥拉斯性质等进行证明，在推导学习过程中也可以看出这种证明应该。[北大常宝宝 《自然语言处理的最大熵模型》]

最大熵模型的一般形式

和极大似然估计形式一致，是一种对数线性模型。

[对数线性模型]

In text classification, features are usually initiated as

皮皮blog

from: http://blog.csdn.net/pipisorry/article/details/52789149

ref: [数学之美 吴军]

[52nlp MIT自然语言处理第五讲：最大熵和对数线性模型（第一部分）]

[北大常宝宝 《自然语言处理的最大熵模型》]

[张学文 最大熵方法]

[最大熵学习笔记]*