CRF模型

CRF的全称是Conditional Random Fields，由CMU教授John Lafferty 提出，原文标题：Conditional R andom Fields: Probabilistic Models for Segmenting and Labeling Sequence Data。

不过自己在看文献的时候，有很多都看不懂，所以直接上网看别人总结好的资料，并选择其中需要的信息作为自己的笔记。

转自：http://1.guzili.sinaapp.com/?p=133

CRF模型具有以下特点：（1）CRF在给定了观察序列的情况下，对整个的序列的联合概率有一个统一的指数模型，它具备一个比较吸引人的特性就是其损失函数的凸面性；（2）CRF具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理，能够充分地利用上下文信息作为 特征，还可以任意地添加其他外部特征，使得模型能够获取的信息非常丰富；（3）CRF解决了MEMM中的标记偏置问题，这也正是CRF与MEMM的本质区别所在—-最大熵模型在每个状态都有一个概率模型，在每个状态转移时都要进行归一化。如果某个状态只有一个后续 状态，那么该状态到后续状态的跳转概率即为1。这样，不管输入为任何内容，它都向该后续状态跳转。而CRFs是在所有的状态上建立一个统一的概率模型，这 样在进行归一化时，即使某个状态只有一个后续状态，它到该后续状态的跳转概率也不会为1。