条件随机场 Conditional Random Fields

简介

假设你有冠西哥一天生活中的照片(这些照片是按时间排好序的)，然后你很无聊的想给每张照片打标签(Tag)，比如这张是冠西哥在吃饭，那张是冠西哥在睡觉，那么你该怎么做呢？

一种方法是不管这些照片的序列性(照片本来是按照时间排序的)，然后给每张图片弄一个分类器。例如，给了你冠西哥一个月的生活照作为训练样本(打了Tag的)，你可能就会学习到：早上6点黑乎乎的照片可能就是冠西哥在睡觉；有很多亮色的照片可能就是冠西哥在跳舞；有很多车的照片可能就是冠西哥在飙车。

很明显，照片的序列性包含有很多信息，忽视它是不对滴。比如，你看到了一张大嘴的特写，这个时候冠西哥是在吃饭呢还是在唱歌？如果你知道冠西哥在前一个时间点的照片上是在煮饭，那么很有可能这张就是在吃饭了；如果前一个时间点的照片上他是在唱歌或者跳舞，那么这张就很有可能是在唱歌。

因此呢，我们应该利用nearby照片的信息来提高我们标签机(暂时这么叫吧)的准确性，这正是条件随机场所干的事。

---

词性标注

下面用词性标注的例子来阐述一些细节。

词性标注：给你一个句子(a sequence of words or tokens)，然后你给每个单词标注它是动词、副词还是形容词，或者其他。

就像其他的分类器一样，我们需要定义一些特征函数(feature functions) f i

---

条件随机场里的特征函数

在条件随机场里面，每个特征函数有下面几个输入值：

• 一个句子 s
• 一个单词在句子中的位置 i
• 当前单词的标签l i
• 前一个单词的标签l i−1

输出为一个实数(虽然通常就是0或者1)

(注释：实际上，在这里我们把特征限制在了当前单词和前一个单词的标签上，而不是整个句子中的任意标签，我们在这儿构建了一个条件随机场的特例——linear chain CRF。为了简洁性，我们这里就讨论这种特例)

比如，一个可能的特征函数：度量前一个单词是"very"的时候，当前单词被标为形容词的可能性。

---

特征转化为概率

接下来我们给每一个特征函数f j  
赋一个权值λ j  
(在下面我会交代怎么学习这些权值)。现在给定一个句子s，我们就能计算一个特定的标签集l 
的加权得分了(l 
是a sequence of labels，如(NOUN, ABJECTIVE...) 表示给s的第一个单词标为NOUN，第二个单词标为ABJECTIVE)：

score(l|s)=∑ m j=1 ∑ n i=1 λ j f j (s,i,l i ,l i−1 )

(外层的求和是对所有的feature function求和，内层的求和是对句子中的所有单词求和)

最后，我们将这些得分(score)正则化到0-1：

Missing open brace for superscript

---

一些特征函数的例子

• 如果l i  
  是副词并且第i个单词以"ly"结尾，则f 1 (s,i,l i ,l i−1 )=1 
  ，否则为0
  • 如果我们给这个特征函数赋大且正的权重，那么就是说我们很愿意将以"ly"结尾的单词看成是副词。(因为权重大，最后对总score的贡献大嘛)
• 如果i=1 
  并且l i  
  是动词，并且句子以"?"结尾，则f 2 (s,i,l i ,l i−1 )=1 
  ，否则为0
  • 同样的，如果我们给这个特征函数赋大且正的权重，说明我们很愿意将以"?"结尾的句子的第一个单词标为动词。
• 如果l i−1  
  是形容词并且l i  
  是名词，则f 1 (s,i,l i ,l i−1 )=1 
  ，否则为0
  • 一样的，大且正的权重，说明我们愿意将形容词后面的词标为名词(或者将名词前面的词标为形容词)
• 如果l i−1  
  是介词并且l i  
  也是介词，则f 1 (s,i,l i ,l i−1 )=1 
  ，否则为0
  • 这个就是反着的了，英语里面好像木有两个介词连用的情况，所以这个时候我们的权重得是负的，说明我们不喜欢这种搭配。

现在你该明白了吧，总结一下：为了建一个条件随机场，你只需要定义一些特征函数(它们依赖于整个句子，当前的位置，附近的标签)，然后将这些函数加权求和，再正则化就可以得到最终的概率了。