简介

假设你有冠西哥一天生活中的照片(这些照片是按时间排好序的),然后你很无聊的想给每张照片打标签(Tag),比如这张是冠西哥在吃饭,那张是冠西哥在睡觉,那么你该怎么做呢?

一种方法是不管这些照片的序列性(照片本来是按照时间排序的),然后给每张图片弄一个分类器。例如,给了你冠西哥一个月的生活照作为训练样本(打了Tag的),你可能就会学习到:早上6点黑乎乎的照片可能就是冠西哥在睡觉;有很多亮色的照片可能就是冠西哥在跳舞;有很多车的照片可能就是冠西哥在飙车。

很明显,照片的序列性包含有很多信息,忽视它是不对滴。比如,你看到了一张大嘴的特写,这个时候冠西哥是在吃饭呢还是在唱歌?如果你知道冠西哥在前一个时间点的照片上是在煮饭,那么很有可能这张就是在吃饭了;如果前一个时间点的照片上他是在唱歌或者跳舞,那么这张就很有可能是在唱歌。

因此呢,我们应该利用nearby照片的信息来提高我们标签机(暂时这么叫吧)的准确性,这正是条件随机场所干的事。


词性标注

下面用词性标注的例子来阐述一些细节。

词性标注:给你一个句子(a sequence of words or tokens),然后你给每个单词标注它是动词、副词还是形容词,或者其他。

就像其他的分类器一样,我们需要定义一些特征函数(feature functions) f i


条件随机场里的特征函数

在条件随机场里面,每个特征函数有下面几个输入值:

  • 一个句子 s
  • 一个单词在句子中的位置 i
  • 当前单词的标签l i
  • 前一个单词的标签l i−1

输出为一个实数(虽然通常就是0或者1)

(注释:实际上,在这里我们把特征限制在了当前单词和前一个单词的标签上,而不是整个句子中的任意标签,我们在这儿构建了一个条件随机场的特例——linear chain CRF。为了简洁性,我们这里就讨论这种特例)

比如,一个可能的特征函数:度量前一个单词是"very"的时候,当前单词被标为形容词的可能性。


特征转化为概率

接下来我们给每一个特征函数f j  
赋一个权值λ j  
(在下面我会交代怎么学习这些权值)。现在给定一个句子s,我们就能计算一个特定的标签集l 
的加权得分了(l 
是a sequence of labels,如(NOUN, ABJECTIVE...) 表示给s的第一个单词标为NOUN,第二个单词标为ABJECTIVE):

score(l|s)=∑ m j=1 ∑ n i=1 λ j f j (s,i,l i ,l i−1 )

(外层的求和是对所有的feature function求和,内层的求和是对句子中的所有单词求和)

最后,我们将这些得分(score)正则化到0-1:

Missing open brace for superscript


一些特征函数的例子

  • 如果l i  
    是副词并且第i个单词以"ly"结尾,则f 1 (s,i,l i ,l i−1 )=1 
    ,否则为0

    • 如果我们给这个特征函数赋大且正的权重,那么就是说我们很愿意将以"ly"结尾的单词看成是副词。(因为权重大,最后对总score的贡献大嘛)
  • 如果i=1 
    并且l i  
    是动词,并且句子以"?"结尾,则f 2 (s,i,l i ,l i−1 )=1 
    ,否则为0
    • 同样的,如果我们给这个特征函数赋大且正的权重,说明我们很愿意将以"?"结尾的句子的第一个单词标为动词。
  • 如果l i−1  
    是形容词并且l i  
    是名词,则f 1 (s,i,l i ,l i−1 )=1 
    ,否则为0
    • 一样的,大且正的权重,说明我们愿意将形容词后面的词标为名词(或者将名词前面的词标为形容词)
  • 如果l i−1  
    是介词并且l i  
    也是介词,则f 1 (s,i,l i ,l i−1 )=1 
    ,否则为0
    • 这个就是反着的了,英语里面好像木有两个介词连用的情况,所以这个时候我们的权重得是负的,说明我们不喜欢这种搭配。

现在你该明白了吧,总结一下:为了建一个条件随机场,你只需要定义一些特征函数(它们依赖于整个句子,当前的位置,附近的标签),然后将这些函数加权求和,再正则化就可以得到最终的概率了。

条件随机场 Conditional Random Fields的更多相关文章

  1. 条件随机场Conditional Random Field-CRF入门级理解

    条件随机场Conditional Random Field-CRF入门级理解   有向图与无向图模型 CRF模型是一个无向概率图模型,更宽泛地说,它是一个概率图模型.现实世界的一些问题可以用概率图模型 ...

  2. 条件随机场conditional random field

    主要翻译自http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/,原作者是MIT的大神,加入了一些我自己的 ...

  3. 条件随机场(Conditional random field)

    条件随机场真是把我给折磨坏了啊,本以为一本小小的<统计学习方法>攻坚剩下最后一章,心情还是十分愉悦的,打算一口气把它看完,结果真正啃起来真是无比的艰难啊,每一句对我都好像是天书一般,怎么这 ...

  4. 论文翻译:Conditional Random Fields as Recurrent Neural Networks

    Conditional Random Fields as Recurrent Neural Networks ICCV2015    cite237 1摘要: 像素级标注的重要性(语义分割 图像理解) ...

  5. (转)Image Segmentation with Tensorflow using CNNs and Conditional Random Fields

    Daniil's blog Machine Learning and Computer Vision artisan. About/ Blog/ Image Segmentation with Ten ...

  6. Conditional Random Fields (CRF) 初理解

    1,Conditional Random Fields

  7. an introduction to conditional random fields

    1.Structured prediction methods are essentially a combination of classification and graphical modeli ...

  8. 条件随机场CRF(一)从随机场到线性链条件随机场

    条件随机场CRF(一)从随机场到线性链条件随机场 条件随机场CRF(二) 前向后向算法评估观察序列概率(TODO) 条件随机场CRF(三) 模型学习与维特比算法解码(TODO) 条件随机场(Condi ...

  9. 条件随机场 (CRF) 分词序列谈之一(转)

    http://langiner.blog.51cto.com/1989264/379166 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.ht ...

随机推荐

  1. IDEA搭建SpringMVC+Mybatis+Mysql+Maven框架

    相关环境 Intellij IDEA Ultimate Tomcat JDK MySql 5.6(win32/win64) Maven (可使用Intellij IDEA自带的) 搭建步骤 创建项目工 ...

  2. 《Unity3D/2D游戏开发从0到1(第二版本)》 书稿完结总结

    前几天,个人著作<Unity3D/2D游戏开发从0到1(第二版)>经过七八个月的技术准备以及近3个月的日夜编写,在十一长假后终于完稿.今天抽出一点时间来,给广大热心小伙伴们汇报一下书籍概况 ...

  3. 如何才能通俗易懂的解释javascript里面的"闭包"?

    看了知乎上的话题 如何才能通俗易懂的解释javascript里面的‘闭包’?,受到一些启发,因此结合实例将回答中几个精要的答案做一个简单的分析以便加深理解. 1. "闭包就是跨作用域访问变量 ...

  4. sql里的null和空的区别

    null表示为未知,未定义: 空表示为空白,或者0: sql查询,排序时null在''的前面: 定义字段为not null,写为空可以写入: null不可以用来比较,只能用is null判断:

  5. 虚拟专用网VPN

    1. 三个专用地址块: (1)10.0.0.0到10.255.255.255 (2)172.16.0.0到172.31.255.255 (3)192.168.0.0到192.168.255.255 2 ...

  6. 【机器学习实战】第 10 章 K-Means(K-均值)聚类算法

    第 10 章 K-Means(K-均值)聚类算法 K-Means 算法 聚类是一种无监督的学习, 它将相似的对象归到一个簇中, 将不相似对象归到不同簇中.相似这一概念取决于所选择的相似度计算方法.K- ...

  7. BZOJ-1225-[HNOI2001] 求正整数

    Description 对于任意输入的正整数n,请编程求出具有n个不同因子的最小正整数m.例如:n=4,则m=6,因为6有4个不同整数因子1,2,3,6:而且是最小的有4个因子的整数. Input n ...

  8. 从零使用Python测试。Testing Using Python.

    0. 写在前面 本人使用Python测试已有多年,略有些皮毛经验.每次有新员工入职,都会从头教一遍如何入门上手使用Python进行测试.趁这段有空,整理成文档,也好方便后续新员工学习.文章如有不妥之处 ...

  9. .6-Vue源码之AST(2)

    上一节获取到了DOM树的字符串,准备进入compile阶段: // Line-9326 function compileToFunctions(template,options,vm) { // 获取 ...

  10. 版本控制之五:SVN trunk(主线) branch(分支) tag(标记) 用法详解和详细操作步骤(转)

    使用场景: 假如你的项目(这里指的是手机客户端项目)的某个版本(例如1.0版本)已经完成开发.测试并已经上线了,接下来接到新的需求,新需求的开发需要修改多个文件中的代码,当需求已经开始开发一段时间的时 ...