CRF(条件随机场)与Viterbi(维特比)算法原理详解

摘自：https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA

https://www.cnblogs.com/zhibei/p/9391014.html

CRF（Conditional Random Field），即条件随机场。经常被用于序列标注，其中包括词性标注，分词，命名实体识别等领域。

Viterbi算法，即维特比算法。是一种动态规划算法用于最可能产生观测时间序列的-维特比路径-隐含状态序列，特别是在马尔可夫信息源上下文、隐马尔科夫模型、条件随机场中

一、CRF基本概念

我们以命名实体识别NER为例，先介绍下NER的概念：

这里的label_alphabet中的b代表一个实体的开始，即begin；m代表一个实体的中部，即mid；e代表一个实体的结尾，即end；o代表不是实体，即None；<start>和<pad>分表代表这个标注label序列的开始和结束，类似于机器翻译的<SOS>和<EOS>。

这个就是word和label数字化后变成word_index，label_index。最终就变成下面的形式：

因为label有7种，每一个字被预测的label就有7种可能，为了数字化这些可能，我们从word_index到label_index设置一种分数，叫做发射分数emit：

看这个图，有word_index 的 1 -> 到label_index 的 4的小红箭头，像不像发射过来的？此时的分数就记作emit[1][4]。

另外，我们想想，如果单单就这个发射分数来评价，太过于单一了，因为这个是一个序列，比如前面的label为o，那此时的label被预测的肯定不能是m或s，所以这个时候就需要一个分数代表前一个label到此时label的分数，我们叫这个为转移分数，即T：

如图，横向的label到label箭头，就是由一个label到另一个label转移的意思，此时的分数为T[4][4]。

此时我们得出此时的word_index=1到label_index=4的分数为emit[1][4]+T[4][4]。但是，CRF为了全局考虑，将前一个的分数也累加到当前分数上，这样更能表达出已经预测的序列的整体分数，最终的得分score为：

score[1][4] = score[0][4]+emit[1][4]+T[4][4]

所以整体的score就为：

最后的公式为这样的：

其中X为word_index序列，y为预测的label_index序列。

因为这个预测序列有很多种，种类为label的排列组合大小。其中只有一种组合是对的，我们只想通过神经网络训练使得对的score的比重在总体的所有score的越大越好。而这个时候我们一般softmax化，即：

其中分子中的s为label序列为正确序列的score，分母s为每中可能的score。

这个比值越大，我们的预测就越准，所以，这个公式也就可以当做我们的loss，可是loss一般都越小越好，那我们就对这个加个负号即可，但是这个最终结果手机趋近于1的，我们实验的结果是趋近于0的，这时候log就派上用场了，即：

当然这个log也有平滑结果的功效。

二、计算过程

就是为了求得所有预测序列可能的得分和。我们第一种想法就是每一种可能都求出来，然后累加即可。可是，比如word长为10，那么总共需要计算累加10^7次，这样的计算太耗时间了。那么怎么计算的时间快呢？这里有一种方法：

因为刚开始为<start>即为5，然后word_index为0的时候的所有可能的得分，即s[0][0],s[0][1]...s[0][6]中间的那部分。然后计算word_index为1的所有s[1][0],s[1][1]...s[1][6]的得分，这里以s[1][0]为例，即红箭头的焦点处：这里表示所有路径到这里的得分总和。

这里每个节点，都表示前面的所有路径到当前节点路径的所有得分之和。所以，最后的s[4][6]即为最终的得分之和，即：

计算gold分数，即：S(X,y) 这事只要通过此时的T和emit函数计算就能得出，计算公式上面已经给出了：

然后就是重复上述的求解所有路径的过程，将总和和gold的得分都求出来，得到loss，然后进行更新T，emit即可。（实现的话，其实emit是隐层输出，不是更新的对象，之后的实现会讲）

解码过程，就是动态规划，但是在这种模型中，通常叫做维特比算法。如图：

大概思路就是这次的每个节点不是求和，而是求max值和记录此max的位置。就是这样：

最后每个节点都求了出来，结果为：

最后，根据最后的节点，向前选取最佳的路径。过程为：、

三、Viterbi(维特比)算法原理详解

维特比算法是一种动态规划算法用于最可能产生观测时间序列的-维特比路径-隐含状态序列，特别是在马尔可夫信息源上下文和隐马尔科夫模型中。术语“维特比路径”和“维特比算法”也被用于寻找观察结果最有可能解释的相关动态规划算法。例如在统计句法分析中动态规划可以被用于发现最有可能的上下文无关的派生的字符串，有时被称为“维特比分析”。

利用动态规划寻找最短路径

动态规划是运筹学的一个分支，是求解决策过程最优化的数学方法，通常情况下应用于最优化的问题，这类问题一般有很多可行的解，每个解有一个值，而我们希望从中找到最优的答案。

在计算机科学领域，应用动态规划的思想解决的最基本的一个问题就是：寻找有向无环图（篱笆网络）当中两个点之间的最短路径（实际应用于地图导航、语音识别、分词、机器翻译等等）

下面举一个比较简单的例子做说明：求S到E的最短路径，如下图（各点之间距离不相同）：

我们知道，要找到S到E之间最短路径，最容易想到的方法就是穷举法。也就是把所有可能的路径都例举出来。从S走向A层共有4种走法，从A层走向B层又有4种走法，从B层走向C层又有4种走法，然后C层走向E点只有一种选择。所以最终我们穷举出了4*4*4=64种可能。显然，这种方法必定可行，但在实际的应用当中，对于数量及其庞大的节点数和边数的图，其计算复杂度也将会变得非常大，而计算效率也会随之降低。

因此，这里选择适用一种基于动态规划的方式来寻找最佳路径。

所谓动态规划。其核心就是“动态”的概念，把大的问题细分为多个小的问题，基于每一步的结果再去寻找下一步的策略，通过每一步走过之后的局部最优去寻找全局最优，这样解释比较抽象，下面直接用回刚刚的例子说明。如下图：

首先，我们假设S到E之间存在一条最短路径（红色），且这条路径经过C2点，那么我们便一定能够确定从S到C2的64条（4*4*4=64）子路经当中，该子路经一定最短。（证明：反证法。如果S到C2之间存在一条更短的子路经，那么便可以用它来替代原先的路径，而原来的路径显然就不是最短了，这与原假设自相矛盾）。

同理，我们也可以得出从S到B2点为两点间最短子路经的结论。这时候，真相便慢慢浮出水面：既然如此，我们计算从S点出发到点C2的最短路径，是不是只要考虑从S出发到B层所有节点的最短路径就可以了？答案是肯定的！因为，从S到E的“全局最短”路径必定经过这些“局部最短”子路经。没错！这就是上面提及到的通过局部最优的最优去寻找全局最优，问题的规模被不断缩小！

接下来，要揭晓答案了！继续看下图：

回顾之前的分析：我们计算从S到C2点的最短路径时候只需要考虑从S出发到B层所有节点的最短路径，B层也是。对B2来说，一共有4条路线可达，分别是A1->B2,A2->B2,A3->B2, A4->B2。我们需要做的就是A2->B2这条路线保留，而其他3条删掉（因为根据以上的分析，他们不可能构成全程的最短路线）。Ok，来到这里，我们会发现一个和小“漏洞”，这段S->A2->B2->C2->E的路线只是我一厢情愿的假设，最短路径下不一定是经过以上这些点。所以，我们要把每层的每个节点都考虑进来。

以下是具体做法：

step1：从点S出发。对于第一层的4个节点，算出他们的距离d(S,A1),d(S,A2),d(S,A3),d(S,A4),因为只有一步，所以这些距离都是S到它们各自的最短距离

step2:对于B层的所有节点(B1,B2,B3,B4),要计算出S到他们的最短距离。我们知道，对于特定的节点B2，从S到它的路径可以经过A层的任何一个节点(A1,A2,A3,A4)。对应的路径长就是d(S,B2)=d(S,Ai)+d(Ai,B2)（其中i=1，2，3，4）。由于A层有4个节点（即i有4个取值），我们要一一计算，然后找到最小值。这样，对于B层的每个节点，都需要进行4次运算，而B层有4个节点，所以共有4*4=16次运算。

step3:这一步是该算法的核心。我们从step2计算得出的阶段结果只保留4个最短路径值（每个节点保留一个）。那么，若从B层走向C层来说，该步骤的级数已经不再是4*4，而是变成4！也就是说，从B层到C层的最短路径只需要基于B层得出的4个结果来计算。这种方法一直持续到最后一个状态，每一步计算的复杂度为相邻两层的计算复杂度为4*4乘积的正比！再通俗点说，连接着两两相邻层的计算符合变成了“+”号，取代了原先的“*”号。用这种方法，只需要进行4*4*2=32次计算！

其实上述的算法就是著名的维特比算法，事实上非常简单！

若假设整个网格的宽度为D，网格长度为N，那么弱适用穷举法整个最短路径的算法复杂度为O(D^N),而适用这种算法的计算复杂度为O（ND^2）.试想一下，弱D与N都非常大，适用维特比算法的效率将会提高几个数量级！、
 
---------------------
作者：Data_driver
来源：CSDN
原文：https://blog.csdn.net/qq_42189083/article/details/89350890
版权声明：本文为博主原创文章，转载请附上博文链接！