关于机器翻译评价指标BLEU(bilingual evaluation understudy)的直觉以及个人理解

最近我在做Natural Language Generating的项目，接触到了BLEU这个指标，虽然知道它衡量的是机器翻译的效果，也在一些文献的experiment的部分看到过该指标，但我实际上经常会略去阅读实验效果的部分(纯粹感觉不如理论部分激动人心哈哈哈)，现在轮到自己做项目了，下定决心要搞懂这个指标到底在干嘛。不足之处还是希望大家能够指正。同时也欢迎大家转载我的这篇blog 原创不易还请注明出处~

首先是原始论文地址: https://www.aclweb.org/anthology/P02-1040.pdf

其次我在阅读原始论文的时候也参考了这篇博客：https://www.cnblogs.com/by-dream/p/7679284.html 对我的帮助也很大

接下来纯粹是按照我的个人理解对原论文进行的一个提炼 故未必代表论文的本意。

1 BLEU指标的提出和假设

BLEU用于衡量机器翻译结果(candidate)和参考译文(reference)之间的相似程度。 BLEU可以衡量任意语种之间的翻译效果。它的前提假设是：翻译效果的好坏可以由n-gram在candidate和reference中出现的频率来体现。直觉上来说，如果candidate中的每一个单词（或者bi-gram, tri-gram）出现的频率和reference中的每一个单词（或者bi-gram, tri-gram）的出现频率差不多，那么我们就可以认为机器翻译的效果很好。但是这种直觉理解存在一定的问题，需要正式化（formalization）。

2 BLEU指标的formalization

假定翻译效果的好坏可以n-gram的频率来体现，那么依然存在以下的问题：

1. 如何正式化所谓的频率相近？

2. 给定一句机器翻译结果，可以存在多句参考译文

3. 如何衡量一篇文章（包含多个句子）的翻译效果好坏？

4. 基于1，2，3给出的metric是否存在让某些低质量的candidate反而获得好评的可能性？

下面针对上述问题给出解答。

2.1 “频率相近”的正式化

直觉上，一句句子中包含多个单词(uni-gram), 如果大部分单词都出现在了reference中，则认为这是一句好的翻译句子。很自然的，会想到用

precision=number of unigram in candidate which appears in reference /number of unigram in candidate

但在正式化之前，这个直觉存在一个错误，考虑如下例子：

Candidate: the the the the the the the 

Reference : The cat is on the mat

Candidate一共有7个单词，每一个单词都出现在了Reference当中，所以precision=7/7，很野路子。

这个直觉的本质问题是reference中只有2个the（忽略大小写），而Candidate中有7个the，所以合理的度量应该是2/7，也就是相似度受到Reference中the的出现频率的制约。

下面结合问题2一起给出BLEU的初步正式化。

2.2 单个candidate+多个reference的BLEU初步正式化

声明：之后如果是reference则指代一句参考译文，references指代多句参考译文

Candidate: the the the the the the the cat cat
Reference1: There is a cat on the mat
Reference2: The cat is on the mat

计算BLEU的步骤以及直觉如下，先以unigram为例

1. 计算Candidate中所有单词的出现频率, 此处为 {the: 7, cat: 1}
2. 计算所有unigram在每一句referece中出现的频率, 此处应为：
{the in Ref1: 1, the in Ref2: 2, cat in Ref1: 1, cat in Ref2: 1}
3. 保留每一个unigram在references中最大的频数，得到：
{the in Ref2: 2, cat in Ref1: 1}
之所以保留最大频数，我认为体现了“宽容”的思想, 不同的reference由不同的翻译人员给出，体现了翻译人员不同的风格，在这种多风格中选取和candidate最相似的
即可，不必吹毛求疵
4. 'Clipped' Step
这一步就是抑制第一个例子中的“野路子”
the = min(the in Ref2, the) = (2,7) = 2
cat = min(the in Ref1, cat) = (1,1) = 1
5 计算precision
p = (2+1)/(7+1)=3/8

计算bigram, trigram的思路也和unigram一样，在原来的论文中，作者提到：

A translation using the same words (1-grams) as in the references tends to satisfy adequacy. The longer n-gram matches account for fluency.

unigram用来衡量adequacy, 有两种情况需要考虑：

1. 如果candidate的翻译结果多出了许多不曾出现在references中的单词，则我们的p会很小，BLEU做出了惩罚。

2. 如果candidate的翻译结果少了很多单词，我们的p可能会是1！考虑如下例子：

   Candidate: the
   Reference1: The cat is on the mat
   

   p = min(1,2)/1 = 1

   因此到目前为止的BLEU需要继续调整。

而bigram，trigram等等则是衡量文章的通顺性，并且unigram中存在的问题在multi gram的情况下依然存在

2.3 多个candidate+多个reference的BLEU初步正式化

论文中把多个candidate所组成的document成为corpus.尽管是多个candidate,但是每个candidate本身对应了多个reference,因此2.3只是2.2的简单扩充而已。

对于n-gram的BLEU的初步计算公式如下：

\[p_n = \frac{\sum_{C\in{Candidates}}\sum_{n-gram\in{C}}Count_{clip}(n-gram)}{\sum_{C'\in{Candidates}}\sum_{n-gram'\in{C'}}Count(n-gram')}
\]

其中：

\[Count_{clip}(n-gram) = min(freq_{C}(n-gram),max_{R\in references}freq_{R}(n-gram))
\]

$ freq_{C}(n-gram)$ 是给定n-gram在C中出现的频率

\(freq_{R}(n-gram)\)是给定n-gram在R中出现的频率

\(Count(n-gram')\)是指给定n-gram'在C'中出现的频率

结合多个n-gram:

如2.1中提到的，不同的n-gram具有不同的作用，因此需要综合考虑

\[exp(\sum_{n=1}^N\omega_{n}log(p_{n}))
\]

\(log(p_n)\)的原因是：在论文实证的过程中发现随着n-gram中n的增加，\(p_n\)的下降呈现指数型，因此简单的平均\(p_n\)会让指标过度倾向于1-gram,所以需要对数化的调整。

\(w_n\)在论文中为1/N。并且论文中的经验结果表明N=3-5已经足够反应句子的翻译质量了。

2.4 对翻译句子长度的调整

我们在2.2中提到了一个极端的例子，candidate长度极短却获得了\(p_1\)=1的效果，因此需要对翻译句子的长度做出惩罚。惩罚分为两种：过长和过短。过长的句子实际上已经通过\(p_n\)被惩罚了，过长的句子会导致\(p_n\)中的分母很大，从而使得BLEU整体较小。故仅考虑句子过短的情况，原文中对句子过短却依然取得很高\(p_n\)的情况成为The trouble with recall，实际上就是references（实际为正例）中仅有很小一部分出现在candidate(预测为正例)中。

依然假设我们的corpus中有多个candidate,每个candidate有多个reference, 论文中把references 中最接近candidate长度的那个reference的长度称为“best match length ”

直觉上，可以计算corpus中每一个candidate的对应惩罚，求和后取平均。但是论文认为这样做对短句子的惩罚过大。这里也体现了BLEU的宽容思想，我们可以容忍corpus中存在一些短句子，但是如果每一句句子都过短，则无法容忍。

首先计算effective referecne length(r), 即把每一个candidate对应的best match length相加求和

再次计算corpus中所有candidate的长度之和c

惩罚项：

\[BP=\left\{
\begin{array}{rcl}
1 & & {r<c}\\
\exp(1-\frac{r}{c}) & & {r\geq c}\\

\end{array} \right.
\]

综上，最终的BLEU为：

\[BLEU = BP*exp(\sum_{n=1}^N\omega_{n}log(p_{n}))
\]

3 BLEU指标总结

不难看出，BLEU指标实际上是对“n-gram频率相似”的一个科学化的表达。

其对两种不匹配做出了惩罚：

1. n-gram频率不匹配
2. 句子过长或者过短

BP对句子过短做出了惩罚，而exponential项对n-gram频率不匹配做出了惩罚，顺带解决了对过长句子的惩罚问题。