Paper | Predicting the Quality of Images Compressed After Distortion in Two Steps

目录

• 1. 问题本质剖析
• 2. 方法细节

图像质量评估大佬AC Bovik的论文，发表在2019 TIP上。

考虑的问题：对于有参考图像质量评估（R-IQA）任务，参考图像有时是有损的。这会导致评估的客观质量不合理。

解决思路：简单直接：先用NR-IQA方法评估R的质量，再用R-IQA方法评估相对R的质量，最后结合二者。

作者用的组合方式是简单的相乘。但是作者声称，这样做的性能很好，比其他复杂的组合方式更好？

那么为什么不直接用NR呢？作者解释道，NR方法大多都不理想，至今仍无可商用的NR方法？

[37]也注意到了这个问题，其解决方案是改造SSIM和VIF。

这篇文章还提供了一个新的数据库，其参考图像是混合失真的。并且该数据库有主观评分。

个人观点：该工作本质上是在NR（no-reference）和FR（full-reference）之间找了一个平衡点，相当于RR（reduce-reference），即：我虽然有参考图像R，但我不直接用它，而是基于R，通过NR得到一些信息，再做FR。

1. 问题本质剖析

R-IQA方法本质上提供的是perceptual fidelity measure，即相对参考图像的图像质量。因此，如果参考图像的质量层次不齐，那么R-IQA得分无法反映图像的绝对质量。

2. 方法细节

对于R-IQA方法，作者选择的是MS-SSIM。首先其性能好，形式简单，其次其值在0和1之间，质量越高越趋近于1。得分为\(\mathcal{Q}_{\text{R}}\)。

对于NR-IQA方法，作者采用的是NIQE。得分为\(\mathcal{Q}_{\text{NR}} = 1 - \frac{\text{NIQE}}{\alpha}\)。NIQE得分在0和100之间，并且图像质量越差得分越高。因此作者简单设\(\alpha = 100\)。

最后，两个得分相乘。

注意，以上\(\mathcal{Q}_{\text{R}}\)和\(\mathcal{Q}_{\text{NR}}\)都被归一化了。这样的好处是：当其中一者完美时，其得分为1，总得分就是另一者的得分。这样才合乎逻辑。

当NR和R方法换成别的方法时，作者建议将其得分函数映射到一个对数型的函数上【实际上是sigmoid函数，在0和1之间】：

其中的4个\(\beta\)参数是可调的建模参数。

最后的最后，我们可以让NR和R得分有不同的权重。方法也很简单：
\[
\mathcal{Q} = (\mathcal{Q}_{\text{NR}})^{\gamma} \cdot (\mathcal{Q}_{\text{R}})^{(1 - \gamma)}
\]
这样才不会影响满分为1。

以上，作者提出了一种名为2stepQA的方法。由于组分MS-SSIM和NIQE都不需要训练，因此整体方法是无需训练的。